データメッシュとは？
仕組みや目的、データレイクとの違いを解説

データメッシュとは？

データメッシュとはデータの「地方自治」です。中央集権ではなく分散型・ネットワーク型のデータプラットフォームの形態(アーキテクチャ)を意味します。具体的には、データのオーナーシップや責任を分担し、分担した各チームがそれぞれ独立に自分のデータを管理します。

データメッシュというアーキテクチャの特徴は、データを「プロダクト」として扱うこと(Data as a Product)です。エンドユーザー部門それぞれに対して、自らのデータに「オーナーシップ」を配布することで、彼らは中央「政府」に許可を申請することなく自分のデータにアクセスし、管理を行うことができます。その結果、中央政府による一元的なデータ流通のモニタリングや整流化も消滅します。

データメッシュの価値はスケーラビリティにあり

データメッシュによるデータの地方自治の利点は、データ管理におけるスピード感です。中央政府への確認や問合せが不要になるためです。
またエンドユーザー部門による自律的なデータ管理によって、より短期間でデータ活用が期待できます。自分の環境で実験から目標達成までを完結できるためです。従来の全社一体型(モノリシック)システムにおいては、データの流れは予め決められた方向に整流化されていました。しかしデータメッシュは分散型アーキテクチャのため、各チームが独自の判断で自分のデータを操作し、なおかつ全体的なデータの流れへの影響を心配する必要がなくなりました。

データメッシュの仕組み

データメッシュの仕組みは、以下の3つの要素でできています。

データソース

1. データを指します。例えば「データセット」「ファイル」「Webデータ」「デバイスデータ」「ストリームデータ」など。
2. データの源泉を指す場合もあります。データが作成された場所や、システムに登録された場所など。

データインフラストラクチャ

ネットワークを通じてデータを流通するためのツール(デジタル資産)を指します。データ送信元(プロデューサー)は自前でデータ連携を構築する必要がありません。データ受信先(コンシューマー)の方から自在にデータにアクセスできるようにする仕組みがデータインフラストラクチャです。

ドメイン指向データパイプライン

データ製品(Data as a Product)のオーナーシップの範囲をドメインと呼びます。オーナー組織が自分のドメインにあるデータ権限を他部門へとさらに委譲したい場合、ドメイン指向データパイプラインがあれば、自部門のドメインをその組織にまで拡張するだけで済みます。自部門からその部門にデータを物理的に移動する必要はありません。

データメッシュのメリット

とくに組織が分散型である場合に多くのメリットがあります。

スケーラビリティ

データメッシュは中央政府との調整が不要な地方自治であるため、調整のための作業やタスクの重複が不要となり、サービス検討のリードタイムを短縮することができます。
サービスの検討から実装においても同様に中央からの干渉が最小化され、より短期間で製品やサービスを試験しリリースし、より速く結果を得ることができます。

実装までの時間

データ製品の「機能」についてもデータオーナーは高い自律性を持ち、中央政府とのデータ送受信による遅延を撲滅できます。

ベンダー依存からの解放

データメッシュの分散型アプローチは、ベンダー依存からの解放にもつながります。データ連携先は特定のシステムに限らず、さまざまなシステムに拡張されます。依存性がなくなることでシステム設計はより柔軟かつ高生産性になります。

透明性

従来型のシステムにおいては専門チームがサイロ化しがちであり、これが組織の透明性を阻害してきました。分散型のデータメッシュにおいては、自部門のデータに関する操作機能だけを、全社のさまざまな部門に自分の判断で渡すことができます。これが専門家チーム間のデータ流通を促進し、透明性と説明責任の改善につながります。

ガバナンスとコンプライアンス

データオーナーシップの分散は、データ所有者によるデータソースの直接管理ができることから、システムセキュリティの確保はむしろ容易になります。データ取得時にデータのフォーマットや、ボリューム、およびデータソースなどの整合をとることがその実現手段です。この方式でコンプライアンスはよりシンプルになり、全社のガバナンス確保も容易になります。

ガバナンスとコンプライアンスが高度化することで企業は、組織内データアクセスの管理をシンプルに保ちつつ、高品質なデータを流通させることができます。

データメッシュの目的

データメッシュの実装において重要なのは、たえず最終ゴールを認識しておくことです。

コントロールの改善

データメッシュの主要な目標は、データを製品として扱う(Data as a Product)ことと、データ管理を各データオーナーに権限委譲することです。これにより中央ではデータをモニタリングすることだけに集中でき、全体的な管理レベルを改善しつつ管理工数を削減し、同時にデータ消費者を保護することができます。

データ流通の改善

データメッシュの目標は、部門やエンドユーザー間のデータ流通改善でもあります。それぞれのデータオーナーの手にデータ管理を移譲して自主性に任せ、データ流通の経路を中央管理で固定化しないことで、組織全体として生産性の向上とビジネス貢献を期待できます。

アクセスの改善

データメッシュアーキテクチャは、分散型アプローチを通じてデータアクセスを改善することも目的としています。それぞれのデータオーナー自身の手でデータを管理することは、データへのアクセス許可に中央との調整が不要ということであり、実装の期間が短縮されます。

データメッシュと従来のシステム

データメッシュの発明者であるザマック・デガニ氏によると、従来のシステムには構造的な欠陥があります。従来のシステムに代わってそれらの問題を解決するための提案がデータメッシュでした。

中央集権的プラットフォームの問題

従来のシステムでは情報が中央集権化されていたため、さまざまな無用の遅延を引き起こしていました。データメッシュの目的は、データ管理をエンドユーザーそれぞれの手に分散することです。そうすることでデータプラットフォームはより柔軟になり、情報活用要件に即時に対応できるようになります。
データメッシュというアーキテクチャで構築されたデータプラットフォームにおいてデータは製品(Data as a Service)として扱われ、地方自治によるアクセスと管理を通じてデータ流通やシステム実装をスピードアップします。

データの渋滞解消

従来型のアーキテクチャでは、データフローは一本道だったため、データソースからエンドユーザーまでのデータ移動による渋滞が発生しがちでした。そのためシステムはアジャイルになりにくく、変化対応力も期待できませんでした。 データメッシュでは、部門ごとのデータ製品(Data as a Product)とその管理責任を明確にすることでこれを解決します。データの流通には各種APIやファイル連携などを部門の判断で使用でき、中央との調整が不要になります。結果、企業全体として低コストで迅速なスケーリングが可能になります。

コラボレーション

データの要求と返答がすべて中央を通る場合、データパイプラインの応答性は低くなりがちです。この遅延がコミュニケーションのギャップを生み、チーム間の協業を妨げます。遅いだけでなくデータ連携が切断される事もあり、解決にはさらに時間を要します。 データメッシュにおいては、部門が自分の管轄(ドメイン)のデータを自分で管理することが中央によって公認されており、より速い業務とビジネス革新を支援します。

専門化

中央集権型システムは専門組織を弱めます。データの管理が中央に属しているとエンドユーザー自身では管理が及びません。自分のデータなのになかなかアクセスできないことで、それぞれのチームは自らの専門領域に集中できなくなります。 データメッシュは分散型管理を通じて専門分野の発展を促進します。エンドユーザーが自分のデータを自分で管理できることで、彼らは自在に専門知識を深め、より広範な業務知識を得ることができます。

データメッシュとデータレイク

データメッシュアーキテクチャは、データアクセスおよび管理の分散化によってシステムを独立・柔軟にします。企業は単一のデータパイプラインではなくさまざまなデータ流通を可能にしつつ、中央では集中モニタリングすることでシステム全体を効果的に保護することができます。

データレイクは、データメッシュの同類ではなくむしろ対極に位置するものです。分散型のデータメッシュとは逆に、データレイクは複数のソースから集めたデータを一箇所で集中管理する中央集権型アーキテクチャです。
データメッシュはデータオーナー自身がデータを管理することを目指すのに対し、データレイクは中央による全社データ一元管理目的としています。

データメッシュの実装における課題

新しいアーキテクチャやテクノロジーを導入する場合、その実装および運用には課題がつきものです。

パラダイムシフトの 発生

データメッシュの推進には組織文化の変容が必須です。「地方自治」を実現するには、全社にむけた広範なトレーニングや教育を実施し、全員が新しい考え方を理解し積極的に支援する体制が必要となります。エンドユーザー自身でデータアクセスを管理するということは、各自でそのメリットと活用法を理解する必要があるためです。 データメッシュがエンドユーザーに独立性を提供するということは、逆に自分の行動が組織全体に与える影響を把握できる必要があるということです。もし現在の運用が従来型の中央集権であるならば、あらかじめ変化に備えた準備を行い、データメッシュによって効率が低下してしまわないような対応が必要です。

初期導入のコスト

データメッシュを実装すると、最終的に既存のインフラストラクチャ・ツール・ソフトウェアを一新することになります。したがって、導入途中においてはデータメッシュと既存データを並行運用させるための追加コストが発生します。 その上でデータメッシュのためにデータ統合・データ仮想化・ガバナンスとコンプライアンス・データカタログ、データ配信といった追加のインフラストラクチャを構築していく必要があります。

全体モニタリング

データメッシュは地方自治である代わりに、中央ではシステム全体を監視できるようになっている必要があります。これは最終的に、全社的な効率向上とセキュリティ確保に寄与します。 データメッシュ監視を通じて、どのデータにも承認されたユーザーのみがアクセスできること、アクセスコントロールの全体はあくまでも中央で許可されたものの範囲であることを保証します。このようにして初めて、データメッシュの核心であるデータとアクセスの地方自治が可能になるのです。

データメッシュの業務貢献

顧客360度ビュー

データメッシュの主な用途は、たとえばエンドユーザーによる新機能の実装を実現し、また時間を短縮することです。典型的には顧客とのファーストコンタクト体験の向上です。ユーザー確認までの時間短縮は顧客満足に直結します。これをよりスピーディに、かつシステムを混乱させずに実現します。
これを顧客360度ビューと呼び、顧客のあらゆる情報を網羅したビューです。顧客の嗜好に関する詳細な情報を駆使して、最適なサービス提案やリテンション施策を立案することで顧客のサービス離脱を回避するためのモデル作りに寄与します。

ハイパーセグメンテーション

データメッシュで作られるデータ製品は、任意の小ささにセグメント分割することが可能です。これにより、チームはより正確な情報をピンポイントで取得し、顧客体験やマーケティングで活用できます。 データメッシュを通じたハイパーセグメンテーションの実現により、顧客に最も関係の深いチャネルを選択したり、顧客の嗜好と行動に基づくユニークな体験を提供できたりします。

柔軟でユーザードリブンなデータ

データメッシュアーキテクチャは、データ管理における一種の革命です。システムの独立性の向上、エンドユーザーによる管理、製品としてのデータ(Data as a Service)を正確にターゲットへと配信すること、データを一箇所に集めずして中央集権によるモニタリングなどを実現します。こうした仕掛けにより、システム機能の開発期間の短縮や、より確実な経営への寄与が可能となります。