データファブリック

データファブリック（Data Fabric）とは

データファブリックとは、エンドツーエンドのデータ統合およびデータマネジメントの事です。その内訳は「アーキテクチャ」、「データ管理・統合ソフトウェア」、そして「データマネジメントに必要な全社共有データ」です。データファブリックは、整合性のある汎用的なユーザーエクスペリエンスを通じて、場所を問わずリアルタイムでのデータアクセスを全ユーザーに提供します。

データファブリックは、あらゆるアプリケーション、あらゆるプラットフォーム、そしてデータの場所に関わらず、データを管理することで、企業がデータに関連する複雑な問題やユースケースに対応できるように設計されています。データファブリックは分散されたデータ環境において、摩擦（フリクション）の無いデータアクセスとデータ共有を可能にします。

なぜデータファブリックが必要なのか

データセントリックな組織には、時間や空間、異なるソフトウェアの種類、データの在処などのハードルを克服する多面的なアプロ―チが必要となります。各データは、それを求めるユーザーがアクセスできるようになっている必要があり、ファイアウォールに遮られていたり、さまざまな場所に断片的に配置されていてはなりません。企業が成功するためには、安全で効率的、また、物理的には分散し多様であっても、全体で統制がとれており一体感がある環境、そして未来を見据えたデータソリューションが必要です。それをデータファブリックと呼びます。

ETL中心の従来型データ統合では、リアルタイム連携やセルフサービス、自動化、汎用的な変換機能といった新たなビジネス要求にもはや応えきれません。さまざまなソースからのデータの収集それ自体は何の問題もありません。にも関わらず、異種のデータに対しては統合やキュレーション、データの突合に依然として困難を抱えたままです。それらはデータ管理プロセスにおける最重要箇所であり、顧客やパートナーそして製品を軸にした包括的なビューを提供するために必須の処理。逆に、いったん実現されると、企業の競争力は高まり、顧客要求に応え、システムをモダナイズし、クラウドを活用することができるようになるのです。

データファブリックとは「データがファブリック(布)のように世界を覆っている」とイメージしてください。ユーザーが「布」のどこにいようと、必要なデータと繋がっています。ユーザーは何の制約もなく、リアルタイムに、どこのデータであれアクセスできるのです。

データ「ファブリック」とデータ「ネットワーク」の違い

インターネットは、世界中の人と人とをつなぎ、時間や距離の制約を取り払いました。しかし、当初のインターネットは人と人とを繋ぐだけで、数値やデータの受け渡しはごくわずかでした。しかし現在、デジタルプラットフォーム上での活動は当初の予想をはるかに超え、データそのものがひとつの世界になっています。オンラインでもリアルでも、活動はすべてデータになりつつあります。データが飛躍的に増大してきたため、それを管理するためのインフラ整備が必要になっています。

以前は、データの管理はそれ自体が目的であり、インサイトは偶然の産物でした。やがて、データの管理は、データからインサイトを引き出すことへと焦点が移っていきました。データファブリックの実現は、データ管理のためのデータ管理から、データ品質の向上、情報の可用性、そしてインサイトの自動取得へと焦点が移っていくでしょう。

現代のデータ問題からデータファブリックの必要性を見る

世界的に、インターネットに参入する新たなステークホルダーが増加しています。あらゆる人やモノがインターネットに接続され、あらゆるプラットフォームはデータソースとなりつつあります。そうした中、データの価値を最大化するという問題は複雑なものとなっています。データの問題には以下の要素が含まれます。

これらの要素が組合わさることで、データへのアクセスやデータを利用することが複雑になります。さらに、企業がAI/MLを運用したり、商品化したりする場合は、一層のデータの収集・変換・処理が必要になります。

企業では、これらの問題に対して部分最適な対処をしがちです。その結果、企業の内部で様々なデータ管理手法が混在します。このやり方では、自部門のデータを利用できるようになるだけで、全社的なデータアクセスの実現ができません。多くのデータが使われずに放置されることになります。

他部門および全社のデータへのアクセスや活用ができないと、システム投資に対するROIそのものが低下し、価値ある予測を生み出すためのデータが不足し、生産性は改善しないままといった悪循環をもたらします。
そうした状況で救いとなるのがデータファブリックであり、データファブリックが必要とされる理由です。

データファブリックとデータウェアハウス/データレイクの比較

現在、多くの企業では、データレイクやデータウェアハウスを利用してデータを管理しています。しかし、実態を詳細に観察すると、データレイクやデータウェアハウスはデータではなく、機能に注目したアプローチです。ロー(生の)データを収集や抽出し、保管する機能を主体に考えられており、大抵の場合、データを置いてあるだけで活用できていません。これでは、今日の問題である「データの統一的なビュー」を取得することは困難です。さらに、構築や拡張に多大な時間やコストを要します。データ量が日々増大し、意思決定のための時間がますます貴重となっている中、データアクセスと処理の遅延は望ましくありません。それに対してデータファブリックは、データの保存、抽出、処理をソースデータ上でリアルタイムに実行でき、たとえ外出先でもインサイトを得て意思決定ができます。

データファブリックとデータ仮想化の比較

データファブリックは、しばしばデータ仮想化と混同されます。データ仮想化は、データの論理レイヤーを設置し、データを迅速に統合する場合に利用するもので、オンプレミス、クラウドを問わず、さまざまなソースからデータを接続、収集、変換し、アジャイルかつセルフサービスの操作でリアルタイムのインサイト獲得を実現します。一方、データファブリックはより大きな概念です。カスタマーインテリジェンスやIoT分析など、より広範なユースケース、包括的なエンドツーエンドのデータ管理アーキテクチャ、より大規模なスタックコンポーネントのセットを含みます。アナリストは、データファブリック実現に貢献するツールの1つとして、データ仮想化の利用を推奨しています。データ仮想化を軸に、データ統合ツールを組み合わせることで一層、組織固有の目標に適合したデータファブリックへと成長させることができるでしょう。

データファブリック導入を成功させるには

データファブリックは、オンライントランザクション処理（OLTP）から考え始めます。OLTPにおいては、すべてのトランザクションに関する詳細な情報が挿入、更新され、データベースにアップロードされます。そのデータは構造化され、クレンジングされ、さらに利用のために保存されます。データの利用者は誰であっても、ファブリックのどの位置にいても、OLTPのローデータを取り出し、組み合わせて知見を導き出すことができます。企業がデータを活用して成長し、適応し、成長する原動力となります。

データファブリックの導入を成功させるための要件は以下の通りです

アプリケーションとサービス：データを取得するために必要な基盤を構築する場所です。顧客と企業とのインターフェースとなるアプリケーションやGUIを開発する基盤も含まれます。

エコシステムの構築と統合：データの収集、管理、保存に必要な人やシステムの体制です。顧客からのデータが欠損しないよう、データマネージャーやストレージシステムに届く必要があります。

セキュリティ：あらゆるソースから収集されるデータは、常に適切なセキュリティの下で管理される必要があります。

ストレージ管理：データのアクセシビリティや保管の効率性、および必要に応じて拡張できるスケーラビリティが必要です。

データ転送：物理的なロケーションがどこであっても、必要なデータにアクセスできるような基盤が必要です。

エンドポイント：リアルタイムでインサイトを獲得できるようにするには、ストレージやアクセスポイントにおけるSDI（Software Defined Infrastructure）が必要です。

AIや機械学習は、データファブリックとどのように連携するのか？

かつてのデータエンジニアやデータサイエンティストは、データの点と点を結んでパターンを見つけようとしました。従来のデータ環境では、データについて学ぶよりも、データの取得と準備に大半の時間を費やしていたからです。最短でデータからインサイトを獲得したい現在では、耐え得る状況ではありません。

データファブリックはデータの運用レイヤーにおいて、すべてのデータを一つにまとめるだけでなく、データを変換・処理し、さらに機械学習を通じてパターンやインサイトを発見するまでの全体をカバーします。データファブリックがなければ、こうしたことをすべてアプリケーション毎にそれぞれ行わなければならず、持続可能なソリューションとは言えません。

AI/MLのニーズに対応したデータを自動で取得でき、なおかつそれを反復して継続的に行うことができるのがデータファブリックです。必要なデータとインサイトを機械学習によってプロアクティブに提供することで、意思決定者はより良いインサイトとよりタイムリーな情報を得られるようになります。ピンポイントでデータを探して隠れたファクトを発見しなければならないようでは、ビジネス成果は達成できません。問題解決やビジネスのインサイトを得られることが必要です。

データファブリックに伴うリスク

企業にとっての懸念事項は、データファブリック内で転送されるデータへのセキュリティ脅威です。データ転送のための基盤には、外部攻撃からの安全を確保するために、セキュリティファイアウォールとセキュリティプロトコルが組み込まれていることが必須となります。組織を襲うサイバー攻撃は増加しています。すべてのポイントでデータセキュリティを確保することが最も重要です。

データファブリックの価値

データファブリックは、地域的に分散し、複数データソースを持ち、複雑なデータの問題や業務要件を持った企業に最適です。ただし、データファブリックは概念であり、データを統合して処理するための直接的なソリューションではないことに留意してください。そうした場合はデータ仮想化を推奨します。

ハードウェアの進化に伴い、グローバル化の波はますます広い地域に及んでいます。さらに通信の高速化によって、企業は数多くのデバイスやサービスから送られてくるデータを捌ききれなくなるおそれが出てきました。従来からデータはインサイト獲得に利用されてきましたが、データファブリックは以下を含むソリューションを提供します。

企業が持つ膨大なデータは、それを駆使して独自のインサイトを獲得できる必要があります。フォーキャスト、S&OP、サプライチェーン、マーケティング、顧客行動などの領域における強みは、そのまま企業の競争力に直結します。これがデータリーダーシップです。リアルタイムでのインサイト獲得が、業界において一頭地を抜く存在になるためのカギといえます。

NTTコムオンラインでは企業のデータファブリック導入を実現するソリューションを用意しております。
より詳細な情報をご希望の際は、お問い合わせフォームよりお問合せください。