データフェデレーション

データフェデレーションとは?

データフェデレーションは、複数のデータベースを一つのデータベースとしてアクセスできるようにする技術を指します。さまざまなソースから取得したデータはすべて一つの共通のモデルに変換され、一つの仮想的なデータベースとなります。フロントエンドアプリケーションからは単一のデータソースとして扱うことができます。

データフェデレーションは、データ仮想化フレームワークの一部に過ぎません。データ仮想化は進化したデータフェデレーションであるだけでなく、その上にさらなる特長や機能を持ち、さまざまな用途に対応しています。データ仮想化は、複数データウェアハウスの統合以外にも幅広い機能があります。例えば、メタデータリポジトリ、データの抽象化、ソースデータへのアクセスおよび高度なセキュリティなどです。データ仮想化はデータフェデレーション以上のものです。

ビジネスにおけるデータフェデレーション

今日、企業が直面している大きな課題は、データの効果的な管理です。例えばこのようなデータの問題があります。

• さまざまなクラウドデータベースやサイトがデータアクセスを制限している
• 大量のデータを保存するために大容量のストレージが必要
• 整合性がないデータによって、データクレンジングや整理の時間と工数が発生
• データの型や有り場所を示す決定版の情報がない

データフェデレーションは、あるがままのデータが抱える多くの問題を解決し、ビジネスにおける時間とコストを削減します。例えば、データフェデレーションは、複数のデータソースから取得した情報を単一の形式へと統合することで、すべてのデータベースを仮想的に一箇所のデータストアに集約します。つまり、データのコピーを作成するのではなく、仮想的に統合することで、追加のストレージが不要になるのです。

データフェデレーションは、データ管理およびデータ仮想化戦略に欠かせない部分です。データ仮想化戦略は、クラウド移行・データウェアハウスの拡張・データ統合、あるいは他のデータマネジメント戦略との組み合わせが可能です。

データフェデレーションのメリット

追加の物理ストレージが不要

データフェデレーションは、データソースからコピーを作成しません。そのため追加のストレージが必要ありません。高額なITインフラやデータ処理能力のかわりに、データフェデレーションソフトウェアがそれらデータをすべて管理します。

唯一の真実 (Single Source or Truth)

正確なデータソースが一つだけある状態、これが理想的な状態です。情報を探す際に無駄に時間を使う必要がなく、また得られるデータの精度もはるかに向上します。どのデータが最新なのか、どこにあるのかと探す必要もありません。データフェデレーションからは最新のデータが提供されます。データエラーは減少し、顧客満足度も向上し、信頼性の高いビジネス情報が得られます。

多くのデータはサイロ化しています。特に企業がIT全体を把握していない場合に顕著です。データフェデレーションはこうしたサイロを一掃し、組織全体の情報共有を簡単なものにします。

機械学習とAIに、より信頼性の高いデータを

現状、データサイエンティストの作業の大部分はデータクレンジングに費やされています。不要なデータポイントやデータの重複を削除し、最新版の情報を見つけ、異常値を排除しなくてはなりません。データフェデレーションはこれらのほとんどを自動的に行うことができます。その結果、データは正確で一貫性を持ち、優れた予測と成果を得ることができます。

高速なデータアクセス

ハードウェアや複雑なITインフラを必要としないため、非常に短期間でデータの取得ができます。何らかのデータ取得の仕組みを構築する場合も、データウェアハウスやETLの構築は必要ありません。データフェデレーションははるかに短期間で構築が可能です。

最小限のコーディング

データフェデレーションを始めるのは容易です。コーディングは最小限であるため、IT部門の担当者も不要です。標準サーバーにデータフェデレーション基盤をインストールし、ビューとサービスを作成し、クエリを微調整するだけです。

他の方式よりも安価

データフェデレーションには物理ストレージが不要で、データウェアハウスのライセンスも不要であり、そのためのデータガバナンスや専任ITスタッフも必要としません。

リスクの最小化

システムはデータを物理的に複製も移動もしません。そのためデータ消失のリスクはほとんどありません。データフェデレーションシステムを正しく設定していれば、既存のレポートに従来と全く同じデータが供給され、全く同じレポートが作成されます。データに関する欠落・消失・混乱その他のリスクを生じません。

データフェデレーションの問題点

大規模なデータクレンジングにおける問題

データの不整合や間違いが非常に多い場合、フェデレーションのファインチューニングやデータクレンジングだけでは、課題を解決しきれません。ビジネスの成果が得られない可能性があります。

＜解決策＞

データをリレーショナル型やXML形式にすること。もしも不可能な場合は、データフェデレーションの適用の前に現行の大規模・複雑なデータベースを見直す必要があります。

過去のデータを持つことができない

多くのシステムでは、データ変更の際に変更前のデータは何らかの形で保存されます。エラーが起きた場合は過去に遡ってデータを探したり修正したりするためです。しかし、データフェデレーションは常に最新のデータしかありません。

＜解決策＞

過去データを保存するためには、そのための物理的なデータストレージが必要です。

一定のシステム性能が必要

業務システムがフル稼働の場合、あるいは処理能力が低い場合はデータフェデレーションは機能しません。処理能力が限界である場合、突然の問い合わせが来れば通常のデータ処理に遅延などの影響が出ます。

＜解決策＞

データフェデレーションが正しく動くためには、既存システム側の強化が必要な場合があります。

企業におけるデータフェデレーションとは？

企業には複数のデータベースや、独立したアクセスが困難なデータサイロが存在することがよくあります。 必要なデータへのアクセスができないことで、ビジネス上の不整合や低信頼が生じます。 データフェデレーションは、すべてのデータを統合しつつも、 元のデータベースのコピーは作りません。元のデータはそのまま部門や支店に残され、コピーによる不整合は起きません。 そのため、組織のあらゆるレベルにわたって政治的な合意を得ることができ、実装は容易になります。スタッフやエンドユーザーは、さまざまな正確なレポートや情報にアクセスできるようになり、ビジネスインテリジェンスや予測に必要なデータ、および顧客やサプライヤーを含むすべてのステークホルダーのための成果を得ることができます。

データフェデレーションの代替

データフェデレーションに代わる代表的なものは、データウェアハウスおよびエンタープライズデータウェアハウス（EDW）です。いずれもデータフェデレーションと同様、複数のソースからデータを集めて分析するための、一元化されたリポジトリです。データフェデレーションと異なるのは、データ統合が物理的であることです。 これは、さまざまなソースから収集したデータの物理的なコピーをデータウェアハウスに保存することを意味します。 それによる不利な点もありますが、データウェアハウスとデータフェデレーションは、どちらか一方を選ぶというものではありません。すべての関連情報をシームレスに網羅したシステムのためには、両者が共存し、互いに補い合う必要があります。データフェデレーションは、ユーザーが正しいデータに簡単にアクセスできるようにし、データウェアハウスはその物理的な場所を提供します。

データフェデレーションの未来

大企業は平均的に約40のデータベースがあり、どれも並行稼働しています。そのためビジネス効率や正確性を低下させるさまざまな問題の原因となる可能性があります。そうした状況は、2010年代半ば以降、データフェデレーションが一般的になったことで問題の多くは解消されました。

データのサイロ化を防ぐためには、理想的には、一つの包括的で使いやすいデータベースを構築することに注力すべきです。しかしデータのサイロ化は本質的に解決が困難です。技術の進歩により現行のプラットフォームは数年で時代遅れになってしまいます。しかも、ひとつのソフトウェアですべての要件を満たせるものは存在しません。レガシーシステムが廃止されても、何らかの形でデータを使える状態で残す必要があります。

このような場合に向くのがデータフェデレーションです。データウェアハウス、クラウド、オンプレミス、データ統合を含むすべてをシームレスに連携し、下支えできるシステムになります。データフェデレーションの課題や弱点をデータウェアハウスが補うことで、ほとんどのビジネスデータベースの問題に対する理想的なソリューションとなります。