異常検知
異常検知とは
異常値（Anomaly）とは、あるデータセットにおける予期せぬ変化、または予期されるパターンからの逸脱を意味します。異常検知とは、それらの異常値を検出し警告するために使用される技術です。
異常それ自体は、必ずしも良し悪しを断定できませんが、企業にとって重要なことはパターンの変化を検出し、対策を講じるかどうか判断することです。
企業は日々のビジネスの中で何百万ものデータを生成しています。しかし、これらのデータの中にある価値ある情報の大半は、利用されることなく忘れ去られています。昨今、業務の最適化とプロセスの合理化を図り、より予測可能な未来を実現するため、ビジネスの世界では異常検知の重要性が高まっています。
異常値（Anomaly）と外れ値（Outlier）の違い
多くの人が異常値と外れ値を同じ意味の言葉として使用していますが、この二つには大きな違いがあります。異常値は外れ値と似ていますが、同様のものではありません。
全てのデータが一連のプロセスによって生成されると仮定した場合、外れ値とはつまりデータセット内で発生する確率が低い観測値を示します。つまり、母集団の中で他の観測からはかけ離れた観測点であるということです。ただし、外れ値は必ずしも異常な挙動、または別のプロセスによって発生した挙動を表しているわけではありません。外れ値とは、同じプロセスの中で生成されるデータの中で、より発生確率が低い観測値を指します。
対して異常値とは、異なるプロセスによって生成されるパターンです。この異なるプロセスは、ビジネスに対して「何かが変化した」という警告となりえます。それが機器の故障や機器疲労といったさらなる対処が求められるケースの場合もあります。
特定の観測値が異常かどうかを判断するには、判断力と対象分野の専門知識が必要になる場合があります。
異常検知の価値
企業は日々、膨大な量のデータを生み出しています。そのデータを正しく活用することで、企業はより良い意思決定を迅速に行うことができます。その活用方法の一つが異常検知です。異常を早期に検知することで、小規模なトラブルが拡大し、対処に時間がかかる大問題に発展することを防ぐことができます。最新の機械学習手法を用いて異常検知を実行することで、企業は傾向をトラッキングし、機会と脅威を把握することで、競争優位性を獲得できるのです。
異常検知の仕組み
異常をリアルタイムで検知したり、早期発見するためのテクノロジーやソリューションが数多く存在します。
可視化による発見
データアナリストやビジネスアナリストは、データの可視化を通じて予期せぬ挙動を発見します。多くの場合、適切なデータの可視化で答えを発見するために、事前のビジネス知識と創造的思考を必要とします。主成分分析（Principal Components Analysis; PCA）、t-SNE、UMAPなどの次元圧縮手法を用いたビジュアライゼーションは、低次元の可視化を介して高次元のデータにアクセスできるようになります。
教師あり学習
教師あり学習（Supervised Learning）とは、特定の業界のビジネス知識を持つ人が、あらかじめ一連のデータに正常か異常かのラベル付けを行います。データアナリストは、このラベル付きデータを利用して機械学習モデルを構築し、ラベル付けされていない新しいデータの異常を予測します。
教師なし学習
ラベルなしデータは、教師なし学習（Unsupervised Learning）モデルを構築して新しいデータを予測するために利用されます。モデルは正常なデータに適合するように調整されているため、少数の異常なデータポイントが目立つようになります。
時系列分析
時系列のトレンド、季節性、レベルを捉えた時系列分析により、異常を検出します。新しいデータがモデルから大きく乖離した場合、異常またはモデル化の失敗が示唆されます。
オートエンコーダーと機械学習
最新の機械学習技術やオートエンコーダー（Auto Encoder）は、リアルタイムで異常を検知し対応することができます。ニューラルネットワークはトランザクションやセンサーデータのフィードから異常を予測できます。
クラスタリング
データアナリストは、各データをあらかじめ定義した、あるいは発見したクラスタのいずれかに分類することができます。既知のクラスタに分類できないケースは、異常と見なされます。
異常検知のユースケース
ほぼすべての業界において、数多くの異常検知のユースケースが存在します。最も一般的な例としては、保険、金融サービス、ヘルスケア、製造業が挙げられます。具体的には以下の通りです。
- 金融犯罪への対処
- 機器センサーの監視
- 保険金詐欺への対処
- 製造上の欠陥検知
金融犯罪への対処
金融の世界では、1分間に何兆円もの取引が行われています。疑わしい銀行取引をリアルタイムで特定することは、企業の競争力向上につながります。異常な取引を特定するために、クライアント、サプライヤー、および大手金融会社は機械学習を含むビッグデータ解析の活用を加速させており、生成されている膨大な量のデータから異常を検出します。
さらに、大手金融企業は異常検知によりコストをコントロールしています。誤検知の調査を排除し、不正損失を減らすことでコストを削減しているのです。
機器センサーの監視
現在、多くの機器、車両、機械にセンサーが組み込まれています。例えば、スマートフォンには、環境光センサー、裏面照射型センサー、加速度センサー、デジタルコンパス、ジャイロスコープ、近接センサー、NFC、GPS、指紋センサーなど、多くのセンサーが搭載されています。センサーの出力を監視することは、故障や途絶を検知・防止する上で非常に重要です。
データドリブンな製造業者は、IoTデバイスを活用して、すべての装置、車両、機械をリアルタイムで追跡できます。また、異常検知ソリューションですべての出力を監視し、コストのかかる故障や途絶を防止することができます。さらに、オートエンコーダーのような教師なし学習アルゴリズムを採用することで、差し迫った問題を示す可能性のある異常なデータパターンを識別することができます。
保険金詐欺への対処
医療業界では保険金詐欺が多発しており、被害額は数十億円に上ります。保険会社にとって、不正なアカウントに支払いが行われないようにするために、不正な請求を特定することは極めて重要です。過去数年間、多くの企業がビッグデータ解析に多額の投資を行い、保険金詐欺を検出するための教師あり、教師なし、半教師ありのモデルを構築してきました。
ビッグデータ解析と異常検知の機能により、提出された各請求の医療不正の可能性を低減させることができます。
製造上の欠陥検知
いくつかの企業では、製造プロセス上のセンサーデータを、オートエンコーダーを利用して継続的に監視しています。このモデルが新しいデータをスコアリングすると、技術者は欠陥（異常）が発生したときに素早く検出し、解決します。
手作業で欠陥や異常をチェックすることは、時間の浪費と企業のコスト増につながるため、多くの大手製造業者がオートエンコーダーを使い始めています。企業は、製造した部品のセンサーデータを使って、オートエンコーダーモデルを使い、異常な事象をリアルタイムで監視・検出できます。
その他のユースケース
これらの代表的なユースケース以外にも、多くの業界で異常検知が利用されています。
- 軍事監視：画像認識
- サイバーセキュリティ：侵入検知
- 安全システム：故障検出
- ハッキング対策：ネットワークトラフィックの異常検出
- 天候：猛暑や寒波の影響
- MRI画像：アルツハイマー病や悪性腫瘍の検出
- 宇宙船のセンサー：不具合部品の特定
異常検知の未来像
今日、データはますます増加し、企業はこれまで以上に多くの情報を収集しています。そして、今後さらにデータが増加することが予測されています。このような豊富なデータから、企業はパターンを追跡する必要があります。そしてさらに重要なこととして、機器の誤動作、不正、欠陥などの大きなビジネス上の障害を避けるために、異常を検出する必要があります。
データパターンの異常を検出することで、企業は実用的な洞察を得て、デジタル時代においてより効率的で競争力のある企業になることができます。データサイエンス製品を使用すれば、企業は機械学習モデルを使用して、期待される動作を特定し、新しいデータを監視し、予期しない動作を発見して、より良いビジネス成果につなげることができます。
異常検知は次に何をもたらすのでしょうか。機械学習と人工知能の利用が進む中、機械やセンサーの異常を検出することだけが主な利用例ではなくなるでしょう。専門家の予測によると、異常検知はビデオ監視やヘルスケア診断などでますます重要性を増していくとされています。
TIBCOの異常検知ソリューション
NTTコム オンラインでは、データ解析のグローバルリーダーTIBCOが提供するアナリティクス製品を用いた異常検知ソリューションを提供しています。異常検知ソリューションについてご相談やご質問がありましたら、お問合せフォームからお問合せください。
