ダークデータ：眠っているデータの発見、利用、そのメリット

ダークデータは、組織内でその存在が認識されず、活用されない状態で眠っているデータの総称です。ダークデータには、マシンデータ、サーバーのログファイル、ソーシャルメディアで収集した非構造化データなど、あらゆるタイプのデータが含まれます。この種のデータは、ユーザーがオンラインで使用する無数のデバイスやシステムで日々生成されています。

組織はこれらのデータを、古すぎて価値がない、不完全である、重複している、または組織内のツールではアクセスできない形式のデータであるとみなして放置しているか、多くの場合、そもそもその存在に気付いていません。

しかし、ダークデータは、組織にとって最大の未開拓資源の1つとなりうるものなのです。近年、データはますます組織の重要資産と考えられるようになり、今後はデータの価値を最大限に引き出すことが組織の競争力維持に不可欠となるでしょう。さらに、データの扱いに関する規制の強化によって、組織内の全データをより厳格に管理することが求められるようになる可能性もあります。

ダークデータが一般にその名で呼ばれるようになる以前、コンサルティング会社のデロイト社は、非構造化データから機会を見出す方法についてのレポートの中で、データに関する課題が差し迫っている点に触れ、隠れたデータの存在が業界全体で問題になるという重要な洞察を提示しました。ビッグデータが急激に増加し続けるのに伴い、眠っているダークデータの量も急増しています。

どんなデータも何かの役に立つのではないでしょうか。

この記事では、ダークデータとそれが組織に与える影響、どのようにして組織内のダークデータを調査し、アクセスして分析するか、さらにはデータ主導型の未来に向けた包括的な戦略の立て方について見ていきます。

ダークデータについて考慮すべき理由

組織が利用できるデータはかつてなく増大しています。一斉にデータ時代に移行したことで、以下のような点が驚くほど明確になりました。

• データは将来のビジネスを成功させる鍵である：自社が持つデータの価値が注目されており、ほとんどの組織が主要業績評価指標を測定したり、必要に応じてデータを意思決定に役立てたりしています。
• 企業には多くの眠っているデータが存在する：データの重要性が高まっているにもかかわらず、活用が不十分なデータや存在がまったく認識されていないデータが増えています。

大量のデータを行動に結び付けるために必要な人材、ツール、スキルが組織内にない場合や、自社が作り出しているデータ自体をまだ認識できていない場合でも、データが意思決定において非常に重要であることに変わりはありません。

利用可能な情報の40%を使って意思決定を行っても不安が残るものです。そうした状況が大企業レベルだとどうなってしまうでしょうか。

このギャップを埋める方法がいくつかありますので、ご紹介しましょう。

ダークデータを発見する方法

定義によれば、ダークデータとは組織においてまだ知られていないデータですから、最初にやるべきなのは、もっと深く調べてみることです。組織は以下のような方法でダークデータを評価できます。

• 独立したコンサルタントに依頼する
• データソースをカタログ化し、データプロファイリングツールを使用する
• データサンプリングを行い、大規模なデータセットを分析する
• IAMの設定を監査し、セキュリティ対策が原因でアクセスできなくなっているデータがどれくらいあるか把握する
• 全部門にわたってデータの使用状況と消費量を監視し、活用が不十分なリソースを特定する
• 自然言語処理またはテキストマイニングを使用して、非構造化データを分析する
• データ使用状況の現状と潜在的可能性について知るために、関係者と面談する
• 自動データ検出ツールを導入する

組織内のダークデータを分析すれば、少ない技術スタッフで多くの領域を調べ、組織のニーズを理解することができます。具体的には、ダークデータ分析ソリューションを使用することで、データを包括的かつ正確に理解し、有益なインサイトを引き出し、データ環境の全体像を把握することができます。

ダークデータの活用

データを活用せずに放置してきた場合、重要なインサイトを逃してきた可能性が高いです。ダークデータは以下のようなことに役立つ可能性があります。

• 組織の各部門が持つデータを把握する
• 品質保証プロセスを改善する
• プロセスのエラーを検出し、修正する
• 個人情報保護の盲点を見つける
• セキュリティの脆弱性を特定する

具体的なユースケースは無数にありますが、ここではいくつかに絞って紹介します。

AIのインサイトを強化する

ダークデータの有望な用途の1つは、AI搭載のソリューションの効果を向上させることです。利用できるデータが増えれば、AIが分析できる情報の量も増え、深くて精度の高いインサイトを引き出せるようになると期待できます。

運用効率を改善する

ダークデータを調べていくと、以下に示すように、運用を改善する機会に気付くことがあります。

• ログ分析でシステムのボトルネックやパフォーマンスの問題を発見できる
• リソースの割り当てパターンで最適化の機会が明確になることがある
• システム監視のダークデータに基づいて予知保全ができるようになることがある

コンプライアンスとリスク管理を支援する

ダークデータにコンプライアンス要件やリスク管理に関連する情報が含まれていることがあります。このようなデータを分析すると、潜在的なコンプライアンスの問題を特定したり、特定のビジネス慣行に関連するリスクを評価したりするのに役立ちます。

それまで活用されていなかった新たなデータは、以下のような可能性を秘めています。

• リスクモデリングの精度を高める
• 規制レポートに必要な重要な情報を提供する
• サードパーティによるリスクを特定する
• 早期警告システムの作成を支援する
• 監査や調査のための証拠とコンテキストを提供する

ダークデータのさまざまなメリットを活用する

ここではダークデータの可能性の例を幅広く示しましたが、極めて具体的に示すことも可能です。社内システムのパフォーマンス、カスタマーサポートとのやり取り、サプライチェーンプロセス、社内トレーニングなど、どの分野を改善する場合でも、ダークデータの発見に積極的に取り組めば、さまざまな機会が明らかになる可能性があります。

ダークデータに先手を打つ

組織は相反する課題に直面しています。

• データとAIが持つ可能性は無限大であり、ビジネスに変革をもたらすと信じ、データリテラシーが職務の遂行やパフォーマンスの向上に不可欠になると考えている。
• その一方で、データに対する洞察力、AIに関する専門知識、組織内のデータに基づいて適切な意思決定を行う能力にあまり自信が持てずにいる。

この矛盾を踏まえて、データの全体像がつかめない現在からデータ主導型の未来へと前進するために推奨される重要事項を以下に示します。

AIの導入に備える

AIや機械学習のような急成長しているテクノロジーの最新情報を収集すると同時に、組織や組織が属する業界に適したユースケースを探しましょう。特に、ビジネスリーダーやITリーダーは、AIの発展状況に常に目を光らせ、これらのテクノロジーがさまざまな市場でどのように成熟しているかを把握する必要があります。自動化によって効率と精度がどのくらい向上するかを検討し、大量のデータを効果的に処理する能力を高めていきます。

データ中心の文化を築く

データ主導型の未来を実現するための最初のステップは、必要なインフラを整備することです。その後、データを理解するための手段を講じ、ビジネス戦略の重要な要素としてのデータの役割を明確化します。また、ITロードマップに自動化とAIを組み込み、戦略的な意思決定にデータと分析を取り入れることも大切です。

データスキルを補強する

業界全体でデータスキルが不足していることを踏まえ、新しいデータ人材の採用を強化する必要があります。以下のような人材の雇用をお勧めします。

• データアナリスト
• データアーキテクト
• データエンジニア
• データサイエンティスト

そのためには、人材パイプラインを構築する、地元の大学と協力する、就職説明会に参加する、技術交流会などのイベントに参加するなどの方法があります。スキルとデータリテラシーの高い人材は引く手あまたです。競合他社から抜きんでるためには、優秀な人材が集まり長く在職している先進的な組織として注目されるような体制作りも必要です。さらに、トップクラスの人材の獲得競争に勝てるように、ITスタッフの平均給与を調べてください。

トレーニングの機会を提供する

既存の従業員に対して、ビジネス変革に役立つ新しいテクノロジーを習得するためのトレーニングを確実に提供することが重要です。オンライン学習サイトと提携する、カンファレンスやイベントにスタッフを送り込む、学習のための費用を負担するなどの取り組みを行って、成長の機会を提供しましょう。キャリア開発とキャリア目標の設定は従業員自身に任せ、組織は目標を達成するためのツールを提供してそれをサポートします。

今すぐダークデータを活用しましょう

製品開発から、サプライチェーン、カスタマーエクスペリエンス、組織戦略まで、データがビジネスのあらゆる側面をかつてないレベルに押し上げていることはほぼ周知の事実です。しかし、今日のビジネスリーダーの多くは、この革新に対する準備ができていません。これは組織にとって課題であると同時に、大きなチャンスです。

当然、今後はデータ中心時代の到来に備えて、データリテラシーの高い人材を雇用、育成するための取り組みが必要になるでしょう。また、データ主導型の文化の浸透に努め、ダークデータを明らかにするために行動を起こす必要があります。

データは、ビジネス資産として、ますますその価値を高めています。組織が自組織内のすべてのデータを管理し、その価値を最大限引き出すには、人材、プロセス、テクノロジーの整備が不可欠です。

このブログはこちらの英語ブログの翻訳です。