データプラットフォームは、昨今のデジタル化した企業が所有するシステムやプロセス、インフラストラクチャから生成されるデータを取り込んで処理し、分析して提示する包括的なソリューションです。ポイントソリューションや専用アプリケーションの多くが、パズルのように複雑なデータ群の一部、またはいくつかの部分を効率よく管理するのに対し、正しく設計されたデータプラットフォームはデータをエンドツーエンドで管理します。
データプラットフォームは、単なるビジネスインテリジェンスプラットフォームではありません。ビジネスインテリジェンスプラットフォームがビジネス上の意思決定に関連するデータを取り込み、意思決定の質を向上させるのに対し、データプラットフォームは、セキュリティやプライバシー、コンプライアンス確保のためのデータからITや技術運用データまで、企業全体の業務の中で取り込まれ、生成される多様な種類および構造のデータを幅広く管理します。
今日、企業は何千ものアプリケーションやサービスから自社固有のニーズにあったインフラストラクチャを選択し、構築することができます。しかしながら、それぞれ独立したソリューションを効果的に統合できないことが多く、そのため、規模の大きな組織では、他のチームと共有できず別の目的のために転用できないデータセット(「サイロ」)が形成されています。サイロは、ビジネス上の課題やチャンスを特定するデータ分析の効力を鈍らせます。
最新のデータプラットフォームを使用することで得られるメリットは数多くありますが、データの一元管理もその1つで、組織全体で単一のプラットフォームを使うことによりサイロ化を防ぐことができます。そして、それにより組織全体のデータを視野に入れながら実践的なインサイトを得ることが可能になります。ただし、これを実現するには、それを利用することで余計な複雑さが持ち込まれることを防ぎながら、ほぼあらゆるソースからデータを取り込むことができるプラットフォームである必要があります。簡単に言えば、データプラットフォームは、企業があらゆるデータから学び、行動していく能力を後押しするものでなければならないのです。
この記事では、データプラットフォームとは何か、そしてデータプラットフォームを選ぶ際に何に着目すべきかについて、さらに深く見ていきます。
データプラットフォームとビッグデータプラットフォームの違い
「ビッグデータプラットフォーム」と「データプラットフォーム」に違いはまったくありません。どちらも大規模なデータを処理するためのものです。
「ビッグデータ」という概念は、人間社会が生み出すデータの量が急激に増え始めた1990年代に広まりました。しかし、今はすべてのデータがビッグデータです。ユーザーは数ペタバイトものストレージが接続されたハードウェアやクラウドシステムにアクセスし、民間企業か公共機関かにかかわらず、あらゆる組織が膨大な量のデータを生成しています。IDCの予測によれば、世界のデジタルデータ量は2025年までに163ゼタバイトに達する見込みです。
「ビッグデータ」には、3つの大きな特徴があります(以降、ビッグデータを単に「データ」と呼びます)。
- 量 — 生成、保存されるデータの量。
- 多様性 — データの種類と性質。
- 速度 — データが生成、処理されるスピード。
この3つの要素のすべてについて比類のない勢いで拡大が進む中、現在の組織のニーズに対応できるデータプラットフォームは、すべて「ビッグデータプラットフォーム」です。
エンタープライズデータプラットフォームのメリットとは
エンタープライズデータプラットフォーム(EDP)のメリットは、これまでデータサービスのために使用されてきた複数のポイントソリューションに代わり、すべての機能がエンドツーエンドで統合されることから生まれます。多くの企業が、効率的に連携できない、拡張性に乏しいオペレーショナルデータストア(ODS)、データウェアハウス(DW)、データマート(DM)でやりくりしています。EDPは、これらのソリューションの機能を統合するとともに、すべてのデータを、安全で共有可能な、最も効率よく使用できる1つの場所に集約します。
この他にも、EDPは大規模な組織に次のような大きなメリットをもたらします。
- データ関連の機能を1つのクラウドベースプラットフォームに集約、標準化
- 新規ユーザーの追加に伴う負担を軽減(企業統合の場合は特に大きく負担が軽減)
- 組織内のテクノロジーを、部門ごとではなく、一元的に管理
- 質の高いレポートを容易に作成
- より精度の高い包括的なデータ分析を迅速に実行
つまり、優れたエンタープライズデータプラットフォームとは、データの種類、格納場所(構造化データベース、巨大なデータレイクなど)、量にかかわらず、どのようなデータセットにも対応でき、処理が迅速で、信頼性が高く、実用的なインサイトをリアルタイムで提供できるプラットフォームということになります。
データアーキテクチャとは
データアーキテクチャとは、組織のデータ環境を支えるフレームワークのことです。データアーキテクチャは、データプラットフォームとは異なります。データアーキテクチャがデータの取り込み、保存、提供に関する設計図であるのに対し、データプラットフォームはエンドユーザーのためにデータにアクセスして、移動や分析、相関付け、検証を行うマシンです。
データアーキテクチャは、既存のデータ要件をサポートしつつデータやインフラストラクチャの膨張に合わせて拡大する堅牢なインフラストラクチャであり、データ志向の組織を支える柱です。データアーキテクチャがしっかりとしたものでなければならない理由はそこにあります。エッジコンピューティングやIoT(モノのインターネット)といったテクノロジーが広がる中、堅固なアーキテクチャ原理の重要性はさらに増しています。
最新のデータアーキテクチャは、以下の3つの特性を考慮して構築されています。
- 汎用性：データアーキテクチャは、各ビジネス部門が目標達成のために必要とするデータに簡単にアクセスできるよう、組織全体のデータフローを管理します。新規のバックエンドアプリケーションから最新のソーシャルメディアプラットフォームまで、データソースやビジネスニーズは頻繁に変わります。データアーキテクチャは、こうした変化に迅速かつ問題なく対応し、拡張できるものでなくてはなりません。
- インテリジェンス：データアーキテクチャは、最小限のメンテナンスで運用できる必要があります。データの取り込みや分散が最大限に自動化されており、信頼性の高い方法でデータのカタログ化や送信先への配信が行われなければなりません。また、自動化だけでなく機械学習やAI(人工知能)を活用して、変化に対応し、エラーのあるデータを修正するとともに、ユーザーのニーズを予測する能力を絶えず向上させていくようなアーキテクチャであるべきです。
- セキュリティ：汎用性、インテリジェンス、セキュリティのバランスがとれていなければ、価値あるデータアーキテクチャとは言えません。セキュリティの厳格な維持とプライバシー規制の遵守は必須であり、さらに堅固なデータ暗号化方式やデータのライフサイクル管理機能を備えることでセキュリティを完全なものにすることができます。アーキテクチャが拡大しても常にデータのセキュリティを維持していくための戦略は、組織とその顧客、そして両者の将来のために極めて重要です。
データ戦略とは
データ戦略とは、組織がどのようにデータを収集し、保存して、セキュリティを確保し、データの管理、分析、共有を行うか、そしてそのデータを使用してどのように目標を達成していくかに関する計画です。データ戦略は、データを使ってビジネス戦略をどのように実現して推進するかを明確に示す、中心的かつ包括的な概念であり、データに関するすべての事柄の土台となります。
データ戦略は組織ごとにそれぞれ異なるものの、一般にデータ戦略を策定することで以下のことが可能になります。
- ビジネス目標を達成する上でのデータの活用方法を定義し、活用を成功させるための道筋を確立する
- 保有するデータの価値を最大限引き出すため、組織に変革を促し、変革を実現するための具体的な方法を計画する
- 変革がもたらす財務面でのメリットを明らかにし、新たに獲得するインサイトの活用によって収益の増加やデータの収益化が可能であることを示す
データサイエンスとビジネス目標を結び付けるもの、それがデータ戦略です。データ戦略は、具体的で、実装のための戦術を含むと同時に、テンポの速い市場の変化に対応できる柔軟性を備えている必要があります。
データプラットフォームの選び方
適切なデータプラットフォームを選ぶために検討すべき項目は、展開先(オンプレミスかクラウドか)、拡張性、柔軟性、ユーザビリティ、セキュリティ/コンプライアンス、インテリジェンス/自動化の6つです。そして、これらの項目すべてについて、ソースや形式、時間尺度に関係なく組織内のあらゆるデータに対応できるかどうか、あらゆる疑問を解決し実用的なインサイトを獲得できるかどうかを中心に据えて検討していくことが重要です。
- オンプレミス/クラウド/ハイブリッド：データをオンサイトで管理するか、クラウドプロバイダーを利用するか、それとも両者を組み合わせて利用するかは、複数の要素によって決まります。たとえば、セキュリティとコンプライアンスの要件、各ソフトウェアのライセンスモデルのコスト、引き続き社内のITチームで維持したいスキルや機能、ベンダーにアウトソーシング可能なスキルや機能などの要素を検討します。
- 拡張性：データプラットフォームは、現行の規模に合った性能を備えていると同時に、将来的に予測されるデータストアの拡大にも適応できる必要があります(クラウドベースのデータプラットフォームの採用が増加している背景には、この拡張の必要性が大きな要因の1つです)。
- 柔軟性：柔軟性は非常に重要です。さまざまなグループやユースケースに対応できるか、新しい機能やユースケースを容易に追加できるか、新しい機能のサポートという観点でアプリケーションやアドオンのエコシステムが堅牢かなどを検討する必要があります。
- ユーザビリティ：検討中のプラットフォームは、さまざまなスキルのユーザーが簡単に導入、設定を行えるものでしょうか？使い方を習得しやすいでしょうか？データをあらゆる意思決定に活用するには、専門知識を持つIT担当者のみならず、技術的な知識をさほど持たない社員も含め組織内の全員がデータを活用できなければなりません。
- セキュリティ/コンプライアンス：マスコミで大きく取り沙汰され、組織や顧客、ひいては国さえもリスクにさらしかねないデータ侵害を防ぐには、徹底してデータを保護する必要があります。そのためには、データプラットフォームに堅牢なセキュリティ機能が組み込まれていること、または既存のセキュリティソリューションと統合するためのツールがあることが必須です。コンプライアンスも同様です。国や地域の規制当局によって定められたフレームワークやガイドラインに準拠したデータ管理プラットフォームは、その国や地域におけるビジネスに不可欠です。
- インテリジェンス/自動化：データプラットフォームを必要とするような膨大な量のデータは、高度な専門知識を持つアナリストでさえも対応しきれません。テクノロジーの変革、とりわけ機械学習(ML)とAI(人工知能)の分野における進歩により、あらゆる規模の企業がデータ主導のインサイトから恩恵を得るチャンスが新たにもたらされています。
データプラットフォームの将来
今後、データプラットフォームには、速度、多様性、量において過去を上回るデータセットを処理し、データサイエンティストからビジネスマネージャーまで幅広いユーザーに対して、疑問への回答や意思決定、アクション選択のためのデータをリアルタイムに提供することが求められていくでしょう。データプラットフォームは、ユーザーがデータを調査、監視、分析し、明らかになったインサイトに基づいて効果的なアクションを起こすことを可能にするようなものでなくてはなりません。
新しいテクノロジーによってデータはますます増え、形式も多様化する中で、データプラットフォームも進化を求められていくとSplunkは考えています。将来の課題に対応していくため、データプラットフォームは機械学習やAI(人工知能)といった「スマート」なテクノロジーを統合し、組織がデータ関連の目標を達成できるようにプロアクティブにサポートしていかなくてはなりません。Splunkのアプローチを使用すれば、AIと機械学習で組織の専門知識とデータを補完し、あらゆる業種、ユースケース、スキルセットにおいて効率と生産性を向上させることができます。Splunkのアプローチについて詳しくは、SplunkのData-to-Everythingプラットフォームをご覧ください。
謳い文句にではなく、自社のニーズにフォーカス
多くの選択肢の中から1つのデータプラットフォームを選ぶのは、大変な作業に思えるかもしれません。そこでお勧めするのが、数ある製品、サービス、ソリューションのさまざまな謳い文句はいったん脇に置いて、自社のニーズから検討を始める方法です。
- 目標をきちんと決める：ビッグデータアプリケーションを選択する際、何を達成したいのかを明確にすることは極めて重要です。何を達成したいのかがわかっていなければ、ニーズに効果的に取り組むことはできません。
- 小さな規模から開始する：初めは、小規模なプロジェクトから開始します。より大きな規模で組織に浸透させていくには、まず、小規模なプロジェクトでデータ管理プラットフォームを活用することの有効性を実証することが最善の方法です。
- 大きく考える：データは非常に大きなパワーを秘めており、ビジネスのあらゆる側面で役立ちます。データが役立つ場所であれば組織内のどこででもそれを活用できるようなプラットフォームを選択してください。
- データ文化を築く：組織全体でデータ分析を活用できるようにすることは、方程式の半分にすぎません。データから得られるインサイトによって導かれる企業文化を築いてはじめて、方程式は完成します。データ分析チームが全社の部門と連携して、ユーザーが自律的にインサイトを獲得できるよう支援していくことが重要です。
