リアルタイムデータとは？

リアルタイムデータ処理とは、データを収集と同時に処理し、ほぼ即時に出力を生成する処理方式を指します。そのメリットを理解するには、データ処理の仕組みに注目し、リアルタイムデータ処理と、もう1つの一般的な方式であるバッチデータ処理とを比較することが重要です。

データ処理の目的は、ソーシャルメディア、販売キャンペーン、その他のデータソースから収集したRawデータを有意義な情報に変換し、最終的に意思決定に役立てられるようにすることです。かつては、この作業をデータエンジニアやデータサイエンティストが手動で行っていました。しかし今日では、多くのデータ処理をAIや機械学習アルゴリズムで自動的に実行できます。処理の性質上、多少の時間的遅延は避けられませんが、重い処理や並列に近い処理を高速に実行できるか、そもそも発生しないため、より迅速かつ複雑な分析が可能です。Rawデータを実用的なインサイトに変えるには6つのステップがあり、このサイクルが何度も繰り返されます。

• 収集：処理サイクルの最初のステップは、データの収集です。データソースには、データウェアハウス、データレイク、オンラインデータベース、接続されたデバイスなどがあります。
• 準備：データをクリーニングして、破損データ、重複データ、欠損データ、不正確なデータを取り除き、分析に適した形式に整えます。これにより、高品質なデータだけを処理対象にできます。
• 入力：Rawデータを、機械で読み取り可能な形式に変換し、処理システムに送り込みます。
• 処理：人工知能と機械学習アルゴリズムによってRawデータを処理、加工して、必要な出力を生成します。
• 出力：処理したデータを、人間が読み取り可能な形式(ドキュメント、音声、動画、グラフなど)でユーザーに提供します。
• 保存：将来使用できるようにデータを保存します。保存したデータは、必要になったときに簡単にアクセスしたり、次のデータ処理サイクルで入力として使用したりできます。

バッチ処理とリアルタイム処理はどちらもこのステップに従いますが、実行方法が異なり、そのため、適した用途も異なります。

バッチデータ処理は、大量のデータを処理するためによく使用されます。この処理方式では、データを特定の期間収集して蓄積してから、すべてのデータを一度にシステムに入力し、まとめて処理します。データの処理が完了すると、バッチ出力が生成されます。

バッチデータ処理にはいくつかの利点があります。その1つは、大量データの処理に適していることです。処理期限がなければ、収集とは切り離して任意のタイミングでデータを処理できます。また、データをまとめて処理するため、効率が良く、コスト効果に優れています。一方、唯一の大きな欠点は、データを収集してから処理結果が生成されるまでに時間がかかることです。そのため、バッチデータ処理は、給与計算や請求処理など、経理/会計データの処理に適しています。

リアルタイム処理では、データがごく短時間のうちに処理され、出力がほぼ瞬時に生成されます。データが入力と同時に処理されるため、出力を継続的に得るにはデータを継続的に入力し続ける必要があります。遅延はバッチ処理よりもはるかに小さく、秒またはミリ秒単位です。処理の遅延は、ネットワークI/O、ディスクI/O、運用環境、コードでどれだけ遅延を排除できるかによっても変わります。一方で、入力データに特定の形式が求められるため、ユーザーや顧客にとっては手間や面倒に感じることがあります。それでも、リアルタイムデータ処理は、ATM取引やeコマースの注文処理など、日常のさまざまな場面で活用されています。

リアルタイムデータ処理の大きな利点の1つはスピードです。データの入力から出力の生成まで、遅延はほぼありません。また、情報が常に最新であることも大きなメリットです。これらの特性から、リアルタイムデータ処理を導入すれば、正確な情報に基づいてすばやく判断を下し、行動に移すことができます。欠点は、ビッグデータ分析と高い処理能力が必要になることです。その関連コストと複雑さが妨げになって、独自のリアルタイムデータ処理システムの導入を断念する組織もあります。

リアルタイムデータは主に、リアルタイム分析に使用されます。リアルタイム分析では、Rawデータの収集後すぐにインサイトが導出されます。このプロセスは「ビジネスインテリジェンス」や「オペレーショナルインテリジェンス」とも呼ばれ、業種を問わず、すばやい対応が不可欠な場面で用いられます。たとえば金融機関では、リアルタイム分析によって、クレジットカード取引の実行と同時に詐欺を検出できます。また、IT運用チームがデバイスの障害を予測するためにも役立ちます。即時のインサイトを必要とする複雑なタスクのほとんどは、リアルタイム分析が効果を発揮します。

リアルタイム分析には2種類あります。1つはオンデマンドのリアルタイム分析で、エンドユーザーやシステムからの要求に応じて分析結果が生成されます。もう1つは「ストリーミングデータ分析」とも呼ばれる継続的な分析で、データが収集と同時に分析され、特定のイベントが検出されたらユーザーにアラートが送信されるか適切な対応措置が実行されます。モバイルデバイス、IoT (モノのインターネット)製品、センサーなどのソースから大量のデータが高頻度で生成される今日、データを保存せずに入力と同時に処理するリアルタイム分析は欠かせない存在になっています。

リアルタイムデータを分析すれば、顧客の行動から、カスタマーエクスペリエンスの応答時間、競争優位性を確立する方法まで、さまざまタイプのインサイトを導出できます。分析はあくまで、定められた領域内で何が起きているかを明らかにするだけであり、その結果をどのように活用するかが分析の「種類」に該当します。つまり、分析ツールは特定のアクションを実行するわけではなく、限られた入力に基づいてインサイトを提供するだけです。データ分析には、4つの基本的な種類があります。

記述的分析：問題を特定したり何が起きたかを明らかにしたりするための分析手法です。この手法では問題を正確に把握できますが、問題の原因まではわからないため、通常は他の種類の分析と併用します。

診断的分析：記述的分析よりも一歩踏み込んでデータを調査し、相関付けを行って、問題の原因を明らかにするための分析手法です。たとえば、システム障害を引き起こした要因や、セキュリティ脅威が社内環境に侵入した方法を解明できます。診断的分析は「根本原因分析」とも呼ばれます。

予測的分析：記述的分析と診断的分析から得られる履歴データに基づいて、特徴的なパターンや傾向を特定し、将来起こり得る問題を予測するための分析手法です。たとえばインフラの監視では、予測分析によってシステム障害を予測し、管理者にアラートを送信することで、システムの可用性を維持することができます。

処方的分析：その名のとおり問題を防ぐために取るべき対策を推奨する、最も高度な分析手法です。この手法では、過去と現在のパフォーマンス、利用可能なリソース、予測されるシナリオを基に、機械学習やその他のアルゴリズムを使用して最適な対策が判断されます。処方的分析は、インフラの耐久性や回復力を高めるための最適な方法を割り出して、インフラを継続的に改善するために役立ちます。

これらのリアルタイム分析手法はいずれもITインフラの監視と管理に役立ちますが、目標とする成果を達成するにはいくつかのベストプラクティスがあります。

まずは、測定対象を決めることが重要です。「とりあえずすべてを追跡しよう」という考えでは、インサイトの導出よりもデータの管理に時間がかかってしまいます。「何を知りたいか」、「どのような問題を解決したいか」を関係者から聞き取り、必要な情報だけを追跡しましょう。

測定するインフラデータが決まったら、分析ツールを用意します。さまざまなソースから関連データを収集し、事前学習済みの機械学習モデルまたはカスタマイズされた機械学習モデルを使ってデータを処理するという面倒な作業は、分析ツールに任せましょう。

次に、Rawデータにコンテキストを付加し、目的の成果と関連付けて、実用的なインサイトを導出します。この作業も分析ツールに任せることができます。適切なツールを使用すれば、Rawデータを有意義な情報に変換し、複数の観点から理解できるようにして、データを視覚化したりアイデアを伝えたりできます。もちろん、データの視覚化は便利であっても、あくまで伝達手段の1つであり、相手を説得したり意思決定を支援したりするためにそれをどのように使用するかは人間が決めることです。たとえば、関係者やメンバーの気持ちがまとまっていないと感じたときは、分析ツールでデータを視覚化すれば、全員で目標と目指す成果を共有するのに効果的です。

最後に、導出されたインサイトを評価し、結論を出して、今後のアクションを決めます。データから導き出したインサイトを活用すれば、発生した問題にすばやく対応するだけでなく、問題の発生を防いだり、望ましい状態やイベントを把握したりすることもできます。

今日のIT環境では膨大な量のデータが生成されます。これらのデータをリアルタイムで処理して分析できれば、インフラの運用状況を深く理解し、より正確な情報に基づいて判断を行い、その判断の影響を評価するために役立つ、価値の高いインサイトが得られます。

多くの企業はまず、稼働時間の向上を目的としてリアルタイムデータ分析を行います。稼働時間は収益に直結するためです。インフラデータをリアルタイムで処理することで、顧客に影響が及ぶ前にシステム障害を検知し、場合によっては障害を予測して未然に防ぐこともできます。1台の企業サーバーが停止したときの1時間あたりの平均コストは40万ドルに達するという調査結果もあるため、その効果は絶大です。

もちろん、リアルタイムデータの用途はインフラ監視にとどまりません。リアルタイムデータを分析してサービスへのアクセスが急増するタイミングと落ち着くタイミングを予測すれば、リソースの割り当てを調整して、顧客の要求によりすばやく正確に対応できます。また、ネットワークセキュリティの問題に関する最新のインサイトを獲得して、脅威に迅速に対応することもできます。このようにリアルタイムデータを活用すれば、現状をただちに把握して、問題があるときは、後手に回ることなく発生と同時に対応できます。

結局のところ、リアルタイムデータがもたらす最大の価値は、インフラの強化といってよいでしょう。問題を検出して診断するリアクティブな体制から、イベントを予測して推奨される対策を導き出し、問題を未然に防ぐプロアクティブな体制に移行することによって、インフラの耐久性と回復力を向上できます。

リアルタイムデータは、組織の規模に関係なく幅広いメリットをもたらします。そのいくつかをご紹介します。

• プロアクティブなアプローチの実現：IT領域ではこれまで、データ分析はリアクティブなプロセスでした。しかし、データマイニング、予測戦略、機械学習アルゴリズムなどの最新テクノロジーの登場によって、従来の手法やツールでは発見が難しかったパターンを特定できるようになり、よりプロアクティブな体制を実現できるようになりました。
• 可視性の向上：今日のITインフラは、物理サーバーと仮想サーバー、パブリッククラウドとプライベートクラウド、データベース、アプリケーションが混在し、複雑に相互依存して、可視性を確保することが難しくなっています。統合ツールでリアルタイムデータを監視、分析すれば、コンポーネント間でデータを簡単に関連付け、実用的なインサイトを導出して、IT環境を包括的に可視化できます。
• ダウンタイムの削減：リアルタイムデータは、コンポーネントの障害、サービスのアクセス急増、セキュリティ脅威、その他のインフラの問題を予測、防止、検出するために役立つインサイトを提供します。これらの問題を予測したりすばやく特定したりできれば、顧客に重大な影響が及ぶ前に対処できます。
• コスト削減：リアルタイムデータを分析することにより、リソースの割り当てや消費量、システムの健全性、セキュリティ上の弱点などに関する幅広いインサイトを獲得して、ITインフラコストの削減につなげることができます。特にIT運用に関しては、インフラのコンポーネントを最適化することにより、コストを大幅に削減できます。

分析でリアルタイムデータを使用すれば、迅速な対応に役立つインサイトを即座に導出できます。リアルタイム分析では、データがストリームとして入力され、機械学習アルゴリズムやその他の自動化テクノロジーによって処理されて、実用的な情報に変換されます。ストリーム分析では、特定時点の値を表示したり、値を時系列で表示して過去からの傾向がわかるようにしたりなど、データのタイプによって情報の表示方法を変えることもできます。

リアルタイムデータの即時性は、幅広い業種や用途にメリットをもたらしています。たとえば建築業では、リアルタイムデータを活用することで、サプライチェーンやその他のトレンドをより深く理解できます。また、ヘルスケア分野では、患者のバイタル監視、診断、治療において、調査結果を待たずにその場で問題を見つけることができます。さらに、電力/ガス/水道会社であれば、負荷と需要を踏まえて供給を調整することで、予期しない問題を防ぐことができます。

リアルタイムデータは、日常生活の情報を提供するアプリやサービスでも活躍しています。特に、天気予報アプリや、ハリケーンや地震などの災害監視システムでは、予測の精度を向上するために欠かせません。ほかにも、選挙結果速報、最新の交通情報、新型コロナウイルスの地域別の感染状況などの提供に役立てられています。

このように、リアルタイムデータは、情報に基づく迅速な判断が必要なあらゆる場面で利用されています。

さまざまなタイプの情報をグラフ化または符号化して、わかりやすく操作しやすい形で視覚化すれば、データをより深く理解し、活用して、判断やアクションに役立てることができます。視覚化の方法は、シンプルな棒グラフから複雑なグラフィックまでさまざまです。インフラデータを表示するためのリアルタイムデータの代表的な視覚化方法をいくつかご紹介します。

• タイムライン：特定期間の経過を表します。バッチ処理の監視や、長期間実行しているプロセスや動作の調査などに使用できます。
• パンチカード：2つのディメンションを統合したメトリクスを円で表します。これらの円から傾向を読み取ることができます。たとえば、時間帯や曜日ごとのリソース使用率をこの方法で視覚化して、リソース計画に役立てることができます。
• ホライゾンチャート：ベースラインを示す横軸に対するメトリクスの時間的な変化を表します。1つのチャートで複数のデータシリーズのメトリクスの増減を追跡できます。ネットワークアクティビティの監視やベンチマーク分析に特に便利です。

リアルタイムデータウェアハウスは、リアルタイムデータを保存および分析するためのストレージシステムです。データが利用可能になると同時に自動的に取り込まれ、ただちに分析されて、ウェアハウスに保存された履歴データと相関付けられます。そのため、データをすばやく用意すれば、その分すばやく可視化して分析できます。その後、問題や傾向を示す出力が生成され、これから取るべきアクションの判断に役立てることができます。データウェアハウスには、テンプレート化されたレポート形式が含まれることが多く、そこから構造化データと非構造化データを取り出すこともできます。

リアルタイムデータウェアハウスには、従来のデータウェアハウスを上回るメリットがいくつかあります。最大のメリットは、意思決定を迅速化できることです。データがリアルタイムで自動的に処理されるため、重要な判断をその場で下すことができます。また、必要なインサイトを必要なときに取得できます。データを日単位や週単位で取り込む従来のデータウェアハウスとは異なり、リアルタイムデータウェアハウスではデータがストリームとして継続的に取り込まれます。そのため、古い情報に基づいて判断するリスクがありません。常に最新のデータを利用できます。

リアルタイムデータウェアハウスの構築にはいくつかの課題もあります。特に問題になるのが、データをソースシステムからウェアハウスに取り込むETL (抽出/変換/格納)のパフォーマンスです。ETLツールは通常、バッチモードで動作します。バッチ処理には時間がかかり、ウェアハウスの機能を停止する必要があるため、その間、データを利用できなくなります。しかし最近では、リアルタイムETLツールを使用したり、ETLシステムの設定を変更したりすることで、この制限を回避できるようになっています。

リアルタイムデータは、IT環境の現状を理解し、その能力を最大限に発揮させるために重要です。リアルタイム分析ソリューションを導入すれば、環境内で生成される大量のデータから、インフラの強化に役立つインサイトを引き出すことができます。そして、インフラの健全性を保つことは、顧客満足度とビジネス成果の向上につながります。