リアルタイムデータ：概要

リアルタイムデータとは、生成直後に収集され、利用可能なデータを指します。収集後、保存せず、ただちにユーザーに転送されるため、タイムラグなしで利用できます。この即時性は、目の前の状況に対して瞬時に判断を下すために重要です。

リアルタイムデータは、銀行取引やGPS、災害発生時に作成される緊急地図など、私たちの生活のさまざまな場面で利用されています。

リアルタイムデータは特にビジネスの場で大きな価値をもたらします。ビッグデータの収集と分析が以前よりも簡単かつ安価に行えるようになってきたことで、各組織はこのプロセスを加速させることにますます力を入れています。以下の用途でリアルタイムデータが組織全体で活用されています。

• 顧客への対応、顧客サービスの向上
• 製品の管理 
• 運用の最適化 

そして、さらに重要な用途がITインフラの監視と管理です。リアルタイムデータを使用すれば、複雑化した社内ネットワークを包括的に可視化し、パフォーマンスに関するインサイトを獲得できます。

以下のセクションでは、リアルタイムデータの収集および処理方法、リアルタイムデータから得られるインサイト、強力なツールを使用することで達成できる成果について説明し、インフラ監視におけるリアルタイムデータのメリットを明らかにします。

リアルタイムデータ処理の仕組み

リアルタイムデータ処理(別名：データストリーミング)とは、データを収集と同時に処理し、ほぼ即時に出力を生成する処理方式を指します。

そのメリットを理解するには、データ処理の仕組みに注目し、リアルタイムデータ処理と、もう1つの一般的な方式であるバッチデータ処理とを比較することが重要です。データ処理の目的は、ソーシャルメディア、販売キャンペーン、その他のデータソースから収集した生データを有意義な情報に変換し、最終的に意思決定に役立てられるようにすることです。

かつては、この作業をデータエンジニアやデータサイエンティストが手動で行っていました。しかし今日では、多くのデータ処理をAIや機械学習アルゴリズムで自動的に実行できます。処理の性質上、多少の時間的遅延は避けられませんが、高速であるため(つまり、重い処理がない、または並列処理に近い処理を実行できる)、より迅速かつ複雑な分析が可能です。

生データを実用的なインサイトに変えるには6つのステップがあり、このサイクルが何度も繰り返されます。

• 収集：処理サイクルの最初のステップは、データの収集です。データソースには、データウェアハウス、データレイク、オンラインデータベース、接続されたデバイスなどがあります。
• 準備：データをクリーニングして、破損データ、重複データ、欠損データ、不正確なデータを取り除き、分析に適した形式に整えます。これにより、高品質なデータだけを処理対象にできます。
• 入力：生データを機械で読み取り可能な形式に変換し、処理システムに送り込みます。
• 処理：人工知能と機械学習アルゴリズムによって生データを処理、加工して、必要な出力を生成します。
• 出力：処理したデータを、人間が読み取り可能な形式(ドキュメント、音声、動画、グラフなど)でユーザーに提供します。
• 保存：将来使用できるようにデータを保存します。保存したデータは、必要になったときに簡単にアクセスしたり、次のデータ処理サイクルで入力として使用したりできます。

バッチデータ処理とリアルタイムデータ処理

バッチ処理とリアルタイム処理はどちらもこのステップに従いますが、実行方法が異なり、そのため、適した用途も異なります。

バッチデータ処理は、大量のデータを処理するためによく使用されます。この処理のステップは次のとおりです。

1. データを一定期間にわたって収集し保存する。 
2. システムにデータが入力されたら一括で処理する。 
3. 処理が完了したら、データのバッチ出力を生成する。

バッチデータ処理にはいくつかの利点があります。その1つは、大量データの処理に適していることです。処理期限がなければ、収集とは切り離して任意のタイミングでデータを処理できます。また、データをまとめて処理するため、効率が良く、コスト効果に優れています。一方、唯一の大きな欠点は、データを収集してから処理結果が生成されるまでに時間がかかることです。そのため、バッチデータ処理は、給与計算や請求処理など、経理/会計データの処理に適しています。

リアルタイム処理では、データがごく短時間のうちに処理され、出力がほぼ瞬時に生成されます。データが入力と同時に処理されるため、出力を継続的に得るにはデータを継続的に入力し続ける必要があります。

遅延はバッチ処理よりもはるかに小さく、秒またはミリ秒単位です。処理の遅延は、ネットワークI/O、ディスクI/O、運用環境、コードでどれだけ遅延を排除できるかによっても変わります。一方で、入力データに特定の形式が求められるため、ユーザーや顧客にとっては手間や面倒に感じることがあります。それでも、リアルタイムデータ処理は、以下のように日常のさまざまな場面で活用されています。

• ATM取引 
• eコマースの注文処理

リアルタイムデータ処理の大きな利点の1つはスピードです。データの入力から出力の生成まで、遅延はほぼありません。また、情報が常に最新であることも大きなメリットです。これらの特性から、リアルタイムデータ処理を導入すれば、正確な情報に基づいてすばやく判断を下し、行動に移すことができます。

欠点は、ビッグデータ分析と高い処理能力が必要になることです。その関連コストと複雑さが妨げになって、独自のリアルタイムデータ処理システムの導入を断念する組織もあります。

リアルタイムデータの視覚化の例

さまざまなタイプの情報をグラフ化または符号化して、わかりやすく操作しやすい形で視覚化すれば、データをより深く理解し、活用して、判断やアクションに役立てることができます。視覚化の方法は、シンプルな棒グラフから複雑なグラフィックまでさまざまです。インフラデータを表示するためのリアルタイムデータの代表的な視覚化方法をいくつかご紹介します。

• タイムライン：特定期間の経過を表します。バッチ処理の監視や、長期間実行しているプロセスや動作の調査などに使用できます。
• パンチカード：2つのディメンションを統合したメトリクスを円で表します。これらの円から傾向を読み取ることができます。たとえば、時間帯や曜日ごとのリソース使用率をこの方法で視覚化して、リソース計画に役立てることができます。
• ホライゾンチャート：ベースラインを示す横軸に対するメトリクスの時間的な変化を表します。1つのチャートで複数のデータシリーズのメトリクスの増減を追跡できます。ネットワークアクティビティの監視やベンチマーク分析に特に便利です。

例：リアルタイムデータの視覚化

リアルタイムデータがもたらすメリット

リアルタイムデータは、組織の規模に関係なく幅広いメリットをもたらします。そのいくつかをここでご紹介します。

• プロアクティブなアプローチの実現：何十年もの間、データ分析はリアクティブなプロセスでした。しかし、データマイニング、予測戦略、機械学習アルゴリズムなどの最新テクノロジーの登場によって、従来の手法やツールでは発見が難しかったパターンを特定できるようになり、よりプロアクティブな体制を実現できるようになりました。
• 可視性の向上：今日のITインフラは、物理サーバーと仮想サーバー、パブリッククラウドとプライベートクラウド、データベース、アプリケーションが混在し、複雑に相互依存して、可視性を確保することが難しくなっています。統合ツールでリアルタイムデータを監視、分析すれば、コンポーネント間でデータを簡単に関連付け、実用的なインサイトを導き出して、IT環境を包括的に可視化できます。
• ダウンタイムの削減：リアルタイムデータは、コンポーネントの障害、サービスのアクセス急増、セキュリティ脅威、その他のインフラの問題を予測、防止、検出するために役立つインサイトを提供します。これらの問題を予測したりすばやく特定したりできれば、顧客に重大な影響が及ぶ前に対処できます。
• コスト削減：リアルタイムデータを分析することにより、リソースの割り当てや消費量、システムの健全性、セキュリティ上の弱点などに関する幅広いインサイトを獲得して、ITインフラコストの削減につなげることができます。特にIT運用に関しては、インフラのコンポーネントを最適化することにより、コストを大幅に削減できます。

リアルタイムデータがもたらすメリットには、プロアクティブなアプローチ、可視性の向上、ダウンタイムの削減、コスト削減などがあります。

リアルタイムデータによるリアルタイム分析

では、リアルタイムデータは何に使用できるのでしょうか？リアルタイムデータは主に、リアルタイム分析に使用されます。リアルタイム分析では、生データの収集後すぐにインサイトが得られます。

分析により、迅速な対応に役立つインサイトが即座に得られます。リアルタイム分析では、データがストリームとして入力され、機械学習アルゴリズムやその他の自動化テクノロジーによって処理されて、実用的な情報に変換されます。ストリーム分析では、特定時点の値を表示したり、値を時系列で表示して過去からの傾向がわかるようにしたりなど、データのタイプによって情報の表示方法を変えることもできます。

このプロセスは「ビジネスインテリジェンス」や「オペレーショナルインテリジェンス」とも呼ばれ、業種を問わず、すばやい対応が不可欠な場面で用いられます。リアルタイムのユースケースには以下のものがあります。

• 金融機関では、リアルタイム分析によって、クレジットカード取引の実行と同時に詐欺を検出できます。
• IT運用チームは、リアルタイム分析によりデバイスの障害を予測できます。
• 即時のインサイトを必要とする複雑なタスクのほとんどは、リアルタイム分析が効果を発揮します。

リアルタイム分析には2種類あります。

• オンデマンドの分析：エンドユーザーやシステムからの要求に応じて分析結果が生成されます。
• 継続的な分析：「ストリーミングデータ分析」とも呼ばれ、データが収集と同時に分析され、特定のイベントが検出されたらユーザーにアラートが送信されるか適切な対応措置が実行されます。

モバイルデバイス、IoTエンドポイント、センサーなどのソースから大量のデータが高頻度で生成される今日、データを保存せずに入力と同時に処理するリアルタイム分析は欠かせない存在になっています。

リアルタイムデータから得られるインサイト

リアルタイムデータを分析すれば、顧客の行動から、カスタマーエクスペリエンスの応答時間、競争優位性を確立する方法まで、さまざまなタイプのインサイトを導き出すことができます。分析はあくまで、定められた領域内で何が起きているかを明らかにするだけであり、その結果をどのように活用するかが分析の「種類」に該当します。つまり、分析ツールは特定のアクションを実行するわけではなく、限られた入力に基づいてインサイトを提供するだけです。データ分析には、4つの基本的な種類があります。

記述的分析

問題を特定したり何が起きたかを明らかにしたりするための分析手法です。この手法では問題を正確に把握できますが、問題の原因まではわからないため、通常は他の種類の分析と併用します。

診断的分析

記述的分析よりも一歩踏み込んでデータを調査し、相関付けを行って、問題の原因を明らかにするための分析手法です。たとえば、システム障害を引き起こした要因や、セキュリティ脅威が社内環境に侵入した方法を解明できます。根本原因分析と共通している部分があると言えるでしょう。

予測分析

記述的分析と診断的分析から得られる履歴データに基づいて、特徴的なパターンや傾向を特定し、将来起こり得る問題を予測するための分析手法です。たとえばインフラの監視では、予測分析によってシステム障害を予測し、管理者にアラートを送信することで、システムの可用性を維持することができます。

処方的分析

処方的分析は、最も高度なデータ分析です。その名のとおり問題を防ぐために取るべき対策を推奨します。この手法では、機械学習やその他のアルゴリズムを使用し、以下に基づいて出力が行われます。

• 過去と現在のパフォーマンス
• 利用可能なリソース
• 予測されるシナリオ

処方的分析は、インフラの耐久性や回復力を高めるための最適な方法を割り出して、インフラを継続的に改善するために役立ちます。

最初の一歩：リアルタイムデータを真のビジネス価値に変える

多くの企業はまず、稼働時間の向上を目的としてリアルタイムデータ分析を始めています。稼働時間は収益に直結するためです。インフラデータをリアルタイムで処理することで、IT管理者は次のことが可能になります。

• 顧客に影響が及ぶ前にシステム障害を検出する。
• エラーの予測と防止を徹底する(1台の企業サーバーが停止したときの1時間あたりの平均コストは40万ドルに達するという調査結果もあるため、その効果は絶大です)。
• サービスへのアクセスが急増するタイミングと落ち着くタイミングを予測し、リソースの割り当てを調整して、顧客の要求に対応する。
• ネットワークセキュリティの問題に関する最新のインサイトを獲得して、脅威に迅速に対応する。

このようにリアルタイムデータを活用すれば、現状をただちに把握して、問題があるときは、後手に回ることなく発生と同時に対応できます。

結局のところ、リアルタイムデータがもたらす最大の価値は、インフラの強化といってよいでしょう。問題を検出して診断するリアクティブな体制から、イベントを予測して推奨される対策を導き出し、問題を未然に防ぐプロアクティブな体制に移行することによって、インフラの耐久性と回復力を向上できます。

リアルタイムデータ分析のベストプラクティス

これらのリアルタイム分析手法はいずれもITインフラの監視と管理に役立ちますが、目標とする成果を達成するにはいくつかのベストプラクティスがあります。

まずは、測定対象を決めることが重要です。「とりあえずすべてを追跡しよう」という考えでは、インサイトの導出よりもデータの管理に時間がかかってしまいます。「何を知りたいか」、「どのような問題を解決したいか」を関係者から聞き取り、必要な情報だけを追跡しましょう。

測定するインフラデータが決まったら、分析ツールを用意します。さまざまなソースから関連データを収集し、事前学習済みの機械学習モデルまたはカスタマイズされた機械学習モデルを使ってデータを処理するという面倒な作業は、分析ツールに任せましょう。

次に、生データにコンテキストを付加し、目的の成果と関連付けて、実用的なインサイトを導出します。この作業も分析ツールに任せることができます。適切なツールを使用すれば、生データを有意義な情報に変換し、複数の観点から理解できるようにして、データを視覚化したりアイデアを伝えたりできます。もちろん、データの視覚化は便利であっても、あくまで伝達手段の1つであり、相手を説得したり意思決定を支援したりするためにそれをどのように使用するかは人間が決めることです。たとえば、関係者やメンバーの気持ちがまとまっていないと感じたときは、分析ツールでデータを視覚化すれば、全員で目標と目指す成果を共有するのに効果的です。

最後に、得られたインサイトを評価し、結論を出して、今後のアクションを決めます。データから導き出したインサイトを活用すれば、発生した問題にすばやく対応するだけでなく、問題の発生を防いだり、望ましい状態やイベントを把握したりすることもできます。

リアルタイムデータは分析以外にも活用できるのか？

リアルタイムデータの即時性は、幅広い業種や用途にメリットをもたらしています。たとえば建築業では、リアルタイムデータを活用することで、サプライチェーンやその他のトレンドをより深く理解できます。また、ヘルスケア分野では、患者のバイタル監視、診断、治療において、調査結果を待たずにその場で問題を見つけることができます。さらに、電力/ガス/水道会社であれば、負荷と需要を踏まえて供給を調整することで、予期しない問題を防ぐことができます。

リアルタイムデータは、日常生活の情報を提供するアプリやサービスでも活躍しています。特に、天気予報アプリや、ハリケーンや地震などの災害監視システムでは、予測の精度を向上させるために欠かせません。ほかにも、選挙結果速報、最新の交通情報、新型コロナウイルスの地域別の感染状況などの提供に役立てられています。

このように、リアルタイムデータは、情報に基づく迅速な判断が必要なあらゆる場面で利用されています。

リアルタイムデータウェアハウス

リアルタイムデータウェアハウスも存在します。リアルタイムデータウェアハウスは、リアルタイムデータを保存および分析するためのストレージシステムです。データが利用可能になると同時に自動的に取り込まれ、ただちに分析されて、ウェアハウスに保存された履歴データと相関付けられます。

そのため、データをすばやく用意すれば、その分すばやく可視化して分析できます。その後、問題や傾向を示す出力が生成され、これから取るべきアクションの判断に役立てることができます。データウェアハウスには、テンプレート化されたレポート形式が含まれることが多く、そこから構造化データと非構造化データを取り出すこともできます。

メリットとリスク

リアルタイムデータウェアハウスには、従来のデータウェアハウスを上回るメリットがいくつかあります。最大のメリットは、意思決定を迅速化できることです。データがリアルタイムで自動的に処理されるため、重要な判断をその場で下すことができます。また、必要なインサイトを必要なときに取得できます。データを日単位や週単位で取り込む従来のデータウェアハウスとは異なり、リアルタイムデータウェアハウスではデータがストリームとして継続的に取り込まれます。そのため、古い情報に基づいて判断するリスクがありません。常に最新のデータを利用できます。

リアルタイムデータウェアハウスの構築にはいくつかの課題もあります。特に問題になるのが、ETLツールのパフォーマンスです。ETLツールは通常、バッチモードで動作します。バッチ処理には時間がかかり、ウェアハウスの機能を停止する必要があるため、その間、データを利用できなくなります。しかし最近では、リアルタイムETLツールを使用したり、ETLシステムの設定を変更したりすることで、この制限を回避できるようになっています。

リアルタイムデータはインフラの価値を最大限に引き上げる

リアルタイムデータは、IT環境の現状を理解し、その能力を最大限に発揮させるために重要です。リアルタイム分析ソリューションを導入すれば、環境内で生成される大量のデータから、インフラの強化に役立つインサイトを引き出すことができます。そして、インフラの健全性を保つことは、顧客満足度とビジネス成果の向上につながります。

このブログはこちらの英語ブログの翻訳です。