ログ分析：ログデータを分析するための基礎知識

ログデータはまさにビッグデータと言えます。しかし、ログデータが重視されているのは、そのサイズが大きいためではありません。正しい活用方法さえ知っていれば、ログデータは非常に有用です。そこで必要になるのがログ分析です。

このブログ記事では、この重要なログ分析について説明します。最初にログデータから得られる情報を確認し、次に分析結果を実際の業務に活かす方法を学びます。

ログデータから得られる情報

ログデータは、マシンが生成するデータです。生成元は、ソフトウェアアプリケーション、ネットワークノード、コンポーネント、データセンターサーバー、コネクテッドデバイス/センサー、消費者のオンラインアクティビティやトランザクションなど、多岐にわたります。

こうした多様なソースから生成されるログデータには、以下のような有用な情報が含まれています。

• システムの動作
• エンドユーザーのアクティビティや習慣
• マシンのパフォーマンスやパターン。このデータから将来の潜在的なインシデント、イベント、成果に関するインサイトを導き出すことができます

ログデータを理解する方法さえ知っていれば、そこから豊富な知見を導き出せます。企業はログデータの潜在的な価値を見出しており、ログデータを集約、分析し、その有用なデータに基づいて行動したいと考えています。そして、ログデータからインサイトを引き出し、テクノロジーを深く理解したいとも考えています。というのも、テクノロジーがビジネス運用とエンドユーザーのエクスペリエンスの両方に大きな影響を及ぼすからです。

(関連記事：包括的なログ管理)

ログ分析の仕組み

ログの分析は、データ分析の一部であると考えることができますが、多くの組織にとっては未だに複雑な領域です。あるテクノロジーシステムで生成されたログの意味を理解する、つまりログを分析するには、次の2つの重要な情報が必須です。

• コンピューティングの相互作用やアクティビティのワークロード
• それらの相互作用が発生する環境

特定のコンピューティングアクティビティで発生した事象を理解するには、システム、デバイス、ユーザーなど、そのアクティビティに含まれるすべての関連エンティティの詳細な情報が必要です。さらに、ワークロードやネットワークリクエストを特定するために、具体的なTCP/IPプロトコルなどの識別子が必要になります。

ログツールを使用してこのような情報を大規模かつリアルタイムで収集できれば、ネットワークを監視し、その情報を使ってログを分析して、通常とは異なる潜在的な異常を含む挙動を特定できます。

これを別の角度から説明してみましょう。

ユーザーまたはソフトウェアがシステム上で1つのアクションを実行すると、システムのあらゆる部分で、発生した事象と、その時点でのシステムの状態が記録されます。もう少し正確に言えば、関係するテクノロジーシステムの各部分で、所定のステップが順次実行されます。それぞれのステップでは、以下の事項についての情報が収集および記録されます。

• システムのその時点での状態
• 発行されたコンピューティングリクエスト
• そのリクエストが処理された後のシステムの最新の状態

言い換えれば、ユーザーまたはソフトウェアがテクノロジーシステム上でアクションを実行するたびに、そのアクション自体の情報と、システムへの影響が記録されたログが生成されます。これらのログはメタデータ、つまりデータに関するデータです。これらのメタデータを全体として見ると、以下のような情報が得られます。

• 特定のアクションが発生した時刻
• 関与したシステムの部分(ネットワークプロトコル)
• 発生した可能性のあるエラー

システムの予期しない動作などの予測できない情報を含め、関連する情報がすべてログファイルに含まれていれば、最新のログ分析ツールを使用してログを分析できます。ログ分析ツールは、たとえば、過去にどのような問題が発生していたかを把握するのに役立ちます。また、今後どのようなことが発生するのかを予測する場合にも役立つことがあります。

ログ分析の課題

これまでの説明は、ログ自体、そしてログ管理で目指すべき全体的な目標を実現するための理想的な状況を前提としています。しかし現実的には、ログデータの量が爆発的かつ急速に増加しているという深刻な問題に直面しています。さらに、ログデータには、ミッションクリティカルなテクノロジーシステムやユーザーに関する機密情報が含まれています。

これらの問題を解決するには、以下の2つの重要な機能を確実に実現するデータプラットフォームを使用する必要があります。

• 効率的なデータパイプライン処理によるリアルタイムのログデータストリーミング
• 構造化、非構造化、半構造化ログデータを大量に取り込み、分析して保存する機能

企業は、これを実現するために、拡張性の高いクラウドベースのデータレイクやデータレイクハウスプラットフォームを導入し、ログ分析を実施しています。

ログ分析のユースケース

ここまでは基本的な説明でしたが、ログが有用であることをご理解いただけたかと思います。ここからは、ログ分析を実際に使用してビジネス運用を改善する方法について見てみましょう。

リアルタイムの監視とオブザーバビリティ

対象：IT運用チームとインシデント管理チーム
成果：あらゆる種類の問題で対応および修正にかかる時間を短縮(最大69%)

一般的に、ログ分析を通じて異常な挙動パターンを監視し、見つかった問題に対応するのはIT運用チームとインシデント管理チームです。これらのチームはデータを活用して重要な意思決定を行います。たとえば次のような事項を決定します。

• ワークロードの分散
• ネットワークトラフィックの制御
• リソース管理
• インシデントの封じ込め

こうした業務を効率的に行うため、ログデータはデータレイクやレイクハウスなどの一元化されたリポジトリに保存されます。他の関連するデータソースも保存されることがあります。その後、サードパーティのログ分析ツールを使用してそれらのデータをリアルタイムで分析します。使用する分析ツールによっては、ETLプロセスでデータを調整する必要があります。

このようなデータ管理アプローチによってリアルタイムの監視やオブザーバビリティアプリケーションの利用が可能になり、問題に対応する時間を効果的に短縮できるようになります。

サイバーセキュリティの強化

対象：サイバーセキュリティチーム
成果：自社のセキュリティ態勢を明確かつ包括的に可視化

サイバーセキュリティのログ分析と併せてSIEM (セキュリティ情報/イベント管理)を使用することで、ログ情報を活用してシステムのセキュリティ態勢を包括的に可視化できます。

• 通常、ログデータには、コンピューターとユーザーのやり取りで発生するユーザーログインやシステムアクティビティなどの詳細な情報が含まれています。
• SIEMツールでは、ネットワーク内の分析対象ポイントから関連情報を収集するために、エンドポイントエージェントを追加で導入する場合があります。

この関連情報は、脅威および脆弱性データベースやサイバーセキュリティ用のログ分析ツールに直接渡されます。

クリックストリーム分析

対象：eコマース小売業者、卸売業者、およびそれをサポートするチーム(セールス、Web、マーケティングなど)
成果：ビジネスインテリジェンス

eコマース業界では、ログ分析を大規模に活用して、ユーザーがオンラインサービスとどのようにやり取りしているのかを追跡および分析しています。この業界の企業は、ユーザーがどのようなカスタマージャーニーを経て、実際に商品を購入しているのかを理解したいと考えているためです。

クリックストリーム分析では、クリックやページの閲覧からデバイスのブラウザセッションデータ、Cookieに至るまで、あらゆる情報を収集します。これらの情報は、ターゲティング広告、製品ランキング、価格設定、UI/UXのデザイン変更に役立ちます。クリックストリーム分析の目標は、コンバージョン率、在庫、製品販売を最適化することです。

ログ分析の次のステップ

ログ管理におけるログ分析アクティビティの次の段階では、エンジニアリングチームがレポート作成とフィードバックを実施します。

• レポート作成段階では、技術リーダーとビジネス意思決定者が、ログデータから生成されたインサイト、実施されたアクション、その結果得られたビジネス成果を評価します。
• さらにその後のフィードバック段階では、必要に応じて、メトリクス、データ収集、および分析プロセスを再定義、改善、最適化します。

このように、ログは多くのビジネス活動の基盤を形成します。

ログ分析とエンドツーエンドのオブザーバビリティをサポートするSplunk

OpenTelemetryに対応した分析主導型の包括的なオブザーバビリティソリューションを導入すれば、問題をすばやく解決できます。Splunk Observabilityを導入すると、以下のことが可能になります。

• 自社のハイブリッドIT環境全体をエンドツーエンドで把握する
• 顧客に影響が及ぶ前に問題を予測して検出する
• インスタントトラブルシューティングで効果的に監視する

メリットは他にもたくさんあります。Splunk Observabilityの詳細をぜひご確認ください。今すぐ無料でお試しいただくこともできます。

Splunk Observability Cloudを無料で試す

このブログはこちらの英語ブログの翻訳です。