データストレージコストの不安を解消：Archived Metricsのご紹介

皆様もきっと心当たりがあるでしょう。メトリクスを最大限に取り込めるプランを購入し、リアルタイム監視をオンにした結果、待っていたのは高額の請求書！というシナリオに。

マイクロサービス、コンテナ、クラウドスタックで生成されるテレメトリは膨大な量になるため、エンジニアリングチームは多くの場合、データか予算かの選択を迫られます。そこで、Splunkを使い込んでくださっているお客様のために、データの保存コストを10分の1に削減できるArchived Metricsを紹介します。Archived Metricsは、SplunkのMetrics Pipeline Managementで利用できる新機能で、重要度の低いメトリクスの時系列データを低コストのコールドストレージに動的に転送できます。もちろん、エージェントのインストールやコードの変更は不要です。

Archived Metricsを使えば、リアルタイム分析のために保持するメトリクスと、安価なストレージに保存するメトリクスを選別して、コストとデータをより効果的に管理できます。 

1. オブザーバビリティデータの増加がコストの問題につながる

トラブルシューティングにおいて、テレメトリの重要性がかつてないほど高まるとともに、それに関連するコストも上昇しています。 

組織のデジタル環境の規模が大きくなると、データのニーズが大幅に拡大し、管理すべき運用データが増加します。多くの組織でクラウドへの移行が進み、何百ものマイクロサービスやコンテナを運用することも珍しくない今日では、その傾向が特に顕著です。その結果、監視コストが急増するとともに、メトリクス収集や分析ソリューションの性能が追いつかず、エンジニアリングチームは監視効率の低下という課題に直面しています。さらに、予算がこれまで以上に厳しくなり、監視コストを抑えるためにエンジニアリングチームが監視されるという事態も生じています。

Splunkは、データかコストかを選ばなければならない状況は避けるべきだと考えています。

2. Metrics Pipeline Managementでデータ量を制御および最適化する

Splunkは、メトリクスデータの量と監視コストの最適化を支援するために、2023年にMetrics Pipeline Managementをリリースしました。 

Metrics Pipeline Management (MPM)はSplunk Infrastructure Monitoringで利用でき、再インストルメンテーションを行うことなく、メトリクスデータを取り込み時点で柔軟に選別して、その量を制御できます。プラットフォームエンジニアは、すぐに使えるUIまたはAPIを活用し、動的に定義されたポリシールールに基づいて、特定のメトリクスを集約したり、使用する予定のないデータをフィルタリングしたりできます。 

集約機能によって、カーディナリティが高いメトリクスで不要なディメンションを集約し、カーディナリティを下げることができます。また、データドロップルールによって、不要なメトリクスを保存前に破棄することもできます。操作はすべて収集時点でインターフェイスからすばやく簡単に実行でき、設定の変更は不要です。

Metrics Pipeline Managementを使えば、組織内のコントロールを簡単に統合して、すべてのチームのストレージ使用量やコストを一元管理し、チームの分断を招きやすい内製ソリューションを廃止できます。これにより、予算を抑えサービスの信頼性を維持しながら規模を拡大すると同時に、開発者にセルフサービス型のオブザーバビリティエクスペリエンスを提供できます。

3. Archived Metricsでメトリクスを低コストストレージに保存する

Metrics Pipeline Managementでは、リアルタイムの分析、可視化、アラートに使用したい大量のメトリクスをReal-time Metrics層に転送できます。この層に転送されたデータは、カスタマイズ可能なダッシュボードやグラフなど、すぐに使える機能からアクセスして、ライブストリーミング、内蔵のナビゲーター、主要なピボット機能、実用的なアラートなどに利用できます。一方で、すぐには使用しないが今後のトラブルシューティングで必要になったときのために保存しておきたいデータは、新たに導入されたArchived Metrics層に保存できます。

Archived Metricsは、重要度は低くても今後のトラブルシューティングのために残しておきたいデータを保存するための、コスト効果の高いソリューションです。価格はReal-time Metrics層の約10分の1に抑えることができるほか、インサイトを得ることもできます。また、Route Exceptions機能により、メトリクスデータを容易にフィルタリングしてReal-time Metrics層に転送し直すこともできるため、適切なデータに適切なタイミングでアクセスできます。

4. Metrics Pipeline Managementの具体的なユースケース

たとえば、トランザクションレベルで顧客ごとのビジネスメトリクスを収集しているとします。この場合、カーディナリティの高い大量のデータを取り込むことになるため、コストが膨張し、プラットフォームのパフォーマンスが低下する恐れがあります。一方で、ビジネスメトリクスは詳細よりも集約した結果の方が利用価値が高い可能性があります。そのため、集約することでデータ量を最適化し、コストを抑え、サービスの信頼性を維持できます。 

Metrics Pipeline Managementを使用すれば、Archived Metricsを活用してカーディナリティの高いデータを10分の1のコストで保存しながら、必要なデータを集約してサービスレベルを維持し、リアルタイムで監視できます。これにより、すべてのデータを保持しながら監視コストを大幅に削減できるだけでなく、集約したメトリクスに基づいてグラフやディテクターを作成し、クエリーのパフォーマンスを向上させることもできます。さらにRoute Exception機能を使えば、顧客側で問題が発生したときに、顧客ごとの詳細なデータにアクセスして、問題の特定と解決に使用できます。

SplunkのMetrics Pipeline Managementは、予算の要件とデータのニーズの両方に簡単に対応できる柔軟なソリューションです。Splunkを使いこなしているお客様は、オブザーバビリティの規模にかかわらず、さまざまなツールを活用して監視コストを管理し、運用パフォーマンスを大幅に向上させています。

Archived Metricsは現在、US0およびUS1のAWSレルムでご利用いただけます。今後、他のリージョンにも展開していく予定です。Archived Metricsについて詳しくは、こちらをご覧ください。Splunk Observability Cloudの14日間無料のトライアル版をご利用いただくこともできます。

このブログはこちらの英語ブログの翻訳、山村 悟史によるレビューです。