Splunk APM を使用して LLM サービスをモニタリングする

Splunk APM を使用して LLM サービスをモニタリングする方法を学習します。

注:
Splunk Application Performance Monitoring（APM）を設定No Content found for /db/organizations/splunk/repositories/portal-production/content/documents/apm/set-up-apm/apm.dita している場合は、サービスマップとトレースビューを使用して、大言語モデル（LLM）サービスのパフォーマンスをインストゥルメント化してモニターできます。

Splunk APM でできることについて、詳細は「What can you do with Splunk APMNo Content found for /db/organizations/splunk/repositories/portal-production/content/documents/apm/intro-to-apm.dita#dc49d3e08a07e4e8ba30db1f9fadf2e88/what-can-you-do-with-splunk-apm」を参照してください。

サービスマップで LLM サービスを表示する

APM サービスマップで LLM サービスを表示する方法について説明します。

APM のサービスマップでは、サービスをフィルタリングして、LLM サービスとの間、または LLM サービス内でのやり取りを表示または非表示にすることができます。LLM サービスのみを利用しフィルタリングを行うには、サービスマップにアクセスNo Content found for /db/organizations/splunk/repositories/portal-production/content/documents/apm/apm-spans-traces/service-map.dita#d3f68b7bef48a45608a29331f34e32dff/apm-access-service-mapし、フィルタメニューのサービスタイプリストで AI services を選択してください。LLM サービスは、Splunk APM で推測サービスとして分類されます。詳細は「Filter the service mapNo Content found for /db/organizations/splunk/repositories/portal-production/content/documents/apm/apm-spans-traces/service-map.dita#d3f68b7bef48a45608a29331f34e32dff/filter-service-map」をご確認ください。

トレースビューで LLM サービストレースを分析する

トレースビューで LLM サービストレースを分析する方法を学びます。

トレースビューにアクセスするには [Trace Analyzer] に移動No Content found for /db/organizations/splunk/repositories/portal-production/content/documents/apm/apm-spans-traces/trace-analyzer.dita#da96943a9473a42c396aa0480e39a2d9e/access-trace-analyzer して Trace ID を選択します。 AI Interactions タブを選択して LLM サービスのスパンとその属性を表示します。スパンは、 gen_ai.operation.name 属性によりフィルタリングされます。他のスパン属性の定義を表示するには、OpenTelemetry ドキュメントの Spans を参照してください。

次のスクリーンショットは、トレースビューの AI Interactions タブの表示内容の例を表示しています。APM トレースビューの [AI Interactions] タブのスクリーンショット。

さらに、AI Events タブ上で LLM サービスの応答品質を確認できるよう、LLM サービス応答の解析済みログサマリーを表示することもできます。環境内の他のサービスと区別するために、LLM サービスの横にはアウトライン付きのチップが表示されます。
注: プロンプトおよびレスポンスの収集はデフォルトでは無効になっていますが、OpenTelemetry Collector の OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT 環境変数および Splunk Distribution を使用することで有効化できます。プロンプトやレスポンスには、機密情報や個人を特定できる情報（PII）が含まれる場合があります。収集を有効にすると、PII データはログイベントとして Splunk Cloud Platform に送信され、セキュリティ境界内で機密データを保存できるようになります。Splunk Cloud Platform の PII マスキングメカニズム を使用することで、データ保護を強化することも可能です。トレースとあわせてログイベントを表示するには、Splunk Log Observer Connect との接続を設定する必要があります。接続を設定するには、 Set up Log Observer ConnectNo Content found for /db/organizations/splunk/repositories/portal-production/content/documents/logs/scp.dita を参照してください。

Infrastructure Monitoring 上で AI ナビゲータにデータをリンクする

Infrastructure Monitoring 上で AI ナビゲータにデータリンクを追加する方法を学習します。

データリンクを使用して、APM ビューを LangChain ナビゲータおよび OpenAI ナビゲータにリンクできます。データリンクを構成するには、Create a global data linkNo Content found for /db/organizations/splunk/repositories/portal-production/content/documents/metrics-and-metadata/link-metadata-to-content.dita#d7bc1b3c6c6554c188b5831e9eea99d5d/create-global-data-link と Splunk Observability Cloud Navigator を参照してください。