Splunk APM を使用して LLM サービスをモニタリングする
Splunk APM を使用して LLM サービスをモニタリングする方法を学習します。
Splunk APM でできることについて、詳細は「What can you do with Splunk APM」を参照してください。
サービスマップで LLM サービスを表示する
APM サービスマップで LLM サービスを表示する方法について説明します。
APM のサービスマップでは、サービスをフィルタリングして、LLM サービスとの間、または LLM サービス内でのやり取りを表示または非表示にすることができます。LLM サービスのみを利用しフィルタリングを行うには、サービスマップにアクセスし、フィルタメニューのサービスタイプリストで AI services を選択してください。LLM サービスは、Splunk APM で推測サービスとして分類されます。詳細は「Filter the service map」をご確認ください。
トレースビューで LLM サービストレースを分析する
トレースビューで LLM サービストレースを分析する方法を学びます。
トレースビューにアクセスするには [Trace Analyzer] に移動 して Trace ID を選択します。 AI Interactions タブを選択して LLM サービスのスパンとその属性を表示します。スパンは、 gen_ai.operation.name 属性によりフィルタリングされます。他のスパン属性の定義を表示するには、OpenTelemetry ドキュメントの Spans を参照してください。
次のスクリーンショットは、トレースビューの AI Interactions タブの表示内容の例を表示しています。
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT 環境変数および Splunk Distribution を使用することで有効化できます。プロンプトやレスポンスには、機密情報や個人を特定できる情報（PII）が含まれる場合があります。収集を有効にすると、PII データはログイベントとして Splunk Cloud Platform に送信され、セキュリティ境界内で機密データを保存できるようになります。Splunk Cloud Platform の PII マスキングメカニズム を使用することで、データ保護を強化することも可能です。トレースとあわせてログイベントを表示するには、Splunk Log Observer Connect との接続を設定する必要があります。接続を設定するには、 Set up Log Observer Connect を参照してください。Infrastructure Monitoring 上で AI ナビゲータにデータをリンクする
Infrastructure Monitoring 上で AI ナビゲータにデータリンクを追加する方法を学習します。
データリンクを使用して、APM ビューを LangChain ナビゲータおよび OpenAI ナビゲータにリンクできます。データリンクを構成するには、Create a global data link と Splunk Observability Cloud Navigator を参照してください。