LangChain アプリケーションの監視

Splunk AppDynamics Python エージェントは、LangChain フレームワークを使用して構築された GenAI アプリケーションをモニターするのに役立ちます。Python エージェントでアプリケーションをインストゥルメント化すると、ベクトルストアの次のメトリックがキャプチャされます。

  • ベクトルデータベース(pgvector および chroma)へのコールを終了します。
  • exit コールでのプロンプトと応答。
  • 取得されたドキュメントの数、類似性検索スコア、ベクトルデータベースのエラー
  • 1分あたりのコール数

LangChain を使用して Ollama などの LLM をモニターするために、Python エージェントは次のメトリックを記録します。

  • トークン
  • プロンプト数
  • 組み込みクエリ数