LangChain アプリケーションの監視

Splunk AppDynamics Python エージェントは、LangChain フレームワークを使用して構築された GenAI アプリケーションをモニターするのに役立ちます。Python エージェントでアプリケーションをインストゥルメント化すると、ベクトルストアの次のメトリックがキャプチャされます。

ベクトルデータベース（pgvector および chroma）へのコールを終了します。
exit コールでのプロンプトと応答。
取得されたドキュメントの数、類似性検索スコア、ベクトルデータベースのエラー
1分あたりのコール数

LangChain を使用して Ollama などの LLM をモニターするために、Python エージェントは次のメトリックを記録します。

トークン
プロンプト数
組み込みクエリ数

前提条件

Python Agent の /path/to/appdynamics.cfg ファイルで enable-langchain フラグを true に設定します。[instrumentation] を参照してください。

Python エージェントは、Splunk AppDynamics で次のバージョンの LangChain LLM をサポートします。


コンポーネント	Version
`langchain`	0.2.11 以前
`langchain-ollama`	0.2.0 以前
`langchain-chroma`	0.1.1!
`langchain-postgres`	0.0.12
`chromadb`	0.5.20 以前
`pgvector`	0.2.5

LangChain Ollama API のモニタリング

Ollama コールをモニターするために、Python エージェントは次のメトリックをレポートします。

入力トークン = 0.5$
出力トークン
プロンプト数
組み込みクエリ数
エラー

注:

トークンメトリックを取得するには、transformers Python ライブラリをインストールしてください。「Transformers」を参照してください。

pip install transformers

Ollama API をモニターするためのカスタムダッシュボードの作成

Custom_dashboard_script.zip をダウンロードします。これには次のものが含まれています。


ディレクトリ（Directory）	説明
`templates`	ダッシュボードファイルを作成するための `json` テンプレートが含まれています。
`dashboard`	ダッシュボード `json` ファイルがここで作成されます。サンプル `json` ファイルが含まれています。
`main.py`	ダッシュボードを作成するための Python スクリプト。
`readme.md`	ソリューションの説明。

以下のコマンドを実行します：
```
cd Custom_dashboard_script
python3 main.py
```
上記のコマンドでは、作成するダッシュボードのタイプ（アプリケーションまたは階層）を指定するように求められます。
選択したダッシュボードのタイプに基づいて、次のダッシュボードの詳細を指定するように求められます。
コントローラ UI でダッシュボードをインポートします。ベクトルストアのモニタリングを参照してください
ヒント: [Tiers & Nodes] > [My Dashboards] の順に移動し、既存のダッシュボードからウィジェットをコピーして貼り付け、選択したアプリケーションのダッシュボードを作成して簡単にナビゲーションできるようにします。

ダッシュボードの例

ベクトルストアのモニタリング

Python エージェントでアプリケーションをインストゥルメント化すると、ベクトルストアの次のメトリックがキャプチャされます。

ベクトルデータベース pgvector および chroma へのコールを終了します。
取得されたドキュメントの数、類似性検索スコア、ベクトルデータベースのエラー
1分あたりのコール数

スナップショット exit コールの詳細でベクトルストア要求および応答をキャプチャするには、Python エージェントの /path/to/appdynamics.cfg ファイルで enable-genai-data-capture フラグを true に設定します。「[instrumentation]」を参照してください。