LangChain Ollama API のモニタリング

Ollama コールをモニターするために、Python エージェントは次のメトリックをレポートします。

  • 入力トークン = 0.5$
  • 出力トークン
  • 最初のトークンメトリックまでの時間（ミリ秒）
  • 出力トークンあたりの時間（ミリ秒）
  • 平均応答時間（ms）
  • プロンプト数
  • 組み込みクエリ数
  • エラー
注:

トークンメトリックを取得するには、transformers Python ライブラリをインストールしてください。「Transformers」を参照してください。

CODE 
pip install transformers

メトリックパスの例：Agent|Lang|LLM|llama3.2_latest|Average Response Time (ms))