Java エージェントを使用した OpenAI API のモニタリング

注: このドキュメントには、OpenAI® のドキュメントへの参照が含まれています。Splunk AppDynamics はいかなる権利も所有しておらず、そのようなサードパーティのドキュメントの正確性または完全性について責任を負いません。®

Java エージェントは、OpenAI API の使用状況と関連メトリックをモニターするのに役立ちます。Completion ChatCompletion Moderation API の TheoKanning OpenAI Java フレームワークと OpenAI バックエンドとの通信をモニターします。

次のメトリックは、アプリケーション、階層、およびノードの各レベルで報告されます。

  • 1分あたりのコール数
  • コスト
  • 1分あたりのエラー数
  • トークン

次に、メトリックパスの例を示します。

  • Per model metric path- Application Infrastructure Performance|OpenAI_Tier|OpenAI|ada|Cost
  • All model cumulative metrics path- Application Infrastructure Performance|OpenAI_Tier|OpenAI|Cost - All Models
  • Net application level metrics path- Overall Application Summary|OpenAI - Cost - ada
注: これらのメトリックは、exit コールがビジネストランザクションの外部にある場合でも報告されます。ただし、exit コールがビジネストランザクションの外部にある場合、平均応答時間(ms)メトリックは報告されません。