AIエージェントのモニタリング

[AI Agent Monitoring] ダッシュボードは、大規模言語モデル（LLM）ベースのアプリケーションのパフォーマンスと使用状況に関する包括的なビューを提供します。アプリケーション、インフラストラクチャ、データベース、GenAI ワークロードメトリックなど、LLM スタック全体のエンドツーエンドのモニタリングが可能になります。ダッシュボードは、トークン消費、リクエストボリューム、および遅延に関する主要な洞察を提供し、AI モデルの業務効率とリソース使用率を理解するのに役立ちます。このダッシュボードでは、次のことができます。

  • 強化されたフローマップ、トランザクション スナップショット（トレース）、ベクトルデータベースの監視、および GPU またはコンピューティング リソース レイヤによる優れた可視性を実現します。
  • モデルレベルとアプリケーションレベルの両方でリソースの使用状況とパフォーマンスをトラックします。
  • LLM のアクティビティをビジネストランザクションおよび重要業績評価指標（KPI）と関連付けます。
  • LLM ベースのアプリケーションの異常を検出し、パフォーマンスの問題を特定します。

前提条件

[AI Agent Monitoring] ダッシュボードには、次の条件が満たされている場合にのみ関連データが表示されます。

  • Events サービスのバージョンが 25.10.0 以降である

  • Python エージェントのバージョンが 25.10.0 以降である

  • LLM およびベクトルデータベースのイベントをキャプチャおよび公開するように Python エージェントを設定されている。

ダッシュボードの概要

ダッシュボードは、指定した時間範囲における重要な AI エージェント統計情報をすばやく確認できるように設計されています。アプリケーション、LLM プロバイダー、またはモデルでデータをフィルタ処理できます。

メトリックをクリックすると、対応する ADQL クエリとフィルタが適用された [Analytics] 検索ページにリダイレクトされます。イベントをダブルクリックすると、詳細を表示できます。

重要業績評価指標（KPI）

次の主要なメトリックは、LLM ベースのアプリケーションのパフォーマンスと使用状況に関する貴重な洞察を提供します。

メトリクス 説明
Total Tokens LLM によって処理された入力トークンと出力トークンの累積合計。
Input Tokens LLM に送信されたトークンの総数。
Output Tokens LLM から受信したトークンの総数。
Total Requests LLM に対するリクエストの総数。
Successful Requests 正常に完了した LLM リクエストの総数。
LLM Latency (s) LLM 応答に要した平均時間（秒単位）。
LLM Usage by Volume 使用されるさまざまな LLM モデル分布の視覚的表現（円グラフ）。相対的な呼び出し量を示します。

時系列分析

時系列グラフでは、さまざまなメトリックに関する経時的観点が提供されるため、傾向と異常を特定できます。

メトリクス 説明
Token Usage Time Series スパイクを特定するために、合計、入力、および出力トークンの傾向を経時的に表示します。
LLM Request Trend Analysis 異常を検出するために、成功および失敗した LLM リクエストの傾向を経時的に表示します。
Time to First Token (TTFT) LLM からの応答の最初のトークンを受信するのに要した時間を表示し、初期応答速度を示します。

上位の LLM およびビジネストランザクション

棒グラフは、AI アプリケーションの最もアクティブなコンポーネントを強調表示します。

メトリクス 説明
Top 10 LLMs by Invocation Volume 呼び出し量が最も多い 10 個の LLM モデルと、それぞれの成功率および失敗率を表示します。これは、頻繁に使用されているモデルや問題のあるモデルを特定するのに役立ちます。
Top 10 Business Transactions by Invocation Volume 最も多くの LLM コールを行っている 10 件のビジネストランザクションと、それぞれの成功率および失敗率を表示します。これは、アプリケーションのどの部分が AI に最も依存しているか、およびパフォーマンスのボトルネックがどこで発生する可能性があるかを理解するために不可欠です。

ベクトルデータベースメトリック

このセクションでは、ベクトルデータベースのパフォーマンスと効率性に焦点を当てます。

メトリクス 説明
Vector DB Avg Documents Retrieved ベクトルデータベースから取得されたドキュメントの平均数を経時的に表示します。
Vector DB Similarity Score ベクトルデータベースクエリからの類似性スコアの傾向を表示し、取得された情報の関連性を示します。
Vector DB Latency ベクトルデータベースで実行された操作の遅延を表示し、迅速なデータ取得を確保します。

カスタムダッシュボードの作成

OpenAI、LangChain、および AWS Bedrock をモニターするためのカスタムダッシュボードを作成します。

以下を参照してください。