AIエージェントのモニタリング

[AI Agent Monitoring] ダッシュボードは、大規模言語モデル（LLM）ベースのアプリケーションのパフォーマンスと使用状況に関する包括的なビューを提供します。アプリケーション、インフラストラクチャ、データベース、GenAI ワークロードメトリックなど、LLM スタック全体のエンドツーエンドのモニタリングが可能になります。ダッシュボードで提供される、トークン消費、要求ボリューム、および遅延に関する重要な詳細情報は、AI モデルの業務効率とリソース使用率を理解するのに役立ちます。このダッシュボードでは、次のことができます。

  • 強化されたフローマップ、トランザクション スナップショット（トレース）、ベクトルデータベースの監視、GPU またはコンピューティング リソース レイヤによる優れた可視性を実現します。
  • モデルレベルとアプリケーションレベルの両方でリソースの使用状況とパフォーマンスをトラックします。
  • LLM のアクティビティをビジネストランザクションおよび重要業績評価指標（KPI）と関連付けます。
  • LLM ベースのアプリケーションの異常を検出し、パフォーマンスの問題を特定します。

前提条件

[AI Agent Monitoring] ダッシュボードには、次の条件が満たされている場合にのみ関連データが表示されます。

  • Events サービスのバージョンが 25.10.0 以降である

  • Python エージェントのバージョンが 25.10.0 以降である

  • LLM およびベクトルデータベースのイベントをキャプチャおよび公開するように Python エージェントが設定されている

ダッシュボードの概要

ダッシュボードは、指定した時間範囲の重要な人工知能エージェント統計情報をすばやく確認できるように設計されています。アプリケーション、LLM プロバイダー、またはモデルでデータをフィルタ処理できます。

メトリックをクリックすると、対応する ADQL クエリとフィルタが適用された [Analytics] 検索ページにリダイレクトされます。イベントをダブルクリックすると、詳細を表示できます。

重要業績評価指標（KPI）

次の主要なメトリックからは、LLM ベースのアプリケーションのパフォーマンスと使用状況に関する有用な洞察が得られます。

メトリクス 説明
Total Tokens LLM によって処理された入力トークンと出力トークンの累積合計。
Input Tokens LLM に送信されたトークンの総数。
Output Tokens LLM から受信したトークンの総数。
Total Requests LLM に対する要求の総数。
Successful Requests 正常に完了した LLM 要求の数。
LLM Latency (s) LLM 応答に要した平均時間（秒単位）。
LLM Usage by Volume 使用されるさまざまな LLM モデルの分布を視覚的に表したもの（円グラフ）。相対的な呼び出し量を示します。

時系列分析

時系列グラフでは、さまざまなメトリックについて履歴の観点が示されるため、傾向と異常を特定できます。

メトリクス 説明
Token Usage Time Series スパイクを特定するために、時間の経過に伴うトークンの総数、入力トークン数、および出力トークン数の傾向を表示します。
LLM Request Trend Analysis 異常を検出するために、成功および失敗した LLM 要求の傾向を経時的に表示します。
Time to First Token (TTFT) 初期の応答速度を示す、LLM からの応答の最初のトークンを受信するのにかかった時間を表示します。

上位 の LLM およびビジネストランザクション

棒グラフは、人工知能アプリケーションの最もアクティブなコンポーネントを強調表示します。

メトリクス 説明
Top 10 LLMs by Invocation Volume 呼び出し量が最も多い 10 個の LLM モデルと、それぞれの成功率および失敗率を表示します。これは、頻繁に使用されているモデルや問題のあるモデルを特定するのに役立ちます。
Top 10 Business Transactions by Invocation Volume 最も多くの LLM コールを行っている 10 個のビジネストランザクションと、それぞれの成功率および失敗率を表示します。これは、アプリケーションのどの部分が人工知能に最も依存しているか、およびパフォーマンスのボトルネックが発生している可能性がある場所を理解するために重要です。

ベクトルデータベース メトリック

このセクションでは、ベクトルデータベースのパフォーマンスと効率について説明します。

メトリクス 説明
Vector DB Avg Documents Retrieved 一定期間にベクトルデータベースから取得されたドキュメントの平均数を表示します。
Vector DB Similarity Score 取得された情報の関連性を示す、ベクトルデータベースクエリの類似性スコアの傾向を表示します。
Vector DB Latency 迅速なデータ取得の確保に役立つ、ベクトルデータベースで実行された操作の遅延を表示します。

カスタムダッシュボードの作成

OpenAI、LangChain、および AWS BEDlock をモニターするためのカスタムダッシュボードを作成します。

以下を参照してください。