AWS Bedrock API のモニタリング

Splunk AppDynamics Python エージェントは、OpenAI API の使用状況と関連メトリックをモニターするのに役立ちます。Boto3 ライブラリを使用して作成された converse および converse_stream 要求をモニターします。

次のメトリックは、アプリケーション、階層、およびノードの各レベルで報告されます。

  • 入力トークン = 0.5$
  • 完了トークン = 1.5$
  • トークン
  • 遅延
  • 1分あたりのコール数

前提条件

Python エージェントは、Splunk AppDynamics で AWS Bedrock の Boto3 をサポートします。詳細については、https://boto3.amazonaws.com/v1/documentation/api/latest/index.htmlAmazon S3 ドキュメントを参照してください。

AppDynamics を使用して OpenAI API exit コールをモニターするには、次の前提条件を満たしていることを確認します。

カスタムダッシュボードの作成

  1. Custom_dashboard_script.zip をダウンロードします。内容は以下のとおりです。
    ディレクトリ（Directory）説明
    templatesダッシュボードファイルを作成するための json テンプレートが含まれています。
    dashboardダッシュボード json ファイルがここで作成されます。サンプル json ファイルが含まれています。
    main.pyダッシュボードを作成するための Python スクリプト。
    readme.mdソリューションの説明。
  2. 以下のコマンドを実行します：
    cd Custom_dashboard_script
python3 main.py

    上記のコマンドでは、作成するダッシュボードのタイプ（アプリケーションまたは階層）を指定するように求められます。

  3. 選択したダッシュボードのタイプに基づいて、次のダッシュボードの詳細を指定するように求められます。
    アプリケーション レベル ダッシュボードの詳細
    変数説明デフォルト使用可能な値必須
    ダッシュボード名ダッシュボードとレポートに表示されるダッシュボードタイトル。bedrock_app_dashboardbedrock_app_dashboardオプション
    アプリケーション名OpenAI バックエンドコールを使用するアプリケーションの名前。bedrock_appなしあり
    階層レベルダッシュボードの詳細
    変数説明デフォルト使用可能な値必須
    モデル名モニターするモデルの名前。amazon-titan-dashbaordなしあり
    ダッシュボード名ダッシュボードとレポートに表示されるダッシュボードタイトル。bedrock_app_dashboardbedrock_app_dashboardオプション
    アプリケーション名OpenAI バックエンドコールを使用するアプリケーションの名前。bedrock_appなしあり
    注: モデル名に特殊文字が含まれている場合は、それらの文字をハイフン（-）に置き換える必要があります。たとえば、モデル名が「amazon-titan-lite:1」の場合は、名前を「amazon-titan-lite-1」に変更します。
  4. コントローラ UI でダッシュボードをインポートします。ベクトルストアのモニタリング を参照してください
    ヒント: [Tiers & Nodes] > [My Dashboards] の順に移動し、既存のダッシュボードからウィジェットをコピーして貼り付け、選択したアプリケーションのダッシュボードを作成して簡単にナビゲーションできるようにします。