Configure your Splunk Observability Cloud account to collect AWS Bedrock metrics

Learn how to configure your Splunk Observability Cloud account to collect AWS Bedrock metrics.

You can monitor the performance of Amazon Web Services (AWS) Bedrock applications by configuring your AWS Bedrock applications to send metrics to Splunk Observability Cloud. This solution creates a cloud connection in your Splunk Observability Cloud account that collects metrics from AWS CloudWatch.

Complete the following steps to collect metrics from AWS Bedrock applications.

  1. Connect AWS to Splunk Observability Cloud. For more information on the connection methods and instructions for each method, see Available options to connect with AWS.
    To gain permission to collect all AWS Bedrock attributes, add the following permissions to your AWS IAM policy JSON snippet:
    "bedrock:ListTagsForResource",
"bedrock:ListFoundationModels",
"bedrock:GetFoundationModel",
"bedrock:ListInferenceProfiles"
  2. To monitor AWS Bedrock metrics with Splunk Observability Cloud, run your applications that use AWS Bedrock models.

メトリクス

AWS Bedrock で使用可能なメトリクスについて確認します。

AWS Bedrock アプリケーションでは以下のメトリクスが使用可能です。メトリクスについて、詳細は AWS ドキュメントの 「Monitoring the performance of Amazon Bedrock」および「View organization metrics for Splunk Observability Cloud」を参照してください。
メトリクス名タイプユニット（Units）説明
InputTokenCountcountercount使用済み入力トークン。
OutputTokenCountcountercount使用済み出力トークン。
Invocationscounterサンプル数AWS Bedrock API 操作への成功リクエスト数。
InvocationLatencyヒストグラムミリ秒AWS スケジュールモデルへのリクエスト遅延等における呼び出し時間。通常はミリ秒単位。
sf.org.num.awsServiceAuthErrorCount gaugecount

AWS サービスによる認証エラー総数。

  • ディメンション：integrationId、orgId、namespace（AWS Cloudwatch ネームスペース）、clientInterface（AWS SDK インターフェイス）、method（AWS SDK メソッド）

  • データ解像度：1 秒

sf.org.num.awsServiceCallThrottlesgaugecount

AWS API コール制限の超過を要因として AWS にスロットルされた Amazon API を対象にした、発信コール数。

  • ディメンション：orgId、namespace（AWS/Cloudwatch などの AWS サービス）、method（getMetricStatisticsなどの呼び出し API）

  • データ解像度：5 秒

sf.org.num.awsServiceCallThrottledRetryFailuresgaugecountAWS サービスコールスロットル再試行の失敗数。
sf.org.num.awsServiceCallCountExceptionsgaugecount

Amazon API への呼び出しのうち、例外が発生した回数。

  • ディメンション：orgId、namespace（AWS/Cloudwatch などの AWS サービス）、method（getMetricStatisticsなどの呼び出し API）、location（clientあるいはserverで示される、例外が発生した箇所）

  • データ解像度：5 秒

sf.org.num.awsServiceCallCountgaugecount

Amazon API への呼び出し総数。

  • ディメンション：orgId、namespace（AWS/Cloudwatch などの AWS サービス）、method（getMetricStatisticsなどの呼び出し API）

  • データ解像度：5 秒

属性

AWS Bedrock アプリケーションで使用可能なリソース属性について確認します。

AWS Bedrock アプリケーションでは以下のリソース属性が使用可能です。

OpenTelemetry 名称表示名説明
ididAWS 固有識別子

Next steps

How to monitor your AI components after you set up Observability for AI.

After you set up data collection from supported AI components to Splunk Observability Cloud, the data populates built-in experiences that you can use to monitor and troubleshoot your AI components.

The following table describes the tools you can use to monitor and troubleshoot your AI components.
Monitoring toolUse this tool toLink to documentation
Built-in navigatorsOrient and explore different layers of your AI tech stack.
Built-in dashboardsAssess service, endpoint, and system health at a glance.
Splunk Application Performance Monitoring (APM) service map and trace viewView all of your LLM service dependency graphs and user interactions in the service map or trace view.

Splunk APM を使用して LLM サービスをモニタリングする