Configure your Splunk Observability Cloud account to collect GCP VertexAI metrics

Learn how to configure your Splunk Observability Cloud account to collect GCP VertexAI metrics.

You can monitor the performance of Google Cloud Platform (GCP) VertexAI applications by configuring your GCP VertexAI applications to send metrics to Splunk Observability Cloud. This solution creates a cloud connection in your Splunk Observability Cloud account that collects metrics from Google Cloud Monitoring.

Complete the following steps to collect metrics from GCP VertexAI.

Connect GCP to Splunk Observability Cloud. For more information on the connection methods and instructions for each method, see Connect to Google Cloud Platform.
To monitor GCP VertexAI metrics with Splunk Observability Cloud, run your applications that use GCP VertexAI models.

メトリクス

GCP VertexAI で使用可能なメトリクスについて確認します。

GCP VertexAI アプリケーションでは以下のメトリクス、リソース属性が利用できます。メトリクスについて、詳しくは Google Cloud ドキュメントの「Cloud Monitoring metrics for Vertex AI」をご確認ください。


メトリクス名	ユニット（Units）	説明
`prediction/online /prediction_count`	count	オンライン予想の数。
`prediction/online /prediction_latencies`	ミリ秒	展開モデルのオンライン予測遅延。
`prediction/online /response_count`	count	オンライン予測で返された異なるレスポンスコードの数。
`prediction/online /prediction_latencies.count`	count	オンライン予想の数。
`prediction/online /prediction_latencies.sumOfSquareDeviation`	ミリ秒	予測遅延の偏差平方和。
`publisher/online_serving /model_invocation_count`	count	モデル呼び出し（予測要求）の数。
`publisher/online_serving /model_invocation_latencies.sumOfSquareDeviation`	ミリ秒	モデル呼び出し遅延の偏差平方和。
`publisher/online_serving /model_invocation_latencies.count`	count	モデル呼び出し（予測要求）の数。
`publisher/online_serving /model_invocation_latencies`	ミリ秒	モデル呼び出しの遅延（予測遅延）。
`publisher/online_serving /token_count`	count	累積入出力トークン数。
`publisher/online_serving /consumed_token_throughput`	count	トークンに基づく全体使用スループット（損失率を考慮）。
`publisher/online_serving /consumed_throughput`	count	文字数に基づく全体使用スループット（損失率を考慮）。
`publisher/online_serving /character_count`	count	累積入出力文字数。
`publisher/online_serving /first_token_latencies`	ミリ秒	要求を受信してから、クライアントに最初のトークンが返されるまでの時間。
`publisher/online_serving /first_token_latencies.count`	count	最初のトークンの遅延数。
`publisher/online_serving /first_token_latencies.sumOfSquareDeviation`	ミリ秒	最初のトークン遅延の偏差平方和。

属性

GCP VertexAI で使用可能なリソース属性について確認します。

次のリソース属性は、GCP VertexAI のすべてのメトリクスで使用できます。

gcp_project_status
gcp_project_name
gcp_project_label_last_revalidated_by
model_user_id
gcp_project_number
request_type
gcp_id
gcp_project_label_cloud_registration_id
gcp_project_creation_time
gcp_project_label_last_revalidated_at
input_token_size
output_token_size
project_id
metricTypeDomain
gcp_project_label_environment
publisher
monitored_resource
gcp_project_label_account_type
gcp_project_label_owner_group
service
Location

type のリソース属性は publisher/online_serving /token_count および publisher/online_serving /character_count メトリクスでも使用可能です。

Next steps

How to monitor your AI components after you set up Observability for AI.

After you set up data collection from supported AI components to Splunk Observability Cloud, the data populates built-in experiences that you can use to monitor and troubleshoot your AI components.

The following table describes the tools you can use to monitor and troubleshoot your AI components.


Monitoring tool	Use this tool to	Link to documentation
Built-in navigators	Orient and explore different layers of your AI tech stack.	Use navigators Monitor LLM costs with navigators
Built-in dashboards	Assess service, endpoint, and system health at a glance.	Built-in dashboards View dashboards in Splunk Observability Cloud
Splunk Application Performance Monitoring (APM) service map and trace view	View all of your LLM service dependency graphs and user interactions in the service map or trace view.	Splunk APM を使用して LLM サービスをモニタリングする