バッチプロセッサー

バッチプロセッサを使用してテレメトリをバッチ化し、OpenTelemetry Collector によるネットワーク使用量を削減します。コンポーネントの設定方法については、続きをお読みください。

バッチプロセッサは、サイズまたは時間に基づいてスパン、メトリクス、またはログをバッチ処理および圧縮する OpenTelemetry Collector コンポーネントです。バッチ処理は、エクスポータによって行われる送信要求の数を減らし、パイプライン内の複数または単一の受信者からのテレメトリのフローを制御するのに役立ちます。

データサンプリングとフィルターリングの後にバッチ処理が行われるようにするには、memory_limiter プロセッサーと他のサンプリングプロセッサーの後にバッチプロセッサーを追加します。

はじめに

注: このコンポーネントは、ホスト監視(agent)モードまたはデータ転送(gateway)モードでデプロイする場合、Splunk Distribution of the OpenTelemetry Collector のデフォルト設定に含まれます。詳細については、「Collector deployment modes」を参照してください。デフォルト設定について詳しくは「Helm で Collector for Kubernetes を設定する」、「Collector for Linux のデフォルト設定」、または「Collector for Windows のデフォルト設定」を参照してください。設定はいつでもカスタマイズできます。

以下の手順に従って、コンポーネントの設定とアクティブ化を行ってください。

  1. Splunk Distribution of OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします:

  2. 本ページの手順に従ってプロセッサを設定します。

  3. Collector を再起動します。

サンプル構成

Splunk Distribution of the OpenTelemetry Collector では、デフォルトの設定でバッチプロセッサが追加されます:

YAML
processors:
  batch:

プロセッサーは、設定ファイルの service セクションのすべてのパイプラインに含まれます:

YAML
service:
  pipelines:
    metrics:
      processors: [batch]
    logs:
      processors: [batch]
    traces:
      processors: [batch]

基本的なバッチ処理の例

次の例は、5,000 件のスパン、データポイント、またはログが収集された後にバッチを送信するようにバッチプロセッサを設定する方法を示しています。タイムアウト設定は、サイズ条件が満たされない場合のフォールバック条件として機能します。

YAML
processors:
  batch/custom:
    send_batch_size: 5000
    timeout: 15s

メタデータによるバッチ処理

OpenTelemetry Collector のバージョン 0.78 以降では、メタデータに基づいてテレメトリをバッチ処理できます。例:

YAML
processors:
  batch:
    # batch data by tenant-id
    metadata_keys:
    - tenant_id

    # limit to 10 batcher processes before raising errors
    metadata_cardinality_limit: 10

メタデータをバッチ基準として使用するには、include_metadata: true 設定をレシーバの設定に追加し、バッチプロセッサが使用可能なメタデータキーを使用できるようにします。

注意: メタデータによるバッチ処理は、各メタデータの組み合わせが Collector の新しいバックグラウンドタスクの割り当てをトリガーするため、メモリ消費量が増加する可能性があります。個別の組み合わせの最大数は、metadata_cardinality_limit 設定を使用して定義されます。デフォルトは 1000 です。

設定

次の表は、バッチプロセッサーの設定オプションを示しています:

同梱

https://raw.githubusercontent.com/splunk/collector-config-tools/main/cfg-metadata/processor/batch.yaml

トラブルシューティング

If you are a Splunk Observability Cloud customer and are not able to see your data in Splunk Observability Cloud, you can get help in the following ways.

Available to Splunk Observability Cloud customers

Available to prospective customers and free trial users

  • Ask a question and get answers through community support at Splunk Answers.

  • Join the Splunk community #observability Slack channel to communicate with customers, partners, and Splunk employees worldwide.