Kafka メトリクスレシーバー

Kafkaサーバーからブローカー、トピック、パーティション、コンシューマーグループなどのKafkaメトリクスを収集し、OTLP形式に変換します。

Kafka メトリクスレシーバーは、Kafka サーバーから Kafka メトリクス(ブローカー、トピック、パーティション、コンシューマグループなど)を収集し、OTLP 形式に変換します。サポートされているパイプラインのタイプは metrics です。詳細については「パイプラインでデータを処理する」を参照してください。

注: すぐに使えるダッシュボードとナビゲータは Kafka メトリクスレシーバーではサポートされていません。

はじめに

以下の手順に従って、コンポーネントの設定とアクティベーションを行ってください:

  1. Splunk Distribution of the OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします:

  2. 次のセクションで説明するようにレシーバーを設定します。

  3. Collector を再起動します。

サンプル構成

Kafkaメトリクスレシーバーを有効にするには、次の例のように、設定ファイルの kafkametrics セクションに receivers を追加します:

YAML
receivers:
  kafkametrics:
    protocol_version: 2.0.0
    scrapers:
      - brokers
      - topics
      - consumers

設定を完了するには、構成ファイルの service セクションの metrics パイプラインにレシーバーを含めます。例:

YAML
service:
  pipelines:
    metrics:
      receivers: [kafkametrics]

設定オプション

以下の設定が必要です:

  • protocol_versionします。デフォルトなしKafka プロトコルバージョン、たとえば 2.0.0

  • scrapersします。デフォルトなし以下のスクレイパーの任意の組み合わせを有効にできます。

    • topics

    • consumers

    • brokers

以下の設定はオプションです:

  • brokers。デフォルトでは localhost:9092 です。読み込み元のブローカーのリスト。

  • resolve_canonical_bootstrap_servers_only。デフォルトでは false です。起動時にブローカー IP を解決してからルックアップするかどうかを決定します。

  • topic_match。デフォルトでは ^[^_].*$) です。メトリクスコレクションでフィルタ処理するトピックの正規表現パターン。デフォルトのフィルタでは、_ で始まる内部トピックは除外されます。

  • group_match。デフォルトでは .*) です。メトリクス用にフィルタ処理するコンシューマグループの正規表現パターン。

  • client_id。デフォルトでは otel-metrics-receiver です。コンシューマクライアント ID。

  • collection_interval。デフォルトでは 1m です。メトリクス収集とスクレイピングの頻度。

  • initial_delay。デフォルトでは 1s です。このレシーバーが開始するまでの待ち時間を決定します。

  • authします。デフォルトなし次のいずれかを使用します。

    • plain_textします。次のフィールドがあります。

      • usernameします。使用するユーザー名。

      • passwordします。使用するパスワード。

    • tlsします。次のフィールドがあります。

      • ca_fileします。insecurefalse に設定されている場合にのみ使用します。CA 証明書へのパスで、クライアントではサーバー証明書を検証します。

      • cert_fileします。insecurefalse に設定されている場合にのみ使用します。TLS 必須接続に使用する TLS 証明書へのパス。

      • key_fileします。insecurefalse に設定されている場合にのみ使用します。TLS 必須接続に使用する TLS キーへのパス。

      • insecure。デフォルトでは false です。TLS 設定で、サーバーの証明書チェーンとホスト名、InsecureSkipVerify の検証をオフにします。

      • server_name_overrideします。バーチャルホスティングをサポートするためにクライアントが要求したサーバー名を示します。

    • kerberosします。次のフィールドがあります。

      • service_nameします。Kerberos サービス名。

      • realmします。Kerberos レルム。

      • use_keytabします。true の場合、パスワードの代わりに keytab が使われます。

      • usernameします。KDC での認証に使用する Kerberos ユーザー名。

      • passwordします。KDC での認証に使用する Kerberos パスワード。

      • config_fileします。Kerberos 設定へのパス、たとえば /etc/krb5.conf

      • keytab_fileします。keytab ファイルへのパス、たとえば /etc/security/kafka.keytab

      • disable_fast_negotiation。デフォルトでは false です。PA-FX-FAST ネゴシエーション(事前認証フレームワーク:高速)をオフにします。一般的な Kerberos 実装の一部は、PA-FX-FAST ネゴシエーションをサポートしていません。

設定例:認証と収集間隔を5秒に設定します

この例では、すべてのスクレイパーの収集間隔を5秒に設定し、TLS認証を設定しています:

YAML
receivers:
  kafkametrics:
    brokers: 10.10.10.10:9092
    protocol_version: 2.0.0
    scrapers:
      - brokers
      - topics
      - consumers
    auth:
      tls:
        ca_file: ca.pem
        cert_file: cert.pem
        key_file: key.pem
    collection_interval: 5s

設定

以下の表に、Kafkaメトリクスレシーバーの設定オプションを示します:

同梱

https://raw.githubusercontent.com/splunk/collector-config-tools/main/cfg-metadata/receiver/kafkametrics.yaml

メトリクス

以下のメトリクス、リソース属性、および属性が使用できます。

同梱

https://raw.githubusercontent.com/splunk/collector-config-tools/main/metric-metadata/kafkametricsreceiver.yaml

特定のメトリクスをアクティブまたは非アクティブにする

各メトリクスの metrics セクションの enabled フィールドを設定することで、特定のメトリクスをアクティブまたは非アクティブにできます。例:

YAML
receivers:
  samplereceiver:
    metrics:
      metric-one:
        enabled: true
      metric-two:
        enabled: false

以下は、アクティブ化されたメトリクスを持つホスト・メトリクス・レシーバーの構成例です:

YAML
receivers:
  hostmetrics:
    scrapers:
      process:
        metrics:
          process.cpu.utilization:
            enabled: true
注: 非アクティブ化されたメトリックは Splunk Observability Cloud に送信されません。
請求
  • MTS ベースのサブスクリプションの場合、すべてのメトリックがメトリックの使用にカウントされます。

  • ホストベースのプランを使用している場合、このドキュメントでアクティブ(アクティブ:はい)としてリストされているメトリックはデフォルトと見なされ、無料で含まれています。

詳細については、「Infrastructure Monitoringのサブスクリプション使用状況(ホストとメトリクスのプラン)」を参照してください。

トラブルシューティング

If you are a Splunk Observability Cloud customer and are not able to see your data in Splunk Observability Cloud, you can get help in the following ways.

Available to Splunk Observability Cloud customers

Available to prospective customers and free trial users

  • Ask a question and get answers through community support at Splunk Answers.

  • Join the Splunk community #observability Slack channel to communicate with customers, partners, and Splunk employees worldwide.