Kafka

Kafka モニターには、この Splunk Observability Cloud インテグレーションを使用してください。メリット、インストール、設定、メトリクスを参照してください

Splunk Distribution of OpenTelemetry Collector は、Smart Agent レシーバを Kafka モニタータイプで使用して、collectd の GenericJMX プラグインを使用している Kafka インスタンスを監視します。

注: ネイティブの OpenTelemetry コンポーネントを使用して OpenTelemetry Collector でKafka を監視するには、「Kafka メトリクスレシーバ」を参照してください。

このインテグレーションには、Kafka の JMX エンドポイントからメトリクスをプルするための組み込み MBeans のセットがあります。詳細に関しては、GitHub の「Kafka producer MBeans」を参照してください。

このインテグレーションはKubernetesとLinuxでのみ利用可能で、Kafka v0.8.2.x以降をサポートしています。

Kafka v1.x.x 以上では、以下を監視します。

  • kafka.server:type=ZooKeeperClientMetrics,name=ZooKeeperRequestLatencyMs を使用して、ブローカーが Zookeeper へのリクエストが完了するまでの待ち時間を追跡します。

  • 基礎となるホストのディスク使用率とネットワークメトリクス。

  • Zookeeper は Kafka クラスターに不可欠な部分であるため、Zookeeper インテグレーションを使用して監視することができます。

メリット

インテグレーションを設定すると、これらの機能にアクセスできるようになります：

インストール

このインテグレーションを導入するには、以下の手順に従ってください：

  1. Splunk Distribution of OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：

  2. 設定のセクションで説明するように、モニターを設定します。

  3. Splunk Distribution of OpenTelemetry Collector を再起動します。

設定

Smart Agent モニターとCollector のインテグレーションを使用するには、以下の手順に従います：

  1. Smart Agent レシーバーを設定ファイルに含めます。

  2. レシーバーセクションおよびパイプラインセクションの両方で、Collector 構成にモニタータイプを追加します。

例

このインテグレーションを有効にするには、Collector構成に以下を追加します：

YAML 
receivers:
  smartagent/kafka:
    type: collectd/kafka
    ...  # Additional config

次に、設定ファイルの service.pipelines.metrics.receivers セクションにモニターを追加します：

YAML 
service:
  pipelines:
    metrics:
      receivers: [smartagent/kafka]

OpenTelemetry CollectorのSplunkディストリビューションが既存の環境をどのように統合し、補完できるかを示す具体的な使用例については、構成例を参照してください。

コンフィギュレーション設定

以下の設定が必要です：

  • hostします。接続先のホスト。JMX はリモートアクセス用に設定され、エージェントからアクセスできる必要があります。

  • portします。接続する JMX ポート。

  • clusterNameします。ブローカーが属するクラスター名。

設定の完全なリストについては「GenericJMX」を参照してください。詳しくは、GitHubの Kafka モニタードキュメントを参照してください。

メトリクス

このインテグレーションでは、以下のメトリクスを使用できます：

https://raw.githubusercontent.com/signalfx/splunk-otel-collector/main/internal/signalfx-agent/pkg/monitors/collectd/kafka/metadata.yaml

備考

  • Splunk Observability Cloud で利用可能なメトリクスタイプの詳細は、「メトリクスタイプ」を参照してください。

  • ホストベースのサブスクリプションプランでは、デフォルトのメトリクスは、ホスト、コンテナ、バンドルメトリクスなど、Splunk Observability Cloud のホストベースのサブスクリプションに含まれるメトリクスです。カスタムメトリクスはデフォルトでは提供されていないため、料金が発生する場合があります。詳細については、「メトリクスカテゴリ」を参照してください。

  • MTSベースのサブスクリプションプランでは、すべてのメトリクスがカスタムです。

  • メトリクスを追加するには、「その他のメトリクスの追加」で extraMetrics の設定方法を参照してください。

トラブルシューティング

If you are a Splunk Observability Cloud customer and are not able to see your data in Splunk Observability Cloud, you can get help in the following ways.

Available to Splunk Observability Cloud customers

Available to prospective customers and free trial users

  • Ask a question and get answers through community support at Splunk Answers.

  • Join the Splunk community #observability Slack channel to communicate with customers, partners, and Splunk employees worldwide.