Kafka メトリクスレシーバー
Kafkaサーバーからブローカー、トピック、パーティション、コンシューマーグループなどのKafkaメトリクスを収集し、OTLP形式に変換します。
Kafka メトリクスレシーバーは、Kafka サーバーから Kafka メトリクス(ブローカー、トピック、パーティション、コンシューマグループなど)を収集し、OTLP 形式に変換します。サポートされているパイプラインのタイプは metrics です。詳細については「パイプラインでデータを処理する」を参照してください。
はじめに
以下の手順に従って、コンポーネントの設定とアクティベーションを行ってください:
-
Splunk Distribution of the OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします:
-
次のセクションで説明するようにレシーバーを設定します。
-
Collector を再起動します。
サンプル構成
Kafkaメトリクスレシーバーを有効にするには、次の例のように、設定ファイルの kafkametrics セクションに receivers を追加します:
receivers:
kafkametrics:
protocol_version: 2.0.0
scrapers:
- brokers
- topics
- consumers
設定を完了するには、構成ファイルの service セクションの metrics パイプラインにレシーバーを含めます。例:
service:
pipelines:
metrics:
receivers: [kafkametrics]
設定オプション
以下の設定が必要です:
-
protocol_versionします。デフォルトなしKafka プロトコルバージョン、たとえば2.0.0。 -
scrapersします。デフォルトなし以下のスクレイパーの任意の組み合わせを有効にできます。-
topics -
consumers -
brokers
-
以下の設定はオプションです:
-
brokers。デフォルトではlocalhost:9092です。読み込み元のブローカーのリスト。 -
resolve_canonical_bootstrap_servers_only。デフォルトではfalseです。起動時にブローカー IP を解決してからルックアップするかどうかを決定します。 -
topic_match。デフォルトでは^[^_].*$)です。メトリクスコレクションでフィルタ処理するトピックの正規表現パターン。デフォルトのフィルタでは、_で始まる内部トピックは除外されます。 -
group_match。デフォルトでは.*)です。メトリクス用にフィルタ処理するコンシューマグループの正規表現パターン。 -
client_id。デフォルトではotel-metrics-receiverです。コンシューマクライアント ID。 -
collection_interval。デフォルトでは1mです。メトリクス収集とスクレイピングの頻度。 -
initial_delay。デフォルトでは1sです。このレシーバーが開始するまでの待ち時間を決定します。 -
authします。デフォルトなし次のいずれかを使用します。-
plain_textします。次のフィールドがあります。-
usernameします。使用するユーザー名。 -
passwordします。使用するパスワード。
-
-
tlsします。次のフィールドがあります。-
ca_fileします。insecureがfalseに設定されている場合にのみ使用します。CA 証明書へのパスで、クライアントではサーバー証明書を検証します。 -
cert_fileします。insecureがfalseに設定されている場合にのみ使用します。TLS 必須接続に使用する TLS 証明書へのパス。 -
key_fileします。insecureがfalseに設定されている場合にのみ使用します。TLS 必須接続に使用する TLS キーへのパス。 -
insecure。デフォルトではfalseです。TLS 設定で、サーバーの証明書チェーンとホスト名、InsecureSkipVerifyの検証をオフにします。 -
server_name_overrideします。バーチャルホスティングをサポートするためにクライアントが要求したサーバー名を示します。
-
-
kerberosします。次のフィールドがあります。-
service_nameします。Kerberos サービス名。 -
realmします。Kerberos レルム。 -
use_keytabします。trueの場合、パスワードの代わりに keytab が使われます。 -
usernameします。KDC での認証に使用する Kerberos ユーザー名。 -
passwordします。KDC での認証に使用する Kerberos パスワード。 -
config_fileします。Kerberos 設定へのパス、たとえば/etc/krb5.conf。 -
keytab_fileします。keytab ファイルへのパス、たとえば/etc/security/kafka.keytab。 -
disable_fast_negotiation。デフォルトではfalseです。PA-FX-FAST ネゴシエーション(事前認証フレームワーク:高速)をオフにします。一般的な Kerberos 実装の一部は、PA-FX-FAST ネゴシエーションをサポートしていません。
-
-
設定例:認証と収集間隔を5秒に設定します
この例では、すべてのスクレイパーの収集間隔を5秒に設定し、TLS認証を設定しています:
receivers:
kafkametrics:
brokers: 10.10.10.10:9092
protocol_version: 2.0.0
scrapers:
- brokers
- topics
- consumers
auth:
tls:
ca_file: ca.pem
cert_file: cert.pem
key_file: key.pem
collection_interval: 5s
設定
以下の表に、Kafkaメトリクスレシーバーの設定オプションを示します:
同梱
https://raw.githubusercontent.com/splunk/collector-config-tools/main/cfg-metadata/receiver/kafkametrics.yaml
メトリクス
以下のメトリクス、リソース属性、および属性が使用できます。
同梱
https://raw.githubusercontent.com/splunk/collector-config-tools/main/metric-metadata/kafkametricsreceiver.yaml
特定のメトリクスをアクティブまたは非アクティブにする
各メトリクスの metrics セクションの enabled フィールドを設定することで、特定のメトリクスをアクティブまたは非アクティブにできます。例:
receivers:
samplereceiver:
metrics:
metric-one:
enabled: true
metric-two:
enabled: false
以下は、アクティブ化されたメトリクスを持つホスト・メトリクス・レシーバーの構成例です:
receivers:
hostmetrics:
scrapers:
process:
metrics:
process.cpu.utilization:
enabled: true
-
MTS ベースのサブスクリプションの場合、すべてのメトリックがメトリックの使用にカウントされます。
-
ホストベースのプランを使用している場合、このドキュメントでアクティブ(アクティブ:はい)としてリストされているメトリックはデフォルトと見なされ、無料で含まれています。
詳細については、「Infrastructure Monitoringのサブスクリプション使用状況(ホストとメトリクスのプラン)」を参照してください。
トラブルシューティング
__ ___ ___ _ ______ _____________ _____ ________ ___ ___ ___ ____ __ ___ ____ ____ __ ______ _____________ ______ ___ ___ ___ ____ __ ___ _________ _____
_________ __ ______ _____________ _____ _________
-
______ _ ____ __ ___ ______ _______ _______
-
_______ ______ ________
_________ __ ___________ _________ ___ ____ _____ _____
-
___ _ ________ ___ ___ _______ _______ _________ _______ __ ______ ________
-
____ ___ ______ ______________ ____ _____ _____ _______ __ ___________ ____ __________ _________ ___ ______ _________ __________ __ _____ ___ ____ _______