Apache Sparkレシーバー

前提条件

このレシーバーはApache Sparkバージョン3.3.2以降をサポートしています。

はじめに

以下の手順に従って、コンポーネントの設定とアクティベーションを行ってください：

1. Splunk Distribution of the OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：

   • インストーラ・スクリプトを使用して Linux 用 Collector をインストールします。

   • インストーラ・スクリプトを使用して Collector for Windows をインストールします。

   • Helmを使用してCollector for Kubernetesをインストールする

2. 次のセクションで説明するようにレシーバーを設定します。

3. Collector を再起動します。

サンプル構成

Apache Sparkレシーバーを有効化するには、設定ファイルの apachespark セクションに receivers を追加します：

receivers:
  apachespark:
    collection_interval: 60s
    endpoint: http://localhost:4040
    application_names:
    - PythonStatusAPIDemo
    - PythonLR

設定を完了するには、設定ファイルの service セクションの metrics パイプラインに、レシーバーを含めます：

service:
  pipelines:
    metrics:
      receivers: [apachespark]

設定オプション

以下の設定はオプションです：

• collection_interval。デフォルトでは 60s です。このレシーバーがメトリクスを収集する間隔を設定します。

  • この値は、Golang の time.ParseDuration で読み取り可能な文字列である必要があります。詳細については、Go 公式ドキュメントの https://pkg.go.dev/time#ParseDuration を参照してください。

  • 有効な時間単位は ns、us （ µs ）、ms、s、m、h です。

• • initial_delay。デフォルトでは 1s です。このレシーバーが初めてメトリクスを収集するまでの待機時間を決定します。

• endpoint。デフォルトでは http://localhost:4040 です。[http][://]{host}[:{port}] の形式で接続する Apache Spark のエンドポイントです。

• application_namesします。メトリクスの収集元である Spark アプリケーション名の配列です。アプリケーション名が指定されていない場合は、指定されたエンドポイントにあるクラスター上で実行されているすべての Spark アプリケーションのメトリクスが収集されます。

設定

このレシーバに公開されている設定の全リストは、GitHub の「Apache Spark receiver config repo」から確認できます。

メトリクス

以下のメトリクス、リソース属性、および属性が使用できます。

receivers:
  samplereceiver:
    metrics:
      metric-one:
        enabled: true
      metric-two:
        enabled: false

receivers:
  hostmetrics:
    scrapers:
      process:
        metrics:
          process.cpu.utilization:
            enabled: true

トラブルシューティング