Apache Spark

Apache Spark モニターには、この Splunk Observability Cloud インテグレーションを使用してください。メリット、インストール、設定、メトリクスを参照してください

注: Splunk Distribution of the OpenTelemetry Collector を使用していて、Apache Spark クラスターメトリクスを収集したい場合は、ネイティブの OTel コンポーネント Apache Spark レシーバーを使用してください。

Splunk Distribution of OpenTelemetry Collector は、Apache Spark モニタータイプの Smart Agent レシーバーを使用して Apache Spark クラスターを監視します。Spark Structured Streaming からのメトリクスの取得はサポートしていません。

以下のクラスター・モードでは、インテグレーションはHTTPエンドポイントのみをサポートします：

  • スタンドアロン

  • Mesos

  • Hadoop YARN

この collectd プラグインは、Kubernetes クラスターモードと互換性がありません。プライマリプロセスとワーカープロセスに対して個別のモニター設定と検出ルールを選択する必要があります。プライマリの設定には、isMaster を true に設定します。Hadoop YARN で Apache Spark を実行する場合、このインテグレーションで報告できるのはプライマリノードからのアプリケーションメトリクスのみです。

このインテグレーションはLinuxでのみ利用できます。

メリット

インテグレーションを設定すると、これらの機能にアクセスできるようになります：

インストール

このインテグレーションを導入するには、以下の手順に従ってください：

  1. Splunk Distribution of OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：

  2. 設定のセクションで説明するように、モニターを設定します。

  3. Splunk Distribution of OpenTelemetry Collector を再起動します。

設定

Smart Agent モニターとCollector のインテグレーションを使用するには、以下の手順に従います：

  1. Smart Agent レシーバーを設定ファイルに含めます。

  2. レシーバーセクションおよびパイプラインセクションの両方で、Collector 構成にモニタータイプを追加します。

例

このインテグレーションを有効にするには、Collector の構成に次のいずれかを追加します：

YAML 
receivers:
  smartagent/collectd_spark_master:
    type: collectd/spark
    ...  # Additional config
YAML 
receivers:
  smartagent/collectd_spark_worker:
    type: collectd/spark
    ...  # Additional config

次に、設定ファイルの service.pipelines.metrics.receivers セクションにモニターを追加します：

YAML 
service:
  pipelines:
    metrics:
      receivers: [smartagent/collectd_spark_master]
YAML 
service:
  pipelines:
    metrics:
      receivers: [smartagent/collectd_spark_worker]
注: 名前 collectd_spark_master および collectd_spark_worker は識別のみを目的としており、機能には影響しません。設定ではいずれかの名前を使用できますが、プライマリプロセスとワーカープロセスで個別のモニター設定と検出ルールを選択する必要があります。プライマリ構成については、構成設定セクションの isMaster フィールドを参照してください。

コンフィギュレーション設定

次の表に、このインテグレーションの設定オプションを示します：

オプション

必須

タイプ

説明

pythonBinary

いいえ

string

 このオプションは、Pythonコードを実行するPythonバイナリへのパスを指定

します。このオプションを設定しない場合、システムは組み込みランタイムを使用します。また、バイナリへの引数を含めることができます。

host

〇

string

port

〇

integer

isMaster

いいえ

bool

 プライマリを監視する場合は、このオプションを true に設定します。

Spark ノード。デフォルトは false です。

clusterType

はい

string

 このオプションは、監視しているクラスターのタイプに設定します。値は、

Standalone、Mesos または Yarn が使用可能です。システムは Yarn のクラスターメトリクスを収集しません。collectd/hadoop モニターを使用して、クラスターの正常性に関するインサイトを取得します。

collectApplicationMetrics

いいえ

bool

デフォルトは false です。

enhancedMetrics

いいえ

bool

デフォルトは false です。

メトリクス

これらは、このインテグレーションで利用可能なメトリクスです：

https://raw.githubusercontent.com/signalfx/splunk-otel-collector/main/internal/signalfx-agent/pkg/monitors/collectd/spark/metadata.yaml

備考

  • Splunk Observability Cloud で利用可能なメトリクスタイプの詳細は、「メトリクスタイプ」を参照してください。

  • ホストベースのサブスクリプションプランでは、デフォルトのメトリクスは、ホスト、コンテナ、バンドルメトリクスなど、Splunk Observability Cloud のホストベースのサブスクリプションに含まれるメトリクスです。カスタムメトリクスはデフォルトでは提供されていないため、料金が発生する場合があります。詳細については、「メトリクスカテゴリ」を参照してください。

  • MTSベースのサブスクリプションプランでは、すべてのメトリクスがカスタムです。

  • メトリクスを追加するには、「その他のメトリクスの追加」で extraMetrics の設定方法を参照してください。

トラブルシューティング

If you are a Splunk Observability Cloud customer and are not able to see your data in Splunk Observability Cloud, you can get help in the following ways.

Available to Splunk Observability Cloud customers

Available to prospective customers and free trial users

  • Ask a question and get answers through community support at Splunk Answers.

  • Join the Splunk community #observability Slack channel to communicate with customers, partners, and Splunk employees worldwide.