Hadoop

Hadoop モニターには、この Splunk Observability Cloud インテグレーションを使用してください。メリット、インストール、設定、メトリクスを参照してください

Splunk Distribution of OpenTelemetry Collectorは、Smart AgentレシーバーとHadoopモニタータイプを使用して、Hadoop 2.0以上のクラスターの以下のコンポーネントからメトリクスを収集します：

  • クラスターメトリクス

  • クラスタースケジューラー

  • クラスターアプリケーション

  • クラスターノード

  • MapReduceジョブ

このインテグレーションでは、REST API を使用します。Hadoop クラスターでリモート JMX ポートが公開されている場合は、hadoopjmx モニターを設定して Hadoop クラスターに関する追加のメトリクスを収集することもできます。

このインテグレーションはKubernetesとLinuxでのみ利用可能です。

メリット

インテグレーションを設定すると、これらの機能にアクセスできるようになります：

インストール

このインテグレーションを導入するには、以下の手順に従ってください：

  1. Splunk Distribution of OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：

  2. 設定のセクションで説明するように、モニターを設定します。

  3. Splunk Distribution of OpenTelemetry Collector を再起動します。

設定

Smart Agent モニターとCollector のインテグレーションを使用するには、以下の手順に従います：

  1. Smart Agent レシーバーを設定ファイルに含めます。

  2. レシーバーセクションおよびパイプラインセクションの両方で、Collector 構成にモニタータイプを追加します。

例

このインテグレーションを有効にするには、Collector構成に以下を追加します：

receivers:
  smartagent/hadoop:
    type: collectd/hadoop
    ...  # Additional config

次に、設定ファイルの service.pipelines.metrics.receivers セクションにモニターを追加します：

service:
  pipelines:
    metrics:
      receivers: [smartagent/hadoop]

設定オプション

次の表に、このインテグレーションの設定オプションを示します：

オプション

必須

タイプ

説明

pythonBinary

いいえ

string

Pythonコードを実行するために使用するpythonバイナリへの

パスです。設定されていない場合は、組み込みランタイムが使用されます。また、バイナリへの引数を含めることもできます。

host

はい

string

リソースマネージャーホスト名

port

はい

integer

リソースマネージャーポート

verbose

いいえ

bool

プラグインに関する冗長情報を記録します（デフォルト：

false）

メトリクス

このインテグレーションでは、以下のメトリクスを使用できます：

https://raw.githubusercontent.com/signalfx/splunk-otel-collector/main/internal/signalfx-agent/pkg/monitors/collectd/hadoop/metadata.yaml

備考

  • Splunk Observability Cloud で利用可能なメトリクスタイプの詳細は、「メトリクスタイプ」を参照してください。

  • ホストベースのサブスクリプションプランでは、デフォルトのメトリクスは、ホスト、コンテナ、バンドルメトリクスなど、Splunk Observability Cloud のホストベースのサブスクリプションに含まれるメトリクスです。カスタムメトリクスはデフォルトでは提供されていないため、料金が発生する場合があります。詳細については、「メトリクスカテゴリ」を参照してください。

  • MTSベースのサブスクリプションプランでは、すべてのメトリクスがカスタムです。

  • メトリクスを追加するには、「その他のメトリクスの追加」で extraMetrics の設定方法を参照してください。

トラブルシューティング

__ ___ ___ _ ______ _____________ _____ ________ ___ ___ ___ ____ __ ___ ____ ____ __ ______ _____________ ______ ___ ___ ___ ____ __ ___ _________ _____

_________ __ ______ _____________ _____ _________

_________ __ ___________ _________ ___ ____ _____ _____

  • ___ _ ________ ___ ___ _______ _______ _________ _______ __ ______ ________

  • ____ ___ ______ ______________ ____ _____ _____ _______ __ ___________ ____ __________ _________ ___ ______ _________ __________ __ _____ ___ ____ _______