バージョン: 4.x

HDFS

この文書では、HDFSへアクセスするために必要なパラメータについて説明します。これらのパラメータは以下に適用されます：

Catalogプロパティ
Table Valued Functionプロパティ
Broker Loadプロパティ
Exportプロパティ
Outfileプロパティ
バックアップと復元

パラメータの概要

プロパティ名	レガシー名	説明	デフォルト値	必須
hdfs.authentication.type	hadoop.security.authentication	認証タイプを指定します。オプション値はkerberosまたはsimpleです。kerberosが選択された場合、システムはKerberos認証を使用してHDFSと対話します。simpleが使用された場合、認証が使用されないことを意味し、オープンなHDFSクラスターに適しています。kerberosを選択するには、対応するprincipalとkeytabの設定が必要です。	simple	いいえ
hdfs.authentication.kerberos.principal	hadoop.kerberos.principal	認証タイプがkerberosの場合、Kerberos principalを指定します。Kerberos principalは一意のアイデンティティ文字列で、通常サービス名、ホスト名、ドメイン名を含みます。	-	いいえ
hdfs.authentication.kerberos.keytab	hadoop.kerberos.keytab	このパラメータは、Kerberos認証のkeytabファイルパスを指定します。keytabファイルは暗号化された認証情報を保存し、ユーザーが手動でパスワードを入力する必要なく、システムが自動的に認証することを可能にします。	-	いいえ
hdfs.impersonation.enabled	-	trueの場合、HDFSなりすまし機能を有効にします。core-site.xmlで設定されたプロキシユーザーを使用して、HDFS操作のためにDorisログインユーザーをプロキシします	まだサポートされていません	-
hadoop.username	-	認証タイプがsimpleの場合、このユーザーがHDFSへのアクセスに使用されます。デフォルトでは、Dorisプロセスを実行しているLinuxシステムユーザーがアクセスに使用されます	-	-
hadoop.config.resources	-	HDFS設定ファイルディレクトリ（hdfs-site.xmlとcore-site.xmlを含む必要があります）を相対パスで指定します。デフォルトディレクトリは(FE/BE)デプロイメントディレクトリ下の/plugins/hadoop/conf/です（fe.conf/be.confのhadoop_config_dirを変更することでデフォルトパスを変更できます）。すべてのFEとBEノードは同じ相対パスを設定する必要があります。例：hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xml	-	-
dfs.nameservices	-	HDFS高可用性クラスターパラメータを手動で設定します。hadoop.config.resources設定を使用している場合、パラメータはhdfs-site.xmlから自動的に読み取られます。以下のパラメータと合わせて使用する必要があります：dfs.ha.namenodes.your-nameservice、dfs.namenode.rpc-address.your-nameservice.nn1、dfs.client.failover.proxy.provider等。	-	-

バージョン3.1より前では、レガシー名を使用してください。

認証設定

HDFSは2つの認証方法をサポートしています：

Simple
Kerberos

Simple認証

Simple認証は、Kerberosを有効にしていないHDFSクラスターに適しています。

Simple認証を使用する場合、以下のパラメータを設定するか、デフォルト値を直接使用できます：

"hdfs.authentication.type" = "simple"

Simple認証モードでは、hadoop.usernameパラメータを使用してユーザー名を指定できます。指定されない場合、現在のプロセスのユーザー名がデフォルトとして使用されます。

例：

lakersユーザー名を使用してHDFSにアクセスする

"hdfs.authentication.type" = "simple",
"hadoop.username" = "lakers"

デフォルトのシステムユーザーを使用してHDFSにアクセス

"hdfs.authentication.type" = "simple"

Kerberos認証

Kerberos認証は、Kerberosが有効化されたHDFSクラスターに適しています。

Kerberos認証を使用する場合、以下のパラメータを設定する必要があります：

"hdfs.authentication.type" = "kerberos",
"hdfs.authentication.kerberos.principal" = "<your_principal>",
"hdfs.authentication.kerberos.keytab" = "<your_keytab>"

Kerberos認証モードでは、Kerberosプリンシパルとkeytabファイルパスを設定する必要があります。

Dorisはhdfs.authentication.kerberos.principalプロパティで指定されたIDでHDFSにアクセスし、keytabで指定されたkeytabを使用してPrincipalを認証します。

注意:

keytabファイルは、すべてのFEおよびBEノードで同じパスに存在する必要があり、Dorisプロセスを実行するユーザーはkeytabファイルに対する読み取り権限を持つ必要があります。

例:

"hdfs.authentication.type" = "kerberos",
"hdfs.authentication.kerberos.principal" = "hdfs/hadoop@HADOOP.COM",
"hdfs.authentication.kerberos.keytab" = "/etc/security/keytabs/hdfs.keytab",

一般的なKerberos設定の問題のトラブルシューティングについては、Kerberos FAQを参照してください。

HDFS HA Configuration

HDFS HAモードが有効な場合、dfs.nameservices関連のパラメータを設定する必要があります：

'dfs.nameservices' = '<your-nameservice>',
'dfs.ha.namenodes.<your-nameservice>' = '<nn1>,<nn2>',
'dfs.namenode.rpc-address.<your-nameservice>.<nn1>' = '<nn1_host:port>',
'dfs.namenode.rpc-address.<your-nameservice>.<nn2>' = '<nn2_host:port>',
'dfs.client.failover.proxy.provider.<your-nameservice>' = 'org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider',

例:

'dfs.nameservices' = 'nameservice1',
'dfs.ha.namenodes.nameservice1' = 'nn1,nn2',
'dfs.namenode.rpc-address.nameservice1.nn1' = '172.21.0.2:8088',
'dfs.namenode.rpc-address.nameservice1.nn2' = '172.21.0.3:8088',
'dfs.client.failover.proxy.provider.nameservice1' = 'org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider',

設定ファイル

この機能はバージョン3.1.0以降でサポートされています

DorisはHDFS設定ファイルディレクトリをhadoop.config.resourcesパラメータで指定することをサポートしています。

設定ファイルディレクトリにはhdfs-site.xmlとcore-site.xmlファイルが含まれている必要があります。デフォルトディレクトリは(FE/BE)デプロイメントディレクトリ下の/plugins/hadoop_conf/です。すべてのFEおよびBEノードは同じ相対パスを設定する必要があります。

設定ファイルにこのドキュメントで言及された上記のパラメータが含まれている場合、ユーザーが明示的に設定したパラメータが優先されます。設定ファイルは複数のファイルを指定でき、hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xmlのようにカンマで区切ります。

例:

-- Multiple configuration files
'hadoop.config.resources'='hdfs-cluster-1/core-site.xml,hdfs-cluster-1/hdfs-site.xml'
-- Single configuration file
'hadoop.config.resources'='hdfs-cluster-2/hdfs-site.xml'

HDFS IO最適化

場合によっては、HDFSの高負荷により、HDFS上のデータレプリカの読み取りに長時間を要し、全体的なクエリ効率が低下することがあります。以下では、関連する最適化設定をいくつか紹介します。

Hedged Read

HDFS ClientはHedged Read機能を提供します。この機能は、読み取りリクエストが一定の閾値を超えても返らない場合に、同じデータを読み取る別の読み取りスレッドを開始し、最初に返ってきた方を使用します。

注意：この機能はHDFSクラスタの負荷を増加させる可能性があるため、慎重に使用してください。

この機能は以下の方法で有効にできます：

"dfs.client.hedged.read.threadpool.size" = "128",
"dfs.client.hedged.read.threshold.millis" = "500"

dfs.client.hedged.read.threadpool.size

Hedged Readに使用されるスレッド数を表します。これらは1つのHDFS Clientで共有されます。通常、1つのHDFSクラスターに対して、BEノードは1つのHDFS Clientを共有します。
dfs.client.hedged.read.threshold.millis

ミリ秒単位の読み取り閾値。読み取りリクエストがこの閾値を超えても戻らない場合、Hedged Readがトリガーされます。

有効化後、Query Profileで関連パラメータを確認できます：

TotalHedgedRead

Hedged Readが開始された回数。
HedgedReadWins

Hedged Readの成功回数（開始され、元のリクエストより高速に戻った回数）。

ここの値は単一のHDFS Clientの累積値であり、単一クエリの値ではないことに注意してください。同じHDFS Clientは複数のクエリで再利用されます。

dfs.client.socket-timeout

dfs.client.socket-timeoutは、Hadoop HDFSのクライアント設定パラメータで、クライアントがDataNodeまたはNameNodeとの接続確立やデータ読み取り時のソケットタイムアウトを設定するためのものです（ミリ秒単位）。このパラメータのデフォルト値は通常60,000ミリ秒です。

このパラメータ値を小さくすることで、ネットワーク遅延、DataNodeの応答遅延、または接続例外が発生した際に、クライアントがより迅速にタイムアウトし、再試行や他のノードへの切り替えを行うことができます。これにより、待機時間の短縮とシステム応答速度の向上に役立ちます。例えば、いくつかのテストでは、dfs.client.socket-timeoutをより小さな値（5000ミリ秒など）に設定することで、DataNodeの遅延や故障を迅速に検出し、長時間の待機を回避できます。

注意：

タイムアウトを小さく設定しすぎると、ネットワークの変動やノードの高負荷時に頻繁なタイムアウトエラーが発生し、タスクの安定性に影響を与える可能性があります。
実際のネットワーク環境とシステム負荷状況に基づいて、応答速度とシステム安定性のバランスを取るため、このパラメータ値を適切に調整することを推奨します。
このパラメータはクライアント設定ファイル（hdfs-site.xmlなど）で設定し、クライアントがHDFSとの通信時に正しいタイムアウトを使用することを確保する必要があります。

まとめると、dfs.client.socket-timeoutパラメータを適切に設定することで、システムの安定性と信頼性を確保しながらI/O応答速度を向上させることができます。

HDFSアクセスポート要件（NameNode & DataNodeのみ）

DorisがHDFSにアクセスするには、以下のポートが開いている必要があります：

Service	Port Purpose	Default Port	Protocol
NameNode	RPC (client/metadata access)	8020	TCP
DataNode	Data transfer (block I/O)	9866	TCP

注意：

ポートはcore-site.xmlとhdfs-site.xmlでカスタマイズされている場合があります。実際の設定を使用してください。
Kerberos認証が有効な場合、DorisはKerberos KDCサービスにも到達できる必要があります。KDCはデフォルトでTCPポート88をリッスンしますが、実際のポートはKDC設定に従う必要があります。

HDFSのデバッグ

Hadoop環境設定は複雑で、場合によっては接続問題や低いアクセス性能が発生することがあります。以下はユーザーが接続問題と基本的な性能問題を迅速にトラブルシューティングするのに役立つサードパーティツールです。

HDFS Client

これら2つのツールは、HDFS接続と読み取り性能を迅速に検証するために使用できます。それらのHadoop依存関係の大部分はDoris自身のHadoop依存関係と同じであるため、DorisのHDFSアクセスシナリオを最大限にシミュレートできます。

Java版はJavaを使用してHDFSにアクセスし、Doris FE側のHDFSアクセスロジックをシミュレートできます。

CPP版はC++でlibhdfsを呼び出してHDFSにアクセスし、Doris BE側のHDFSアクセスロジックをシミュレートできます。

具体的な使用方法については、各コードリポジトリのREADMEを参照してください。

パラメータの概要​

認証設定​

Simple認証​

Kerberos認証​

HDFS HA Configuration​

設定ファイル​

HDFS IO最適化​

Hedged Read​

dfs.client.socket-timeout​

HDFSアクセスポート要件（NameNode & DataNodeのみ）​

HDFSのデバッグ​

HDFS Client​