メインコンテンツまでスキップ
バージョン: 4.x

Alibaba Cloud OSS

この文書では、以下のシナリオに適用されるAlibaba Cloud OSSにアクセスするために必要なパラメータについて説明します：

  • Catalog properties
  • Table Valued Function properties
  • Broker Load properties
  • Export properties
  • Outfile properties

OSS​

DorisはS3 Clientを使用してS3互換プロトコルを通じてAlibaba Cloud OSSにアクセスします。

パラメータ概要​

Property NameLegacy NameDescriptionDefault Value
oss.endpoints3.endpointOSSエンドポイント、Alibaba Cloud OSSのアクセスエンドポイントを指定します。OSSとOSS HDFSでは異なるエンドポイントを持つことに注意してください。None
oss.access_keys3.access_key認証用のOSS Access KeyNone
oss.secret_keys3.secret_keyOSS Secret Key、Access Keyと一緒に使用されますNone
oss.regions3.regionOSSリージョン、Alibaba Cloud OSSのリージョンを指定しますNone
oss.use_path_styles3.use_path_styleパススタイルアクセスを使用するかどうか。MinIOやその他のAWS以外のS3サービスとの互換性のためにtrueに設定することが推奨されますFALSE
oss.connection.maximums3.connection.maximum最大接続数、OSSサービスとの間で確立される最大接続数を指定します50
oss.connection.request.timeouts3.connection.request.timeoutリクエストタイムアウト（ミリ秒）、OSSサービスへの接続時のリクエストタイムアウトを指定します3000
oss.connection.timeouts3.connection.timeout接続タイムアウト（ミリ秒）、OSSサービスとの接続確立時のタイムアウトを指定します1000

バージョン3.1より前では、legacy nameを使用してください

設定例​

"oss.access_key" = "your-access-key",
"oss.secret_key" = "your-secret-key",
"oss.endpoint" = "oss-cn-beijing.aliyuncs.com",
"oss.region" = "cn-beijing"

バージョン3.1より前の場合:

"s3.access_key" = "your-access-key",
"s3.secret_key" = "your-secret-key",
"s3.endpoint" = "oss-cn-beijing.aliyuncs.com",
"s3.region" = "cn-beijing"

使用推奨事項​

  • Alibaba Cloud OSSとの一貫性と明確性を確保するため、設定パラメータにはoss.プレフィックスを使用することを推奨します。
  • バージョン3.1より前では、レガシー名s3.をプレフィックスとして使用してください。
  • oss.regionを設定することで、アクセス精度とパフォーマンスが向上するため、設定することを推奨します。
  • コネクションプールパラメータは、コネクションのブロックを避けるために、並行性要件に応じて調整できます。

OSS-HDFS​

OSS-HDFSサービス（JindoFSサービス）は、Alibaba Cloudのネイティブデータレイクストレージ機能です。統一されたメタデータ管理機能をベースに、HDFSファイルシステムインターフェースと互換性があり、ビッグデータやAI分野でのデータレイク計算シナリオに対応します。

OSS-HDFSに保存されたデータにアクセスすることは、OSSサービスに直接アクセスすることとは若干異なります。詳細については、このドキュメントを参照してください。

パラメータ概要​

プロパティ名レガシー名説明デフォルト値必須
oss.hdfs.endpointoss.endpointAlibaba Cloud OSS-HDFSサービスエンドポイント、例：cn-hangzhou.oss-dls.aliyuncs.comなしはい
oss.hdfs.access_keyoss.access_key認証用OSS Access Keyなしはい
oss.hdfs.secret_keyoss.secret_keyOSS Secret Key、Access Keyと組み合わせて使用なしはい
oss.hdfs.regionoss.regionOSSバケットが配置されているリージョンID、例：cn-beijingなしはい
oss.hdfs.fs.defaultFSバージョン3.1でサポート。OSSのファイルシステムアクセスパスを指定、例：oss://my-bucket/なしいいえ
oss.hdfs.hadoop.config.resourcesバージョン3.1でサポート。OSSファイルシステム設定を含むパスを指定。相対パスが必要。デフォルトディレクトリは（FE/BE）デプロイメントディレクトリ下の/plugins/hadoop_conf/（fe.conf/be.confのhadoop_config_dirを変更することで変更可能）。すべてのFEとBEノードは同じ相対パスを設定する必要があります。例：hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xmlなしいいえ
fs.oss-hdfs.supportoss.hdfs.enabledバージョン3.1でサポート。OSS-HDFS機能の有効化を明示的に宣言。trueに設定する必要がありますなしいいえ

バージョン3.1より前では、レガシー名を使用してください。

エンドポイント設定​

oss.hdfs.endpoint: OSS-HDFSサービスエンドポイントの指定に使用されます。

エンドポイントはAlibaba Cloud OSSにアクセスするためのエントリアドレスで、<region>.oss-dls.aliyuncs.com形式、例：cn-hangzhou.oss-dls.aliyuncs.comです。

エンドポイントがAlibaba Cloud OSSエンドポイント形式に準拠していることを確保するため、厳密な形式検証を実行します。

後方互換性のため、エンドポイント設定ではhttps://ま たはhttp://プ レフィックスの包含が許可されています。システムは形式検証時にプロトコル部分を自動的に解析し、無視します。

レガシー名を使用する場合、システムはendpointにoss-dlsが含まれているかどうかに基づいて、OSS-HDFSサービスかどうかを判定します。

設定ファイル​

バージョン3.1でサポート

OSS-HDFSはoss.hdfs.hadoop.config.resourcesパラメータを通じて、HDFS関連の設定ファイルディレクトリの指定をサポートします。

設定ファイルディレクトリにはhdfs-site.xmlとcore-site.xmlファイルが含まれている必要があります。デフォルトディレクトリは（FE/BE）デプロイメントディレクトリ下の/plugins/hadoop_conf/です。すべてのFEとBEノードは同じ相対パスを設定する必要があります。

設定ファイルにこのドキュメントで前述したパラメータが含まれている場合、ユーザーが明示的に設定したパラメータが優先されます。設定ファイルは複数ファイルを指定でき、hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xmlのようにカンマで区切ります。

設定例​

"fs.oss-hdfs.support" = "true",
"oss.hdfs.access_key" = "your-access-key",
"oss.hdfs.secret_key" = "your-secret-key",
"oss.hdfs.endpoint" = "cn-hangzhou.oss-dls.aliyuncs.com",
"oss.hdfs.region" = "cn-hangzhou"

バージョン3.1より前の場合:

"oss.hdfs.enabled" = "true",
"oss.access_key" = "your-access-key",
"oss.secret_key" = "your-secret-key",
"oss.endpoint" = "cn-hangzhou.oss-dls.aliyuncs.com",
"oss.region" = "cn-hangzhou"