Aliyun OSS
この文書では、以下のシナリオに適用されるAlibaba Cloud OSSにアクセスするために必要なパラメータについて説明します：
- Catalogプロパティ
- Table Valued Functionプロパティ
- Broker Loadプロパティ
- Exportプロパティ
- Outfileプロパティ
OSS
DorisはS3 Clientを使用してS3互換プロトコル経由でAlibaba Cloud OSSにアクセスします。
パラメータ概要
| Property Name | Legacy Name | デスクリプション | デフォルト値 |
|---|---|---|---|
| oss.endpoint | s3.endpoint | OSSエンドポイント、Alibaba Cloud OSSのアクセスエンドポイントを指定します。OSSとOSS HDFSは異なるエンドポイントを持つことに注意してください。 | None |
| oss.access_key | s3.access_key | 認証用のOSS Access Key | None |
| oss.secret_key | s3.secret_key | OSS Secret Key、Access Keyと組み合わせて使用 | None |
| oss.region | s3.region | OSSリージョン、Alibaba Cloud OSSのリージョンを指定 | None |
| oss.use_path_style | s3.use_path_style | パススタイルアクセスを使用するかどうか。MinIOやその他のAWS以外のS3サービスとの互換性のためtrueに設定することを推奨 | FALSE |
| oss.connection.maximum | s3.connection.maximum | 最大接続数、OSSサービスとの間に確立される最大接続数を指定 | 50 |
| oss.connection.request.timeout | s3.connection.request.timeout | リクエストタイムアウト（ミリ秒）、OSSサービスに接続する際のリクエストタイムアウトを指定 | 3000 |
| oss.connection.timeout | s3.connection.timeout | 接続タイムアウト（ミリ秒）、OSSサービスとの接続を確立する際のタイムアウトを指定 | 1000 |
バージョン3.1より前では、legacy nameを使用してください
設定例
"oss.access_key" = "your-access-key",
"oss.secret_key" = "your-secret-key",
"oss.endpoint" = "oss-cn-beijing.aliyuncs.com",
"oss.region" = "cn-beijing"
バージョン3.1より前の場合：
"s3.access_key" = "your-access-key",
"s3.secret_key" = "your-secret-key",
"s3.endpoint" = "oss-cn-beijing.aliyuncs.com",
"s3.region" = "cn-beijing"
使用上の推奨事項
- 設定パラメータには
oss.プレフィックスを使用することで、Alibaba Cloud OSSとの一貫性と明確性を確保することを推奨します。 - バージョン3.1以前では、レガシー名
s3.をプレフィックスとして使用してください。 oss.regionを設定することでアクセス精度とパフォーマンスが向上するため、設定することを推奨します。- 接続プールパラメータは同時実行要件に応じて調整し、接続ブロッキングを回避できます。
OSS-HDFS
OSS-HDFSサービス（JindoFSサービス）は、Alibaba Cloudネイティブなデータレイクストレージ機能です。統一されたメタデータ管理機能に基づき、HDFSファイルシステムインターフェースと互換性があり、ビッグデータとAI分野におけるデータレイクコンピューティングシナリオに対応します。
OSS-HDFSに格納されたデータへのアクセスは、OSSサービスに直接アクセスする場合と若干異なります。詳細については、このドキュメントを参照してください。
パラメータ概要
| プロパティ名 | レガシー名 | 説明 | デフォルト値 | 必須 |
|---|---|---|---|---|
| oss.hdfs.endpoint | oss.endpoint | Alibaba Cloud OSS-HDFSサービスエンドポイント、例：cn-hangzhou.oss-dls.aliyuncs.com。 | なし | はい |
| oss.hdfs.access_key | oss.access_key | 認証用OSS Access Key | なし | はい |
| oss.hdfs.secret_key | oss.secret_key | OSS Secret Key、Access Keyと組み合わせて使用 | なし | はい |
| oss.hdfs.region | oss.region | OSSバケットが配置されているリージョンID、例：cn-beijing。 | なし | はい |
| oss.hdfs.fs.defaultFS | バージョン3.1でサポート。OSSのファイルシステムアクセスパスを指定、例：oss://my-bucket/。 | なし | いいえ | |
| oss.hdfs.hadoop.config.resources | バージョン3.1でサポート。OSSファイルシステム設定を含むパスを指定。相対パスが必要。デフォルトディレクトリは（FE/BE）デプロイメントディレクトリ下の/plugins/hadoop_conf/（fe.conf/be.confのhadoop_config_dirを変更することで変更可能）。すべてのFEおよびBEノードで同じ相対パスを設定する必要があります。例：hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xml。 | なし | いいえ | |
| fs.oss-hdfs.support | oss.hdfs.enabled | バージョン3.1でサポート。OSS-HDFS機能の有効化を明示的に宣言。trueに設定する必要があります | なし | いいえ |
バージョン3.1以前では、レガシー名を使用してください。
エンドポイント設定
oss.hdfs.endpoint：OSS-HDFSサービスエンドポイントを指定するために使用します。
エンドポイントは、Alibaba Cloud OSSにアクセスするためのエントリアドレスで、<region>.oss-dls.aliyuncs.comの形式、例：cn-hangzhou.oss-dls.aliyuncs.com。
エンドポイントがAlibaba Cloud OSSエンドポイント形式に準拠していることを確保するため、厳密な形式検証を実行します。
下位互換性のため、エンドポイント設定ではhttps://またはhttp://プレフィックスの含有が許可されています。システムは形式検証中にプロトコル部分を自動的に解析し、無視します。
レガシー名を使用する場合、システムはendpointにoss-dlsが含まれているかどうかに基づいて、OSS-HDFSサービスかどうかを判断します。
設定ファイル
バージョン3.1でサポート
OSS-HDFSは、oss.hdfs.hadoop.config.resourcesパラメータを通じてHDFS関連の設定ファイルディレクトリを指定することをサポートします。
設定ファイルディレクトリにはhdfs-site.xmlおよびcore-site.xmlファイルが含まれている必要があります。デフォルトディレクトリは（FE/BE）デプロイメントディレクトリ下の/plugins/hadoop_conf/です。すべてのFEおよびBEノードで同じ相対パスを設定する必要があります。
設定ファイルがこのドキュメントで前述されたパラメータを含む場合、ユーザーが明示的に設定したパラメータが優先されます。設定ファイルは複数のファイルを指定でき、カンマで区切って記述します。例：hadoop/conf/core-site.xml,hadoop/conf/hdfs-site.xml。
設定例
"fs.oss-hdfs.support" = "true",
"oss.hdfs.access_key" = "your-access-key",
"oss.hdfs.secret_key" = "your-secret-key",
"oss.hdfs.endpoint" = "cn-hangzhou.oss-dls.aliyuncs.com",
"oss.hdfs.region" = "cn-hangzhou"
バージョン3.1より前の場合:
"oss.hdfs.enabled" = "true",
"oss.access_key" = "your-access-key",
"oss.secret_key" = "your-secret-key",
"oss.endpoint" = "cn-hangzhou.oss-dls.aliyuncs.com",
"oss.region" = "cn-hangzhou"