メインコンテンツまでスキップ
バージョン: 26.x

Aliyun DLF

このドキュメントでは、CREATE CATALOG文を使用してAlibaba Cloud Data Lake Formation (DLF) メタデータサービスに接続してアクセスする方法について説明します。

DLFバージョンに関する注意事項​

  • DLF 1.0バージョンの場合、DorisはDLFのHive Metastore互換インターフェースを通じてDLFにアクセスします。Paimon CatalogとHive Catalogをサポートします。
  • DLFバージョン2.5以降の場合、DorisはDLFのRestインターフェースを通じてDLFにアクセスします。Paimon Catalogのみサポートします。

DLF 1.0​

パラメータ名旧名称説明デフォルト値必須
dlf.endpoint-DLFエンドポイント、参照: Alibaba Cloud Documentationなしはい
dlf.region-DLFリージョン、参照: Alibaba Cloud Documentationなしはい
dlf.uid-Alibaba CloudアカウントID。コンソール右上の個人情報で確認できます。なしはい
dlf.access_key-DLFサービスにアクセスするためのAlibaba Cloud AccessKey。なしはい
dlf.secret_key-DLFサービスにアクセスするためのAlibaba Cloud SecretKey。なしはい
dlf.catalog_iddlf.catalog.idカタログ ID。メタデータカタログを指定するために使用されます。設定されていない場合、デフォルトカタログが使用されます。なしいいえ
warehouse-Warehouseのストレージパス、Paimon Catalogでのみ必須。オブジェクトストレージパスは/で終わる必要があることに注意してください。なしいいえ

注意:

バージョン3.1.0より前では、旧名称を使用してください。

DLF 2.5+ (Rest カタログ)​

バージョン3.1.0以降でサポート

パラメータ名旧名称説明デフォルト値必須
uri-DLF REST URI。例: http://cn-beijing-vpc.dlf.aliyuncs.comなしはい
warehouse-Warehouse名。注意: 接続するCatalogの名前を直接入力し、PaimonTableストレージパスではありませんなしはい
paimon.rest.token.provider-トークンプロバイダー、固定値dlfなしはい
paimon.rest.dlf.access-key-id-DLFサービスにアクセスするためのAlibaba Cloud AccessKey。なしはい
paimon.rest.dlf.access-key-secret-DLFサービスにアクセスするためのAlibaba Cloud SecretKey。なしはい

DLF Rest Catalogでは、ストレージサービス（OSS）のEndpointとRegion情報を提供する必要はありません。DorisはDLF Rest CatalogのVended Credentialを使用して、OSSにアクセスするための一時認証情報を取得します。

例​

DLF 1.0​

DLFをメタデータサービスとするHive Catalogを作成する:

CREATE CATALOG hive_dlf_catalog WITH (
  'type' = 'hms',
  'hive.metastore.type' = 'dlf',
  'dlf.endpoint' = '<DLF_ENDPOINT>',
  'dlf.region' = '<DLF_REGION>',
  'dlf.uid' = '<YOUR_ALICLOUD_UID>',
  'dlf.access_key' = '<YOUR_ACCESS_KEY>',
  'dlf.secret_key' = '<YOUR_SECRET_KEY>'
);

DLFをメタデータサービスとしてPaimon Catalogを作成する：

CREATE CATALOG paimon_dlf PROPERTIES (
    'type' = 'paimon',
    'paimon.catalog.type' = 'dlf',
    'warehouse' = 'oss://xx/yy/',
    'dlf.proxy.mode' = 'DLF_ONLY',
    'dlf.endpoint' = '<DLF_ENDPOINT>',
    'dlf.region' = '<DLF_REGION>',
    'dlf.uid' = '<YOUR_ALICLOUD_UID>',
    'dlf.access_key' = '<YOUR_ACCESS_KEY>',
    'dlf.secret_key' = '<YOUR_SECRET_KEY>'
);

DLF 2.5+ (Rest カタログ)​

CREATE CATALOG paimon_dlf_test PROPERTIES (
    'type' = 'paimon',
    'paimon.catalog.type' = 'rest',
    'uri' = 'http://cn-beijing-vpc.dlf.aliyuncs.com',
    'warehouse' = 'my_catalog_name',
    'paimon.rest.token.provider' = 'dlf',
    'paimon.rest.dlf.access-key-id' = '<YOUR_ACCESS_KEY>',
    'paimon.rest.dlf.access-key-secret' = '<YOUR_SECRET_KEY>'
);