メインコンテンツまでスキップ
バージョン: 4.x

Delta Lake カタログ

概要​

Delta Lake Catalog は Trino Connector 互換性フレームワークを使用して、Trino Delta Lake Connector と連携し Delta Lake テーブルにアクセスします。

注記
  • これは実験的機能で、バージョン 3.0.1 以降でサポートされています。
  • この機能は Trino クラスター環境に依存せず、Trino 互換性プラグインのみを使用します。

使用例​

シナリオサポート状況
データ統合Delta Lake データを読み込み、Doris 内部テーブルに書き込み
データ書き戻しサポートしていません

バージョン互換性​

  • Doris バージョン: 3.0.1 以降
  • Trino Connector バージョン: 435
  • Delta Lake バージョン: サポートされるバージョンについては Trino Documentation を参照してください

クイックスタート​

ステップ 1: Connector プラグインの準備​

以下のいずれかの方法で Delta Lake Connector プラグインを取得できます：

方法 1: プリコンパイル済みパッケージを使用（推奨）

プリコンパイル済みの trino-delta-lake-435-20240724.tar.gz と hdfs.tar.gz をダウンロードして展開します。

方法 2: 手動コンパイル

カスタムコンパイルが必要な場合は、以下の手順に従ってください（JDK 17 が必要です）：

git clone https://github.com/apache/doris-thirdparty.git
cd doris-thirdparty
git checkout trino-435
cd plugin/trino-delta-lake
mvn clean install -DskipTests
cd ../../lib/trino-hdfs
mvn clean install -DskipTests

コンパイル後、trino/plugin/trino-delta-lake/target/の下にtrino-delta-lake-435ディレクトリが、trino/lib/trino-hdfs/target/の下にhdfsディレクトリが生成されます。

Step 2: プラグインのデプロイ​

  1. すべてのFEおよびBEデプロイメントパスのconnectors/ディレクトリの下にtrino-delta-lake-435/ディレクトリを配置します（存在しない場合は手動でディレクトリを作成してください）：

    ├── bin
    ├── conf
    ├── plugins
    │   ├── connectors
    │       ├── trino-delta-lake-435
    │           ├── hdfs
    ...

fe.conf内のtrino_connector_plugin_dir設定を変更することで、プラグインパスをカスタマイズすることもできます。例：trino_connector_plugin_dir=/path/to/connectors/

  1. コネクタが正しく読み込まれるよう、すべてのFEおよびBEノードを再起動してください。

ステップ3：カタログの作成​

基本設定

CREATE CATALOG delta_lake_catalog PROPERTIES (
    'type' = 'trino-connector',
    'trino.connector.name' = 'delta_lake',
    'trino.hive.metastore' = 'thrift',
    'trino.hive.metastore.uri' = 'thrift://ip:port',
    'trino.hive.config.resources' = '/path/to/core-site.xml,/path/to/hdfs-site.xml'
);

設定項目の説明

  • trino.hive.metastore: メタデータサービスタイプ、thrift（Hive Metastore）等をサポート
  • trino.hive.metastore.uri: Hive Metastoreサービスアドレス
  • trino.hive.config.resources: Hadoop設定ファイルパス、複数ファイルはカンマ区切り

その他の設定オプションについては、以下の「設定項目の説明」セクションまたはTrino Official Documentationを参照してください。

ステップ4: データのクエリ​

Catalogを作成した後、以下の3つの方法のいずれかを使用してDelta Lakeテーブルデータをクエリできます：

-- Method 1: Switch to Catalog then query
SWITCH delta_lake_catalog;
USE delta_lake_db;
SELECT * FROM delta_lake_tbl LIMIT 10;

-- Method 2: Use two-level path
USE delta_lake_catalog.delta_lake_db;
SELECT * FROM delta_lake_tbl LIMIT 10;

-- Method 3: Use fully qualified name
SELECT * FROM delta_lake_catalog.delta_lake_db.delta_lake_tbl LIMIT 10;

設定の説明​

カタログ設定パラメータ​

Delta Lake Catalogを作成するための基本的な構文は以下の通りです：

CREATE CATALOG [IF NOT EXISTS] catalog_name PROPERTIES (
    'type' = 'trino-connector',            -- Required, fixed value
    'trino.connector.name' = 'delta_lake', -- Required, fixed value
    {TrinoProperties},                     -- Trino Connector related properties
    {CommonProperties}                     -- Common properties
);

TrinoProperties パラメータ​

TrinoPropertiesはTrino Delta Lake Connector固有のプロパティを設定するために使用され、これらのプロパティにはtrino.のプレフィックスが付きます。一般的なパラメータは以下の通りです：

パラメータ名必須デフォルト値説明
trino.hive.metastoreはい-thriftなどのメタデータサービスタイプ
trino.hive.metastore.uriはい-Hive Metastoreサービスアドレス
trino.hive.config.resourcesいいえ-Hadoop設定ファイルパス、複数ファイルはカンマで区切る
trino.delta.hide-non-delta-tablesいいえfalse非Delta Lakeテーブルを非表示にするかどうか

Delta Lake Connectorの設定パラメータの詳細については、Trino Official Documentationを参照してください。

CommonProperties パラメータ​

CommonPropertiesは、メタデータ更新ポリシーや権限制御など、Catalogの共通プロパティを設定するために使用されます。詳細については、Catalog Overviewの「Common Properties」セクションを参照してください。

データタイプマッピング​

Delta Lake Catalogを使用する場合、データタイプは以下の規則に従ってマッピングされます：

Delta Lake TypeTrino TypeDoris Type備考
booleanbooleanboolean
intintint
bytetinyinttinyint
shortsmallintsmallint
longbigintbigint
floatrealfloat
doubledoubledouble
decimal(P, S)decimal(P, S)decimal(P, S)
stringvarcharstring
binaryvarbinarystring
datedatedate
timestamp_ntztimestamp(N)datetime(N)
timestamptimestamp with time zone(N)datetime(N)
arrayarrayarray
mapmapmap
structrowstruct