Hive/IcebergでのTPC-H生成
DorisはTPCHテストセットをTPCH Connectorを使用して迅速に構築するために、Trino Connector互換フレームワークの使用をサポートしています。
Hive/Icebergテーブルのデータ書き戻し機能と組み合わせることで、Dorisを通じてDoris、Hive、IcebergテーブルのTPCHテストデータセットを迅速に構築できます。
このドキュメントでは、主にTPCH Connectorのデプロイ方法と使用方法を紹介し、テストデータセットを構築します。
この機能はDorisバージョン3.0.0以降でサポートされています。
TPCH Connectorのコンパイル
JDKバージョン17が必要です。
git clone https://github.com/trinodb/trino.git
git checkout 435
cd trino/plugin/trino-tpch
mvn clean install -DskipTests
コンパイル後、trino/plugin/trino-tpch/target/の下にtrino-tpch-435/ディレクトリが作成されます。
また、事前コンパイル済みのtrino-tpch-435.tar.gzを直接ダウンロードして展開することもできます。
TPCH Connectorのデプロイ
すべてのFEおよびBEデプロイメントパスのconnectors/ディレクトリにtrino-tpch-435/ディレクトリを配置してください。（存在しない場合は、手動で作成できます）。
├── bin
├── conf
├── connectors
│ ├── trino-tpch-435
...
デプロイ後、Connectorが正しくロードされることを確実にするため、FEおよびBEノードを再起動することを推奨します。
Create TPCH Catalog
CREATE CATALOG `tpch` PROPERTIES (
"type" = "trino-connector",
"trino.connector.name" = "tpch",
"trino.tpch.column-naming" = "STANDARD",
"trino.tpch.splits-per-node" = "32"
);
tpch.splits-per-nodeは同時実行数であり、最適な並行性を実現するためにBEマシンあたりのコア数の2倍に設定することを推奨します。これによりデータ生成効率が向上します。
"tpch.column-naming" = "STANDARD"の場合、TPCHテーブルの列名はl_orderkeyのようにテーブル名の略称で始まり、そうでない場合はorderkeyとなります。
TPCH Catalogの使用
TPCH Catalogには異なるScale FactorのTPCHデータセットが事前設定されており、SHOW DATABASESおよびSHOW TABLESコマンドを使用して確認できます。
mysql> SWITCH tpch;
Query OK, 0 rows affected (0.00 sec)
mysql> SHOW DATABASES;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| sf1 |
| sf100 |
| sf1000 |
| sf10000 |
| sf100000 |
| sf300 |
| sf3000 |
| sf30000 |
| tiny |
+--------------------+
mysql> USE sf1;
mysql> SHOW TABLES;
+---------------+
| Tables_in_sf1 |
+---------------+
| customer |
| lineitem |
| nation |
| orders |
| part |
| partsupp |
| region |
| supplier |
+---------------+
SELECT文を使用してこれらのテーブルを直接クエリできます。
これらの事前設定済みデータセットのデータは実際に保存されるのではなく、クエリ時にリアルタイムで生成されます。そのため、これらの事前設定済みデータセットは直接のBenchmarkテストには適していません。これらはINSERT INTO SELECTを通じて他のターゲットテーブル（Doris内部テーブル、Hive、Iceberg、およびDorisが書き込みをサポートするその他すべてのデータソース）にデータセットを書き込み、その後ターゲットテーブルでパフォーマンステストを実行するのに適しています。
TPCHテストデータセットの構築
以下の例では、CTAS文を使用してHive上でTPCHテストデータセットを迅速に構築します：
CREATE TABLE hive.tpch100.customer PROPERTIES("file_format" = "parquet") AS SELECT * FROM tpch.sf100.customer ;
CREATE TABLE hive.tpch100.lineitem PROPERTIES("file_format" = "parquet") AS SELECT * FROM tpch.sf100.lineitem ;
CREATE TABLE hive.tpch100.nation PROPERTIES("file_format" = "parquet") AS SELECT * FROM tpch.sf100.nation ;
CREATE TABLE hive.tpch100.orders PROPERTIES("file_format" = "parquet") AS SELECT * FROM tpch.sf100.orders ;
CREATE TABLE hive.tpch100.part PROPERTIES("file_format" = "parquet") AS SELECT * FROM tpch.sf100.part ;
CREATE TABLE hive.tpch100.partsupp PROPERTIES("file_format" = "parquet") AS SELECT * FROM tpch.sf100.partsupp ;
CREATE TABLE hive.tpch100.region PROPERTIES("file_format" = "parquet") AS SELECT * FROM tpch.sf100.region ;
CREATE TABLE hive.tpch100.supplier PROPERTIES("file_format" = "parquet") AS SELECT * FROM tpch.sf100.supplier ;
3台の16C BEノードを持つDorisクラスターでは、TPCH 1000 Hiveデータセットの作成には約25分かかり、TPCH 10000では約4～5時間かかります。