メインコンテンツまでスキップ

サンプルデータカタログ

概要​

Catalog説明適用可能なシナリオ
TPCDSTPC-DSベンチマークデータ、小売の意思決定支援シナリオをシミュレートし、24のテーブルを含む。複雑な分析クエリ、データウェアハウスの性能テスト。
TPCHTPC-Hベンチマークデータ、ビジネス意思決定シナリオをシミュレートし、8のテーブルを含む。OLAPクエリの性能テスト、入門的学習。

これらのCatalogは動的データ生成をサポートしています。生成されたデータをVeloDBの内部テーブル、Icebergテーブル、またはHiveテーブルに書き込んでテストできます。

Catalogの作成​

ステップ1: 作成ページに入る​

  1. VeloDB Cloudコンソールにサインインします。
  2. 左側のナビゲーションバーで、Catalogsをクリックします。
  3. Add External Catalogボタンをクリックします。
  4. Sample Dataカテゴリの下で、TPCDSまたはTPCHを選択します。

ステップ2: Catalogの設定​

TPCDS設定​

sample-1

フィールド必須説明
Catalog Name✓Catalogの一意の名前。
Commentオプションの説明情報。
Splits Countノードあたりの並行数。デフォルトは32。

TPCH設定​

sample-2

フィールド必須説明
Catalog Name✓Catalogの一意の名前。
Commentオプションの説明情報。
Splits Per Nodeノードあたりの並行数。デフォルトは32。

ステップ3: 作成の確認​

Confirmボタンをクリックして作成を完了します。

Catalogの使用​

利用可能なデータの表示​

-- View databases (datasets of different scales)
SHOW DATABASES FROM tpcds_catalog;
-- Result example: sf1, sf10, sf100, sf1000 ...

-- View tables
SHOW TABLES FROM tpcds_catalog.sf1;

データベース名のsfはScale Factorの略です：

  • sf1: 約1GBのデータ
  • sf10: 約10GBのデータ
  • sf100: 約100GBのデータ
  • sf1000: 約1TBのデータ

Query Sample Data​

-- Query TPCH data
SELECT * FROM tpch_catalog.sf1.customer LIMIT 10;

-- Query TPCDS data
SELECT * FROM tpcds_catalog.sf1.store_sales LIMIT 10;

VeloDBテーブルへのデータ書き込み​

-- Create VeloDB table and import TPCH data
CREATE TABLE my_db.customer AS
SELECT * FROM tpch_catalog.sf1.customer;

-- Or use INSERT INTO
INSERT INTO my_db.lineitem
SELECT * FROM tpch_catalog.sf10.lineitem;

TPCHテーブル構造​

テーブル名説明
customer顧客情報
lineitem注文詳細
nation国
orders注文
part部品
partsupp部品サプライヤー
region地域
supplierサプライヤー

TPCDSテーブル構造​

TPCDSは24のテーブルを含み、小売シナリオをシミュレートします：

カテゴリテーブル名
ファクトテーブルstore_sales, store_returns, catalog_sales, catalog_returns, web_sales, web_returns, inventory
ディメンションテーブルcustomer, customer_address, customer_demographics, date_dim, time_dim, item, store, catalog_page, web_page, web_site, warehouse, promotion, household_demographics, income_band, ship_mode, reason, call_center