Dynamic Partitioning（非推奨）
Dynamic partitioningは、事前定義されたルールに従って、ローリング方式でパーティションを追加・削除し、Tableパーティションのライフサイクル（TTL）を管理し、データストレージの負荷を軽減します。ログ管理や時系列データ管理などのシナリオでは、dynamic partitioningを使用して期限切れのデータをロール削除することが一般的です。
以下の図は、dynamic partitioningを使用したライフサイクル管理を示しており、次のルールが指定されています：
- Dynamic partitionスケジューリング単位
dynamic_partition.time_unitはDAYに設定され、日単位でパーティションを整理します； - Dynamic partition開始オフセット
dynamic_partition.startは-1に設定され、1日前のパーティションを保持します； - Dynamic partition終了オフセット
dynamic_partition.endは2に設定され、今後2日間のパーティションを保持します。
上記のルールに従って、時間が経過するにつれて、常に合計4つのパーティションが保持されます：過去の日のパーティション、現在の日のパーティション、および今後2日間のパーティションです。
使用制限
Dynamic partitioningを使用する場合、以下のルールに従う必要があります：
- Cross-Cluster Replication（CCR）と同時に使用すると、dynamic partitioningは失敗します。
- Dynamic partitioningは、DATE/DATETIME列のRangeタイプのパーティションのみをサポートします。
- Dynamic partitioningは、単一のパーティションキーのみをサポートします。
Dynamic Partitionの作成
Table作成時に、dynamic_partitionプロパティを指定することで、dynamic partitionedTableを作成できます。
CREATE TABLE test_dynamic_partition(
order_id BIGINT,
create_dt DATE,
username VARCHAR(20)
)
DUPLICATE KEY(order_id)
PARTITION BY RANGE(create_dt) ()
DISTRIBUTED BY HASH(order_id) BUCKETS 10
PROPERTIES(
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-1",
"dynamic_partition.end" = "2",
"dynamic_partition.prefix" = "p",
"dynamic_partition.create_history_partition" = "true"
);
上記の例では、以下の仕様で動的パーティションTableが作成されました。
詳細なdynamic_partitionパラメータについては、Dynamic パーティション Parameter デスクリプションを参照してください。
動的パーティションの管理
動的パーティションプロパティの変更
Tip:
ALTER TABLE文を使用して動的パーティショニングを変更する場合、変更は即座に有効になりません。動的パーティションはdynamic_partition_check_interval_secondsパラメータで指定された間隔でポーリングされ、チェックされ、必要なパーティションの作成と削除操作が完了されます。
以下の例では、ALTER TABLE文を使用して非動的パーティションTableを動的パーティションTableに変更しています：
CREATE TABLE test_dynamic_partition(
order_id BIGINT,
create_dt DATE,
username VARCHAR(20)
)
DUPLICATE KEY(order_id)
DISTRIBUTED BY HASH(order_id) BUCKETS 10;
ALTER TABLE test_partition SET (
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-1",
"dynamic_partition.end" = "2",
"dynamic_partition.prefix" = "p",
"dynamic_partition.create_history_partition" = "true"
);
動的パーティション スケジューリング状況の確認
SHOW-DYNAMIC-PARTITION を使用して、現在のデータベース内のすべての動的パーティションTableのスケジューリング状況を確認できます：
SHOW DYNAMIC PARTITION TABLES;
+-----------+--------+----------+-------------+------+--------+---------+-----------+----------------+---------------------+--------+------------------------+----------------------+-------------------------+
| TableName | Enable | TimeUnit | Start | End | Prefix | Buckets | StartOf | LastUpdateTime | LastSchedulerTime | State | LastCreatePartitionMsg | LastDropPartitionMsg | ReservedHistoryPeriods |
+-----------+--------+----------+-------------+------+--------+---------+-----------+----------------+---------------------+--------+------------------------+----------------------+-------------------------+
| d3 | true | WEEK | -3 | 3 | p | 1 | MONDAY | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | [2021-12-01,2021-12-31] |
| d5 | true | DAY | -7 | 3 | p | 32 | N/A | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | NULL |
| d4 | true | WEEK | -3 | 3 | p | 1 | WEDNESDAY | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | NULL |
| d6 | true | MONTH | -2147483648 | 2 | p | 8 | 3rd | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | NULL |
| d2 | true | DAY | -3 | 3 | p | 32 | N/A | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | NULL |
| d7 | true | MONTH | -2147483648 | 5 | p | 8 | 24th | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | NULL |
+-----------+--------+----------+-------------+------+--------+---------+-----------+----------------+---------------------+--------+------------------------+----------------------+-------------------------+
7 rows in set (0.02 sec)
履歴パーティション管理
startおよびend属性を使用して動的パーティション数を指定する場合、長い待機時間を避けるため、履歴パーティションは一度にすべて作成されません。現在時刻以降のパーティションのみが作成されます。すべてのパーティションを一度に作成する必要がある場合は、create_history_partitionパラメータを有効にする必要があります。
例えば、現在の日付が2024-10-11で、start = -2およびend = 2を設定した場合：
create_history_partition = trueが指定された場合、すべてのパーティションが即座に作成され、5つのパーティション [10-09, 10-13] が作成されます。create_history_partition = falseが指定された場合、10-11以降のパーティションのみが作成され、3つのパーティション [10-11, 10-13] が作成されます。
動的パーティションパラメータの説明
動的パーティションプロパティパラメータ
動的パーティションルールのパラメータはdynamic_partitionで始まり、以下のルールパラメータで設定できます：
| パラメータ | 必須 | 説明 |
|---|---|---|
dynamic_partition.enable | いいえ | 動的パーティション機能を有効にするかどうか。TRUEまたはFALSEに設定できます。他の必須動的パーティションパラメータが指定されている場合、デフォルトはTRUEです。 |
dynamic_partition.time_unit | はい | 動的パーティションスケジューリングの単位。HOUR、DAY、WEEK、MONTH、またはYEARに設定でき、それぞれ時間、日、週、月、または年単位でのパーティション作成または削除を示します。 |
dynamic_partition.start | いいえ | 動的パーティションの開始オフセット。負の数です。デフォルト値は-2147483648で、履歴パーティションは削除されないことを意味します。time_unit属性に応じて、現在の日（週/月）を基準としたこのオフセット以前のパーティションが削除されます。このオフセット以降で現在時刻までの履歴パーティションが作成されるかどうかはdynamic_partition.create_history_partitionに依存します。 |
dynamic_partition.end | はい | 動的パーティションの終了オフセット。正の数です。time_unit属性に応じて、現在の日（週/月）より前の指定範囲内のパーティションが事前に作成されます。 |
dynamic_partition.prefix | はい | 動的に作成されるパーティション名のプレフィックス。 |
dynamic_partition.buckets | いいえ | 動的に作成されるパーティションに対応するバケット数。このパラメータを設定すると、DISTRIBUTEDで指定されたバケット数が上書きされます。 |
dynamic_partition.replication_num | いいえ | 動的に作成されるパーティションに対応するレプリカ数。指定されていない場合、Table作成時に指定されたレプリカ数がデフォルトになります。 |
dynamic_partition.create_history_partition | いいえ | デフォルトはfalseです。trueに設定すると、Dorisは以下のルールに従ってすべてのパーティションを自動的に作成します。また、FEパラメータmax_dynamic_partition_numは、一度に作成されるパーティション数が多すぎないよう、パーティションの総数を制限します。作成されるパーティション数がmax_dynamic_partition_num値を超える場合、操作は禁止されます。このパラメータはstart属性が指定されていない場合は効果がありません。 |
dynamic_partition.history_partition_num | いいえ | create_history_partitionがtrueに設定されている場合、このパラメータは作成する履歴パーティション数を指定します。デフォルト値は-1で、設定されていないことを意味します。この変数はdynamic_partition.startと同じ機能を持ち、同時にいずれか一方のみを設定することが推奨されます。 |
dynamic_partition.start_day_of_week | いいえ | time_unitがWEEKに設定されている場合、このパラメータは週の開始日を指定します。値の範囲は1から7で、1は月曜日、7は日曜日を表します。デフォルトは1で、週が月曜日に始まることを意味します。 |
dynamic_partition.start_day_of_month | いいえ | time_unitがMONTHに設定されている場合、このパラメータは月の開始日を指定します。値の範囲は1から28で、1は月の初日、28は28日を表します。デフォルトは1で、月が初日に始まることを意味します。29日、30日、または31日に開始することは、うるう年やうるう月による曖昧さを避けるためサポートされていません。 |
dynamic_partition.reserved_history_periods | いいえ | 保持する必要がある履歴パーティションの時間範囲。dynamic_partition.time_unitが「DAY/WEEK/MONTH/YEAR」に設定されている場合、[yyyy-MM-dd,yyyy-MM-dd],[...,...]の形式で設定する必要があります。dynamic_partition.time_unitが「HOUR」に設定されている場合、[yyyy-MM-dd HH:mm:ss,yyyy-MM-dd HH:mm:ss],[...,...]の形式で設定する必要があります。設定されていない場合、デフォルトは"NULL"です。 |
dynamic_partition.time_zone | いいえ | 動的パーティション用のタイムゾーン。デフォルトはサーバーのシステムタイムゾーンで、Asia/Shanghaiなどです。その他のタイムゾーン設定については、Time Zone Managementを参照してください。 |
FE設定パラメータ
FEの動的パーティションパラメータ設定は、FE設定ファイルまたはADMIN SET FRONTEND CONFIGコマンドで変更できます：
| パラメータ | デフォルト値 | 説明 |
|---|---|---|
dynamic_partition_enable | false | Dorisの動的パーティション機能を有効にするかどうか。このパラメータは動的パーティションTableのパーティション操作にのみ影響し、通常のTableには影響しません。 |
dynamic_partition_check_interval_seconds | 600 | 動的パーティションスレッドの実行頻度（秒単位）。 |
max_dynamic_partition_num | 500 | 動的パーティションTable作成時に作成可能なパーティションの最大数を制限し、一度に多すぎるパーティションが作成されることを防ぎます。 |
動的パーティションのベストプラクティス
例1：日単位でパーティションを作成し、過去7日間と当日のパーティションを保持し、今後3日間のパーティションを事前作成する。
CREATE TABLE tbl1 (
order_id BIGINT,
create_dt DATE,
username VARCHAR(20)
)
PARTITION BY RANGE(create_dt) ()
DISTRIBUTED BY HASH(create_dt)
PROPERTIES (
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-7",
"dynamic_partition.end" = "3",
"dynamic_partition.prefix" = "p",
"dynamic_partition.buckets" = "32"
);
例2：月ごとに分割し、履歴パーティションは削除せず、次の2か月分のパーティションを事前作成します。さらに、開始日を各月の3日に設定します。
CREATE TABLE tbl1 (
order_id BIGINT,
create_dt DATE,
username VARCHAR(20)
)
PARTITION BY RANGE(create_dt) ()
DISTRIBUTED BY HASH(create_dt)
PROPERTIES (
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "MONTH",
"dynamic_partition.end" = "2",
"dynamic_partition.prefix" = "p",
"dynamic_partition.buckets" = "8",
"dynamic_partition.start_day_of_month" = "3"
);
例3: 日単位でパーティション分割し、過去10日間と次の10日間のパーティションを保持し、[2020-06-01, 2020-06-20]と[2020-10-31, 2020-11-15]の期間の履歴データを保持する。
CREATE TABLE tbl1 (
order_id BIGINT,
create_dt DATE,
username VARCHAR(20)
)
PARTITION BY RANGE(create_dt) ()
DISTRIBUTED BY HASH(create_dt)
PROPERTIES (
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-10",
"dynamic_partition.end" = "10",
"dynamic_partition.prefix" = "p",
"dynamic_partition.buckets" = "8",
"dynamic_partition.reserved_history_periods"="[2020-06-01,2020-06-20],[2020-10-31,2020-11-15]"
);