動的パーティショニング
動的パーティショニングは、事前定義されたルールに従ってローリング方式でパーティションを追加・削除し、テーブルパーティションのライフサイクル（TTL）を管理し、データストレージの負荷を軽減します。ログ管理や時系列データ管理などのシナリオでは、通常、動的パーティショニングを使用して期限切れデータをローリング削除できます。
以下の図は、動的パーティショニングを使用したライフサイクル管理を示しており、次のルールが指定されています：
- 動的パーティションスケジューリング単位
dynamic_partition.time_unitがDAYに設定され、パーティションを日単位で整理 - 動的パーティション開始オフセット
dynamic_partition.startが-1に設定され、1日前のパーティションを保持 - 動的パーティション終了オフセット
dynamic_partition.endが2に設定され、今後2日間のパーティションを保持
上記のルールに従って、時間の経過とともに、常に合計4つのパーティションが保持されます：過去1日のパーティション、当日のパーティション、および今後2日間のパーティションです。
使用制限
動的パーティショニングを使用する際は、以下のルールに従う必要があります：
- Cross-Cluster Replication（CCR）と同時に使用すると、動的パーティショニングは失敗します。
- 動的パーティショニングは、DATE/DATETIME列でのRangeタイプパーティションのみをサポートします。
- 動的パーティショニングは、単一のパーティションキーのみをサポートします。
動的パーティションの作成
テーブル作成時に、dynamic_partition プロパティを指定することで動的パーティションテーブルを作成できます。
CREATE TABLE test_dynamic_partition(
order_id BIGINT,
create_dt DATE,
username VARCHAR(20)
)
DUPLICATE KEY(order_id)
PARTITION BY RANGE(create_dt) ()
DISTRIBUTED BY HASH(order_id) BUCKETS 10
PROPERTIES(
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-1",
"dynamic_partition.end" = "2",
"dynamic_partition.prefix" = "p",
"dynamic_partition.create_history_partition" = "true"
);
上記の例では、以下の仕様で動的パーティションテーブルが作成されました。
詳細なdynamic_partitionパラメータについては、Dynamic Partition Parameter Descriptionを参照してください。
動的パーティションの管理
動的パーティションプロパティの変更
Tip:
ALTER TABLE文を使用して動的パーティショニングを変更する場合、変更は即座に有効になりません。動的パーティションはdynamic_partition_check_interval_secondsパラメータで指定された間隔でポーリングおよびチェックされ、必要なパーティションの作成および削除操作が完了します。
以下の例では、ALTER TABLE文を使用して非動的パーティションテーブルを動的パーティションテーブルに変更します：
CREATE TABLE test_dynamic_partition(
order_id BIGINT,
create_dt DATE,
username VARCHAR(20)
)
DUPLICATE KEY(order_id)
DISTRIBUTED BY HASH(order_id) BUCKETS 10;
ALTER TABLE test_partition SET (
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-1",
"dynamic_partition.end" = "2",
"dynamic_partition.prefix" = "p",
"dynamic_partition.create_history_partition" = "true"
);
動的パーティションのスケジューリング状況の確認
SHOW-DYNAMIC-PARTITION を使用して、現在のデータベース内のすべての動的パーティションテーブルのスケジューリング状況を確認できます：
SHOW DYNAMIC PARTITION TABLES;
+-----------+--------+----------+-------------+------+--------+---------+-----------+----------------+---------------------+--------+------------------------+----------------------+-------------------------+
| TableName | Enable | TimeUnit | Start | End | Prefix | Buckets | StartOf | LastUpdateTime | LastSchedulerTime | State | LastCreatePartitionMsg | LastDropPartitionMsg | ReservedHistoryPeriods |
+-----------+--------+----------+-------------+------+--------+---------+-----------+----------------+---------------------+--------+------------------------+----------------------+-------------------------+
| d3 | true | WEEK | -3 | 3 | p | 1 | MONDAY | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | [2021-12-01,2021-12-31] |
| d5 | true | DAY | -7 | 3 | p | 32 | N/A | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | NULL |
| d4 | true | WEEK | -3 | 3 | p | 1 | WEDNESDAY | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | NULL |
| d6 | true | MONTH | -2147483648 | 2 | p | 8 | 3rd | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | NULL |
| d2 | true | DAY | -3 | 3 | p | 32 | N/A | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | NULL |
| d7 | true | MONTH | -2147483648 | 5 | p | 8 | 24th | N/A | 2020-05-25 14:29:24 | NORMAL | N/A | N/A | NULL |
+-----------+--------+----------+-------------+------+--------+---------+-----------+----------------+---------------------+--------+------------------------+----------------------+-------------------------+
7 rows in set (0.02 sec)
ヒストリカルパーティション管理
startおよびend属性を使用してダイナミックパーティションの数を指定する場合、長い待機時間を避けるため、ヒストリカルパーティションは一度に全て作成されません。現在時刻以降のパーティションのみが作成されます。全てのパーティションを一度に作成する必要がある場合は、create_history_partitionパラメータを有効にする必要があります。
例えば、現在の日付が2024-10-11で、start = -2およびend = 2を設定した場合：
create_history_partition = trueが指定されている場合、全てのパーティションが即座に作成され、5つのパーティション[10-09, 10-13]が生成されます。create_history_partition = falseが指定されている場合、10-11以降のパーティションのみが作成され、3つのパーティション[10-11, 10-13]が生成されます。
ダイナミックパーティションパラメータ説明
ダイナミックパーティションプロパティパラメータ
ダイナミックパーティションルールパラメータはdynamic_partitionでプレフィックスされ、以下のルールパラメータで設定できます：
| パラメータ | 必須 | 説明 |
|---|---|---|
dynamic_partition.enable | いいえ | ダイナミックパーティション機能を有効にするかどうか。TRUEまたはFALSEに設定できます。他の必須ダイナミックパーティションパラメータが指定されている場合、デフォルトでTRUEになります。 |
dynamic_partition.time_unit | はい | ダイナミックパーティションスケジューリングの単位。HOUR、DAY、WEEK、MONTH、またはYEARに設定でき、それぞれ時間、日、週、月、または年単位でのパーティション作成または削除を示します。 |
dynamic_partition.start | いいえ | ダイナミックパーティションの開始オフセット。負の数です。デフォルト値は-2147483648で、ヒストリカルパーティションが削除されないことを意味します。time_unit属性に応じて、現在の日（週/月）からこのオフセット以前のパーティションが削除されます。このオフセット以降から現在時刻までのヒストリカルパーティションが作成されるかどうかは、dynamic_partition.create_history_partitionに依存します。 |
dynamic_partition.end | はい | ダイナミックパーティションの終了オフセット。正の数です。time_unit属性に応じて、現在の日（週/月）から指定された範囲内のパーティションが事前に作成されます。 |
dynamic_partition.prefix | はい | 動的に作成されるパーティション名のプレフィックス。 |
dynamic_partition.buckets | いいえ | 動的に作成されるパーティションに対応するバケット数。このパラメータを設定すると、DISTRIBUTEDで指定されたバケット数が上書きされます。 |
dynamic_partition.replication_num | いいえ | 動的に作成されるパーティションに対応するレプリカ数。指定されていない場合、テーブル作成時に指定されたレプリカ数がデフォルトになります。 |
dynamic_partition.create_history_partition | いいえ | デフォルトはfalse。trueに設定すると、Dorisは以下のルールに従って全てのパーティションを自動的に作成します。また、FEパラメータmax_dynamic_partition_numは、一度に多くのパーティションを作成しないよう、パーティションの総数を制限します。作成されるパーティション数がmax_dynamic_partition_num値を超える場合、操作は禁止されます。このパラメータはstart属性が指定されていない場合は効果がありません。 |
dynamic_partition.history_partition_num | いいえ | create_history_partitionがtrueに設定されている場合、このパラメータは作成するヒストリカルパーティション数を指定します。デフォルト値は-1で、設定されていないことを意味します。この変数はdynamic_partition.startと同じ機能を持ち、同時に設定するのは片方のみを推奨します。 |
dynamic_partition.start_day_of_week | いいえ | time_unitがWEEKに設定されている場合、このパラメータは週の開始日を指定します。値の範囲は1から7で、1は月曜日、7は日曜日を表します。デフォルトは1で、週が月曜日に始まることを意味します。 |
dynamic_partition.start_day_of_month | いいえ | time_unitがMONTHに設定されている場合、このパラメータは月の開始日を指定します。値の範囲は1から28で、1は月の1日目、28は28日目を表します。デフォルトは1で、月が1日目に始まることを意味します。29日、30日、または31日からの開始は、うるう年やうるう月による曖昧さを避けるためサポートされていません。 |
dynamic_partition.reserved_history_periods | いいえ | 保持する必要があるヒストリカルパーティションの時間範囲。dynamic_partition.time_unitが「DAY/WEEK/MONTH/YEAR」に設定されている場合、[yyyy-MM-dd,yyyy-MM-dd],[...,...]の形式で設定する必要があります。dynamic_partition.time_unitが「HOUR」に設定されている場合、[yyyy-MM-dd HH:mm:ss,yyyy-MM-dd HH:mm:ss],[...,...]の形式で設定する必要があります。設定されていない場合、デフォルトで"NULL"になります。 |
dynamic_partition.time_zone | いいえ | ダイナミックパーティショニングのタイムゾーン。サーバーのシステムタイムゾーン（Asia/Shanghaiなど）がデフォルトです。その他のタイムゾーン設定については、Time Zone Managementを参照してください。 |
FE設定パラメータ
FEのダイナミックパーティションパラメータ設定は、FE設定ファイルまたはADMIN SET FRONTEND CONFIGコマンドで変更できます：
| パラメータ | デフォルト値 | 説明 |
|---|---|---|
dynamic_partition_enable | false | Dorisのダイナミックパーティション機能を有効にするかどうか。このパラメータはダイナミックパーティションテーブルのパーティション操作にのみ影響し、通常のテーブルには影響しません。 |
dynamic_partition_check_interval_seconds | 600 | ダイナミックパーティションスレッドの実行頻度（秒単位）。 |
max_dynamic_partition_num | 500 | ダイナミックパーティションテーブル作成時に作成可能なパーティションの最大数を制限し、一度に多くのパーティションを作成しないようにします。 |
ダイナミックパーティションベストプラクティス
例1：日単位でパーティション化し、過去7日間と当日のパーティションを保持し、次の3日間のパーティションを事前作成する。
CREATE TABLE tbl1 (
order_id BIGINT,
create_dt DATE,
username VARCHAR(20)
)
PARTITION BY RANGE(create_dt) ()
DISTRIBUTED BY HASH(create_dt)
PROPERTIES (
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-7",
"dynamic_partition.end" = "3",
"dynamic_partition.prefix" = "p",
"dynamic_partition.buckets" = "32"
);
例2: 月ごとにパーティション化し、履歴パーティションは削除せず、次の2か月分のパーティションを事前作成します。さらに、開始日を毎月3日に設定します。
CREATE TABLE tbl1 (
order_id BIGINT,
create_dt DATE,
username VARCHAR(20)
)
PARTITION BY RANGE(create_dt) ()
DISTRIBUTED BY HASH(create_dt)
PROPERTIES (
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "MONTH",
"dynamic_partition.end" = "2",
"dynamic_partition.prefix" = "p",
"dynamic_partition.buckets" = "8",
"dynamic_partition.start_day_of_month" = "3"
);
例3：日単位でパーティション分割し、過去10日間と次の10日間のパーティションを保持し、[2020-06-01, 2020-06-20]と[2020-10-31, 2020-11-15]の期間の履歴データを保持する。
CREATE TABLE tbl1 (
order_id BIGINT,
create_dt DATE,
username VARCHAR(20)
)
PARTITION BY RANGE(create_dt) ()
DISTRIBUTED BY HASH(create_dt)
PROPERTIES (
"dynamic_partition.enable" = "true",
"dynamic_partition.time_unit" = "DAY",
"dynamic_partition.start" = "-10",
"dynamic_partition.end" = "10",
"dynamic_partition.prefix" = "p",
"dynamic_partition.buckets" = "8",
"dynamic_partition.reserved_history_periods"="[2020-06-01,2020-06-20],[2020-10-31,2020-11-15]"
);