Table型の概要
DorisでTableを作成する際、データの保存と管理方法を定義するためにTable Typeを指定する必要があります。DorisはDuplicate Key Table、Unique Key Table、Aggregate Key Tableの3つのTable Typeを提供しており、それぞれ異なるアプリケーションシナリオに対応しています。各タイプには、データの重複排除、集約、更新に対応するメカニズムがあります。適切なTable Typeを選択することで、ビジネス目標を達成しながら、データ処理の柔軟性と効率性を確保できます。
Table Type分類
Dorisは3つのTable Typeをサポートしています：
-
Duplicate Key Table：指定されたKeyカラムの重複を許可し、Dorisのストレージ層は書き込まれたすべてのデータを保持します。このタイプは、すべての元データレコードを保存する必要がある状況に適しています。
-
Unique Key Table：各行が一意のKey値を持つことを保証し、指定されたKeyカラムに対して重複行がないことを保証します。Dorisストレージ層は各キーに対して最新の書き込まれたデータのみを保持するため、このタイプはデータ更新を伴うシナリオに適しています。
-
Aggregate Key Table：Keyカラムに基づいてデータを集約することを可能にします。Dorisストレージ層は集約されたデータを保持し、ストレージ容量を削減してクエリパフォーマンスを向上させます。このタイプは通常、要約情報や集約情報（合計や平均など）が必要な状況で使用されます。
Table作成後、Table Typeのプロパティは確定され、変更することはできません。ビジネスに適したタイプを選択することは重要です：
-
Duplicate Key Tableは任意の次元でのアドホッククエリに適しています。事前集約の利点を活用することはできませんが、集約Tableの制約を受けず、カラムナストレージの利点（すべてのkeyカラムを読み込む必要なく、関連するカラムのみを読み込む）を活用できます。
-
Unique Key Tableは一意キー制約が必要なシナリオ向けに設計されており、キーの一意性を保証します。ただし、ROLLUPなどの事前集約によるクエリの利点を活用することはできません。
-
Aggregate Key Tableは事前集約により集約クエリに必要なデータと計算を大幅に削減でき、固定スキーマのレポートクエリに最適です。ただし、このタイプは
count(*)クエリには不親切です。また、Valueカラムの集約方法が固定されているため、他のタイプの集約クエリを実行する際は、セマンティックの正確性を考慮する必要があります。 -
部分カラム更新については、関連する使用方法についてUnique Key Tableの部分カラム更新とAggregate Key Tableの部分カラム更新のドキュメントを参照してください。
Sort Key
Dorisでは、データはカラムナ形式で保存され、TableはKeyカラムとValueカラムに分けることができます。Keyカラムはグループ化とソートに使用され、Valueカラムは集約に使用されます。Keyカラムは1つ以上のフィールドで構成でき、Table作成時にAggregate Key、Unique Key、Duplicate Key Tableのカラムに従ってデータがソートされて保存されます。
異なるTable Typeでは、Table作成時にKeyカラムの指定が必要で、それぞれ異なる意味を持ちます：Duplicate Key Tableでは、Keyカラムはソートを表し、一意性制約はありません。Aggregate KeyおよびUnique Key Tableでは、Keyカラムに基づいて集約が実行され、ソート機能だけでなく一意性制約も適用されます。
Sort Keyの適切な使用により、以下の利点が得られます：
-
クエリパフォーマンスの向上：ソートキーはスキャンする必要があるデータ量の削減に役立ちます。範囲クエリやフィルタリングクエリでは、ソートキーによりデータを直接特定できます。ソートが必要なクエリでも、ソートキーはソートプロセスを高速化できます。
-
データ圧縮の最適化：ソートキーに基づいてデータを順序良く保存することで圧縮効率が向上し、類似したデータがグループ化されることで、圧縮率が大幅に向上し、ストレージ容量が削減されます。
-
重複排除コストの削減：Unique Key Tableを使用する際、ソートキーによりDorisはより効率的に重複排除を実行でき、データの一意性を保証します。
ソートキーを選択する際は、以下の推奨事項に従うことができます：
-
Keyカラムは、すべてのValueカラムより前に配置する必要があります。
-
できるだけ整数型を選択してください。これは、整数型が文字列よりも計算や検索において非常に効率的だからです。
-
異なる長さの整数型を選択する際は、十分である原則に従ってください。
-
VARCHARおよびSTRING型の長さについては、十分である原則に従ってください...
Table Type比較
| Duplicate Key Table | Unique Key Table | Aggregate Key Table | |
|---|---|---|---|
| Keyカラム一意性 | サポートなし、Keyカラムの重複が可能 | サポート | サポート |
| 同期マテリアライズドビュー | サポート | サポート | サポート |
| 非同期マテリアライズドビュー | サポート | サポート | サポート |
| UPDATE文 | サポートなし | サポート | サポートなし |
| DELETE文 | 部分サポート | サポート | サポートなし |
| インポート時の全行更新 | サポートなし | サポート | サポートなし |
| インポート時の部分カラム更新 | サポートなし | サポート | 部分サポート |