削除の概要
Apache Dorisにおいて、削除操作は大規模データ分析シナリオにおけるユーザーの柔軟なニーズを満たすために、データの管理とクリーンアップに不可欠です。
DorisはDELETEステートメント、delete sign、パーティション削除、全Table削除、一時パーティションを使用したatomic overwriteなど、さまざまな削除機能を提供しています。以下のセクションでは、各機能を詳細に説明します：
DELETEステートメント
DELETEステートメントはデータ削除において最も一般的に使用される方法であり、すべてのTableモデルをサポートしています。ユーザーは特定の条件を満たすデータを削除するために使用できます。
DELETEステートメントの構文は以下の通りです：
DELETE FROM table_name WHERE condition;
DELETE文は多くの削除ニーズに対応できますが、一部のシナリオでは最も効率的ではない場合があります。様々な削除要件に柔軟かつ効率的に対処するため、Dorisでは以下の方法も提供しています。
Truncate パーティション
Dorisでは、日付パーティションやその他の方法でデータを管理することが一般的です。多くのユーザーは、最近の期間（例：7日間）のデータのみを保持する必要があります。期限切れのデータパーティションに対しては、truncate partition機能を使用して効率的に削除を行うことができます。
DELETE文と比較して、truncate partitionは一部のパーティションメタデータを変更するだけで削除を完了するため、このシナリオにおいては最適な方法となります。
パーティション削除の構文は以下の通りです：
TRUNCATE TABLE tbl PARTITION(p1, p2);
Truncate Table
Truncate tableは、オフライン分析シナリオでデータをやり直す場合など、Tableの構造を保持しながら迅速にTableをクリアするのに適しています。
完全なtruncate tableの構文は以下の通りです：
TRUNCATE TABLE table_name;
Delete Sign
データ削除は、データ更新の一種と考えることができます。そのため、更新機能を持つプライマリキーモデル（Unique Key）では、ユーザーはdelete sign機能を使用して、削除操作をデータ更新として実行できます。
例えば、CDCデータ同期シナリオでは、CDCプログラムはDELETE操作のbinlogをdelete signでマークできます。このデータがDorisに書き込まれると、対応するプライマリキーが削除されます。
この方法では、大量のプライマリキーの一括削除を実行でき、DELETE文よりも効率的です。
delete signは高度な機能であり、前述の方法と比較して使用がより複雑です。詳細な使用方法については、ドキュメントBatch Deletionを参照してください。
Temporary Partitionsを使用したAtomic Overwrite
場合によっては、ユーザーはパーティションのデータを書き換えたいことがあります。しかし、データを削除してからロードする場合、データが利用できない期間が発生します。この場合、ユーザーはまず対応するtemporary partitionを作成し、新しいデータをtemporary partitionにロードしてから、元のパーティションをアトミックに置き換えることができます。詳細な使用方法については、ドキュメントAtomic Table Replacementを参照してください。
注意事項
- 削除操作は新しいデータバージョンを生成するため、頻繁な削除はバージョン数を増加させ、クエリパフォーマンスに影響を与える可能性があります。
- 削除されたデータは、マージと圧縮が完了するまでストレージを占有し続けるため、削除操作自体はストレージ使用量を即座に削減しません。