メインコンテンツまでスキップ
バージョン: 4.x

カラム圧縮

Dorisは列指向ストレージモデルを採用してデータを整理・格納しており、これは分析ワークロードに特に適しており、クエリ効率を大幅に向上させることができます。列指向ストレージでは、テーブルの各列が独立して格納され、圧縮技術の適用が促進されるため、ストレージ効率が向上します。Dorisは様々な圧縮アルゴリズムを提供しており、ユーザーはワークロード要件に基づいて適切な圧縮方法を選択し、ストレージとクエリパフォーマンスを最適化できます。

圧縮が必要な理由​

Dorisにおいて、データ圧縮には主に以下の2つの中核的な目的があります。

  1. ストレージ効率の向上 圧縮により、データ格納に必要なディスク容量を大幅に削減でき、同じ物理リソースでより多くのデータを格納できます。

  2. パフォーマンスの最適化 圧縮されたデータの容量は小さくなり、クエリ実行時に必要なI/O操作が少なくなるため、クエリ応答時間が短縮されます。現代の圧縮アルゴリズムは通常非常に高速な展開速度を持ち、ストレージ容量を削減しながら読み取り効率を向上させることができます。

サポートされている圧縮アルゴリズム​

Dorisは様々な圧縮アルゴリズムをサポートしており、それぞれ圧縮率と展開速度の間で異なるトレードオフがあるため、ユーザーはニーズに基づいて適切なアルゴリズムを選択できます。

圧縮タイプ特徴適用シナリオ
No Compression- データに圧縮が適用されません。データが既に圧縮されている場合やストレージ容量が問題でない場合など、圧縮が不要なシナリオに適しています。
LZ4- 非常に高速な圧縮・展開速度。
- 中程度の圧縮率。		リアルタイムクエリや高並行負荷など、展開速度の要件が高いシナリオに適しています。
LZ4F (LZ4 Frame)- より柔軟な圧縮設定をサポートするLZ4の拡張版。
- 高速で中程度の圧縮率。		きめ細かい設定制御を伴う高速圧縮が必要な場合に使用されます。
LZ4HC (LZ4 High Compression)- LZ4と比較してより高い圧縮率、ただし圧縮速度は遅くなります。
- 展開速度はLZ4と同等。		より高い圧縮率が必要で、展開速度に焦点を当てる場合に使用されます。
ZSTD (Zstandard)- 柔軟な圧縮レベル調整を伴う高い圧縮率。
- 高い圧縮率でも展開速度は高速を維持。		高いストレージ効率の要求がある一方で、クエリパフォーマンスとのバランスが必要な場合に使用されます。
Snappy- 高速展開のために設計されています。
- 中程度の圧縮率。		高い展開速度と低いCPUオーバーヘッドの要求があるシナリオに必要です。
Zlib- 圧縮率と速度の良好なバランス。
- 他のアルゴリズムと比較して圧縮・展開速度は遅いが、より高い圧縮率。		アーカイブやコールドデータストレージなど、高いストレージ効率の要求があり、展開速度に敏感でないシナリオに必要です。

圧縮の原理​

列圧縮 列指向ストレージの採用により、Dorisはテーブル内の各列を独立して圧縮できます。この方法は、同じ列内のデータが類似の分布特性を持つことが多いため、圧縮効率を向上させます。

圧縮前のエンコーディング データを圧縮する前に、Dorisは列データをエンコーディング（例：辞書エンコーディング、ランレングスエンコーディングなど）し、データをより圧縮に適した形式に変換して、圧縮効率をさらに向上させます。

ページ圧縮 Dorisはページレベルの圧縮戦略を採用しています。各列のデータは複数のページに分割され、各ページ内のデータは独立して圧縮されます。ページ単位の圧縮により、Dorisは大規模データセットを効率的に処理しながら、高い圧縮率と展開パフォーマンスを確保できます。

設定可能な圧縮戦略 ユーザーはテーブル作成時に使用する圧縮アルゴリズムを指定できます。この柔軟性により、ユーザーは特定のワークロードに基づいて圧縮効率とパフォーマンスの間で最適な選択を行えます。

圧縮効果に影響する要因​

異なる圧縮アルゴリズムにはそれぞれの長所と短所がありますが、圧縮の効果は選択したアルゴリズムだけでなく、以下の要因にも依存します。

データの順序​

データの順序は圧縮効果に大きな影響を与えます。連続性の高い列（例：タイムスタンプや連続した数値列）では、圧縮アルゴリズムは通常より良い結果を達成できます。データの順序が規則的であるほど、圧縮アルゴリズムは圧縮時により多くの反復パターンを識別でき、圧縮率が向上します。

データの冗長性​

データ列内の重複値が多いほど、圧縮効果はより顕著になります。例えば、重複値に対する辞書エンコーディングの使用により、ストレージ容量を大幅に削減できます。ただし、明らかな重複のないデータ列では、圧縮効果は期待に添えない場合があります。

データ型​

データの型も圧縮効果に影響を与える可能性があります。一般的に、数値データ型（整数や浮動小数点数など）は文字列データ型よりも圧縮しやすくなります。値の範囲が広いデータ型では、圧縮アルゴリズムの効果が影響を受ける場合があります。

列の長さ​

列内のデータの長さも圧縮効果に影響を与える可能性があります。短い列は通常、長い列よりも圧縮しやすくなります。これは、圧縮アルゴリズムが短いデータブロック内でより効率的に反復パターンを見つけることができるためです。

NULL値​

列内のnull値の比率が高い場合、圧縮アルゴリズムはより効果的である可能性があります。これは、これらのnull値を特別なパターンとしてエンコードし、ストレージ容量を削減できるためです。

適切な圧縮アルゴリズムの選択方法​

適切な圧縮アルゴリズムの選択は、ワークロードの特性に基づいて行うべきです。

  • 高性能リアルタイム分析シナリオでは、LZ4またはSnappyの使用を推奨します。
  • ストレージ効率を重視するシナリオでは、ZSTDまたはZlibの使用を推奨します。
  • 速度と圧縮率のバランスが必要なシナリオでは、LZ4Fを選択できます。
  • アーカイブやコールドデータストレージシナリオでは、ZlibまたはLZ4HCの使用が望ましいです。

Dorisでの圧縮設定​

テーブル作成時に圧縮アルゴリズムを指定して、データの格納方法を決定できます。

CREATE TABLE example_table (
    id INT,
    name STRING,
    age INT
)
DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 10
PROPERTIES (
    "compression" = "zstd"
);