インデックス概要

データベースインデックスはクエリを高速化するために使用されます。さまざまなクエリシナリオを高速化するため、Dorisは多様で豊富なインデックスをサポートしています。

インデックスの種類と原理

クエリの高速化とその原理の観点から、Dorisのインデックスは主に2つのタイプに分類されます：ポイントクエリインデックスとスキップインデックスです。

• ポイントクエリインデックス： ポイントクエリの高速化によく使用され、原理はインデックスを通じてWHERE条件を満たす行を特定し、それらの行を直接読み取ることです。条件を満たす行数が少ない場合、ポイントクエリインデックスは非常に効果的です。DorisのポイントクエリインデックスにはPrefix IndexとInverted Indexがあります。
  • Prefix Index： Dorisはソートキーに従って順序付けられた方法でデータを保存し、1024行ごとにスパースなプレフィックスインデックスを作成します。インデックス内のキーは、現在の1024行の最初の行におけるソート列の値です。クエリがソート列を含む場合、システムは関連する1024行グループの最初の行を見つけ、そこからスキャンを開始します。
  • Inverted Index： 転置インデックスがある列については、各値を行idのセットにマッピングするposting listが作成されます。等価クエリの場合、まずposting listから行idのセットを見つけ、次にそれらの行のデータを直接読み取り、行ごとのスキャンを回避します。転置インデックスは範囲フィルタリングと全文検索も高速化できます。アルゴリズムはより複雑ですが、基本的な原理は似ています。（注：以前のBITMAPインデックスは、より強力な転置インデックスに置き換えられました。）
• スキップインデックス： 分析の高速化によく使用され、原理はインデックスを通じてWHERE条件を満たさないデータブロックを判定し、これらのブロックをスキップして、条件を満たす可能性のあるデータブロックのみを読み取り、その後行ごとのフィルタを実行して最終的に条件を満たす行を取得することです。条件を満たす行数が多い場合、スキップインデックスはより効果的です。DorisのスキップインデックスにはZoneMapインデックス、BloomFilterインデックス、NGram BloomFilterインデックスがあります。
  • ZoneMap Index： 各列の統計を自動的に保持し、各データファイル（Segment）とデータブロック（Page）の最大値、最小値、NULL値の有無を記録します。等価クエリ、範囲クエリ、IS NULLの場合、最大値、最小値、NULL値の有無に基づいて、データファイルとデータブロックが条件を満たすデータを含むかどうかを判定できます。含まない場合、Dorisは対応するファイルまたはデータブロックの読み取りをスキップし、IOを削減してクエリを高速化します。
  • BloomFilter Index： インデックス付き列の値をBloomFilterデータ構造に保存し、非常に少ないストレージ領域で値がBloomFilter内にあるかどうかを迅速に判定できます。等価クエリの場合、値がBloomFilter内にない場合、対応するデータファイルまたはデータブロックをスキップでき、IOを削減してクエリを高速化します。
  • NGram BloomFilter Index： テキストのLIKEクエリを高速化するために使用されます。原理はBloomFilterインデックスと似ていますが、元のテキスト値を保存する代わりに、テキストのNGramトークン化を実行し、各トークンをBloomFilterに保存します。LIKEクエリの場合、LIKEパターンもNGramを使用してトークン化されます。いずれかのトークンがBloomFilter内にない場合、対応するデータファイルまたはデータブロックはLIKE条件を満たさないため、スキップできます。

上記のインデックスのうち、prefix indexとZoneMap indexはDorisによって自動的に保持される組み込みインデックスであり、ユーザー管理は不要です。Inverted index、BloomFilterインデックス、NGram BloomFilterインデックスは、シナリオに基づいてユーザーが手動で作成・管理する必要があります。

• 異なるタイプのインデックスの特性比較

タイプ	インデックス	利点	制限事項
Point Query	Prefix Index	組み込みインデックス、最高のパフォーマンス。 テーブルごとに1つのプレフィックスインデックスのみ。	テーブルごとに1つのプレフィックスインデックスのみ。
Point Query	Inverted Index	トークン化とキーワードマッチングをサポート。 任意の列でのインデックス構築。 複数条件の組み合わせと、より多くの関数の高速化。	インデックスストレージ領域が大きく、生データと同程度。
Skip	ZoneMap Index	組み込みインデックス、インデックスストレージ領域が小さい。 テーブルごとに1つのプレフィックスインデックスのみ。	テーブルごとに1つのプレフィックスインデックスのみ。
Skip	BloomFilter Index	ZoneMapより精密、中程度のインデックス領域。	サポートするクエリタイプが少ない。 等価のみをサポート（その他：不等価、範囲、LIKE、MATCHはサポートしない）。
Skip	NGram BloomFilter	LIKE高速化をサポート、中程度のインデックス領域。	サポートするクエリタイプが少ない。 LIKE高速化のみをサポート。

• インデックス高速化のための演算子と関数のリスト

演算子または関数	Prefix Index	Inverted Index	ZoneMap Index	BloomFilter Index	NGram BloomFilter Index
=	YES	YES	YES	YES	NO
!=	YES	YES	NO	NO	NO
IN	YES	YES	YES	YES	NO
NOT IN	YES	YES	NO	NO	NO
>, >=, <, <=, BETWEEN	YES	YES	YES	NO	NO
IS NULL	YES	YES	YES	NO	NO
IS NOT NULL	YES	YES	NO	NO	NO
LIKE	NO	NO	NO	NO	YES
MATCH, MATCH_*	NO	YES	NO	NO	NO
array_contains	NO	YES	NO	NO	NO
array_overlaps	NO	YES	NO	NO	NO
is_ip_address_in_range	NO	YES	NO	NO	NO

インデックス設計ガイドライン

データベーステーブルインデックスの設計と最適化は、データ分布とクエリに密接に関連しており、実際のシナリオに基づいたテストと最適化が必要です。「銀の弾丸」は存在しませんが、Dorisはインデックスの使用難易度を継続的に削減するよう努めています。ユーザーは、インデックス選択とテストのためにこれらの簡単なガイドラインに従うことができます。

1. 最も頻繁に使用されるフィルタ条件をKEYとして指定し、prefix indexを自動作成します。これは最高のフィルタリング効果があります。ただし、テーブルごとに1つのプレフィックスインデックスのみ作成可能なため、最も頻繁なフィルタ条件に使用すべきです。
2. フィルタ高速化が必要なnon-keyフィールドについては、第一選択肢は転置インデックスの作成です。これは適用範囲が広く、複数条件の組み合わせが可能なためです。第二選択肢には以下の2つのインデックスがあります：
   • 文字列のLIKEマッチングが必要な場合は、NGram BloomFilterインデックスを追加します。
   • インデックスストレージ領域が重要な場合は、転置インデックスをBloomFilterインデックスに置き換えます。
3. パフォーマンスが期待通りでない場合は、QueryProfileを通じてインデックスによってフィルタされたデータ量と消費時間を分析します。詳細については、各インデックスの詳細ドキュメントを参照してください。