バージョン: 4.x

Index概要

データベースインデックスはクエリの高速化に使用されます。さまざまなクエリシナリオを高速化するため、Dorisは豊富な種類のインデックスをサポートしています。

インデックスの種類と原理

クエリの高速化とその原理の観点から、Dorisのインデックスは主に2つのタイプに分類されます：ポイントクエリインデックスとスキップインデックスです。

ポイントクエリインデックス： 主にポイントクエリの高速化に使用され、原理はインデックスを通じてWHERE条件を満たす行を特定し、その行を直接読み取ることです。条件を満たす行数が少ない場合、ポイントクエリインデックスは非常に効果的です。DorisのポイントクエリインデックスにはPrefix IndexとInverted Indexがあります。
- Prefix Index： Dorisはソートキーに従って順序立ててデータを格納し、1024行ごとにスパースなプレフィックスインデックスを作成します。インデックス内のキーは、現在の1024行の最初の行のソート列の値です。クエリでソート列が使用される場合、システムは関連する1024行グループの最初の行を見つけ、そこからスキャンを開始します。
- Inverted Index： 転置インデックスを持つ列に対して、各値を行IDのセットにマッピングするposting listが作成されます。等価クエリの場合、まずposting listから行IDのセットを見つけ、次にそれらの行のデータを直接読み取り、行ごとのスキャンを回避します。転置インデックスは範囲フィルタリングと全文検索も高速化できます。アルゴリズムはより複雑ですが、基本的な原理は似ています。（注：以前のBITMAP indexはより強力な転置インデックスに置き換えられました。）
スキップインデックス： 主に分析の高速化に使用され、原理はインデックスを通じてWHERE条件を満たさないデータブロックを判定し、これらのブロックをスキップして、条件を満たす可能性のあるデータブロックのみを読み取り、その後行ごとのフィルタを実行して最終的に条件を満たす行を取得することです。スキップインデックスは条件を満たす行数が多い場合により効果的です。DorisのスキップインデックスにはZoneMapインデックス、BloomFilterインデックス、NGram BloomFilterインデックスがあります。
- ZoneMap Index： 各列の統計情報を自動的に保持し、各データファイル（Segment）とデータブロック（Page）の最大値、最小値、NULL値の有無を記録します。等価クエリ、範囲クエリ、IS NULLに対して、最大値、最小値、NULL値の有無に基づいて、データファイルとデータブロックが条件を満たすデータを含むかどうかを判定できます。含まない場合、Dorisは対応するファイルまたはデータブロックの読み取りをスキップし、IOを削減してクエリを高速化します。
- BloomFilter Index： インデックス対象列の値をBloomFilterデータ構造に格納し、非常に少ないストレージ領域で値がBloomFilterに含まれるかどうかを迅速に判定できます。等価クエリの場合、値がBloomFilterに含まれない場合、対応するデータファイルまたはデータブロックをスキップでき、IOを削減してクエリを高速化します。
- NGram BloomFilter Index： テキストのLIKEクエリの高速化に使用されます。原理はBloomFilterインデックスと似ていますが、元のテキスト値を格納する代わりに、テキストのNGramトークン化を実行し、各トークンをBloomFilterに格納します。LIKEクエリの場合、LIKEパターンもNGramを使用してトークン化されます。いずれかのトークンがBloomFilterに含まれない場合、対応するデータファイルまたはデータブロックはLIKE条件を満たさないためスキップできます。

上記のインデックスの中で、プレフィックスインデックスとZoneMapインデックスはDorisが自動的に維持する組み込みインデックスで、ユーザーによる管理は不要です。転置インデックス、BloomFilterインデックス、NGram BloomFilterインデックスは、シナリオに基づいてユーザーが手動で作成・管理する必要があります。

異なるタイプのインデックスの特性比較

タイプ	Index	利点	制限
Point Query	Prefix Index	組み込みインデックス、最高のパフォーマンス。 Tableごとに1つのプレフィックスインデックスのみ。	Tableごとに1つのプレフィックスインデックスのみ。
Point Query	Inverted Index	トークン化とキーワードマッチングをサポート。任意の列にインデックスを構築。複数条件の組み合わせとより多くの機能の高速化。	インデックスストレージ容量が大きく、生データと同程度。
Skip	ZoneMap Index	組み込みインデックス、小さなインデックスストレージ容量。 Tableごとに1つのプレフィックスインデックスのみ。	Tableごとに1つのプレフィックスインデックスのみ。
Skip	BloomFilter Index	ZoneMapより精密、中程度のインデックス容量。	サポートするクエリタイプが少ない。等価のみをサポート（不等価、範囲、LIKE、MATCHは非サポート）。
Skip	NGram BloomFilter	LIKE高速化をサポート、中程度のインデックス容量。	サポートするクエリタイプが少ない。 LIKE高速化のみをサポート。

インデックス高速化の演算子と関数のリスト

Operator or ファンクション	Prefix Index	Inverted Index	ZoneMap Index	BloomFilter Index	NGram BloomFilter Index
=	YES	YES	YES	YES	NO
!=	YES	YES	NO	NO	NO
IN	YES	YES	YES	YES	NO
NOT IN	YES	YES	NO	NO	NO
>, >=, <, <=, BETWEEN	YES	YES	YES	NO	NO
IS NULL	YES	YES	YES	NO	NO
IS NOT NULL	YES	YES	NO	NO	NO
LIKE	NO	NO	NO	NO	YES
MATCH, MATCH_*	NO	YES	NO	NO	NO
array_contains	NO	YES	NO	NO	NO
array_overlaps	NO	YES	NO	NO	NO
is_ip_address_in_range	NO	YES	NO	NO	NO

インデックス設計ガイドライン

データベースTableインデックスの設計と最適化は、データの分布とクエリに密接に関連しており、実際のシナリオに基づいたテストと最適化が必要です。「万能薬」は存在しませんが、Dorisはインデックス使用の難易度を下げる努力を続けています。ユーザーはインデックス選択とテストのために以下の簡単なガイドラインに従うことができます。

最も頻繁に使用されるフィルタ条件をKEYとして指定し、プレフィックスインデックスを自動作成します。これは最高のフィルタ効果を持ちます。ただし、Tableごとに1つのプレフィックスインデックスのみ作成できるため、最も頻繁なフィルタ条件に使用すべきです。
フィルタ高速化が必要な非キーフィールドの場合、適用範囲が広く複数条件の組み合わせが可能な転置インデックスの作成が第一選択です。第二選択には以下の2つのインデックスがあります：
- 文字列のLIKEマッチングが必要な場合、NGram BloomFilterインデックスを追加します。
- インデックスストレージ容量が重要な場合、転置インデックスをBloomFilterインデックスに置き換えます。
パフォーマンスが期待通りでない場合、QueryProfileを通じてインデックスによってフィルタされるデータ量と消費時間を分析します。詳細については各インデックスの詳細ドキュメントを参照してください。

インデックスの種類と原理​

インデックス設計ガイドライン​

インデックスの種類と原理

インデックス設計ガイドライン