ヒントを使用したJoin Shuffle Modeの調整
概要
DorisはJoin操作におけるデータシャッフルの種類を調整するためのヒントの使用をサポートしており、これによりクエリパフォーマンスを最適化できます。このセクションでは、ヒントを使用してDorisでJoin Shuffleタイプを指定する方法について詳細な手順を説明します。
現在、Dorisは優れたout-of-the-box機能を持っています。これは、ほとんどのシナリオにおいて、Dorisが様々なシナリオで適応的にパフォーマンスを最適化し、ユーザーがパフォーマンスチューニングのためにヒントを手動で制御する必要がないことを意味します。この章で紹介される内容は主に専門的なチューナー向けであり、業務担当者は簡単な理解のみで十分です。
現在、Dorisは2つの独立したDistribute Hint、[shuffle]と[broadcast]をサポートしており、JoinにおけるRight Tableの Distribute Typeを指定できます。Distribute TypeはJoinのRight Tableの前に配置し、角括弧[]で囲む必要があります。さらに、DorisはLeading HintとDistribute Hintを組み合わせることでshuffleモードを指定することができます（詳細についてはReordering Join With Leading Hintを参照してください）。
例は以下の通りです：
SELECT COUNT(*) FROM t2 JOIN [broadcast] t1 ON t1.c1 = t2.c2;
SELECT COUNT(*) FROM t2 JOIN [shuffle] t1 ON t1.c1 = t2.c2;
Case
次に、例を通してDistribute Hintsの使用方法を説明します：
EXPLAIN SHAPE PLAN SELECT COUNT(*) FROM t1 JOIN t2 ON t1.c1 = t2.c2;
元のSQLの実行計画は以下の通りで、t1とt2の間の結合がハッシュ分散方式を使用していることを示しており、これはDistributionSpecHashによって示されています。
+----------------------------------------------------------------------------------+
| Explain String (Nereids Planner) |
+----------------------------------------------------------------------------------+
| PhysicalResultSink |
| --hashAgg [GLOBAL] |
| ----PhysicalDistribute [DistributionSpecGather] |
| ------hashAgg [LOCAL] |
| --------PhysicalProject |
| ----------hashJoin [INNER_JOIN] hashCondition=((t1.c1 = t2.c2)) otherCondition=()|
| ------------PhysicalProject |
| --------------PhysicalOlapScan [t1] |
| ------------PhysicalDistribute [DistributionSpecHash] |
| --------------PhysicalProject |
| ----------------PhysicalOlapScan [t2] |
+----------------------------------------------------------------------------------+
[broadcast]ヒントを追加した後：
EXPLAIN SHAPE PLAN SELECT COUNT(*) FROM t1 JOIN [broadcast] t2 ON t1.c1 = t2.c2;
t1とt2間のjoinに対する分散方式が、DistributionSpecReplicatedで示されるbroadcast方式に変更されたことが確認できます。
+----------------------------------------------------------------------------------+
| Explain String (Nereids Planner) |
+----------------------------------------------------------------------------------+
| PhysicalResultSink |
| --hashAgg [GLOBAL] |
| ----PhysicalDistribute [DistributionSpecGather] |
| ------hashAgg [LOCAL] |
| --------PhysicalProject |
| ----------hashJoin [INNER_JOIN] hashCondition=((t1.c1 = t2.c2)) otherCondition=()|
| ------------PhysicalProject |
| --------------PhysicalOlapScan [t1] |
| ------------PhysicalDistribute [DistributionSpecReplicated] |
| --------------PhysicalProject |
| ----------------PhysicalOlapScan [t2] |
+----------------------------------------------------------------------------------+
概要
Distribute Hintsを適切に使用することで、Join操作のシャッフルモードを最適化し、クエリパフォーマンスを向上させることができます。実際には、まずEXPLAINを使用してクエリ実行計画を分析し、実際の状況に基づいて適切なシャッフルタイプを指定することが推奨されます。