チューニングプロセス
概要
パフォーマンスチューニングは、体系的な診断と最適化のための包括的な方法論と実装フレームワークを必要とする体系的なプロセスです。診断ツールと分析ツールの強力なサポートにより、Dorisシステムはパフォーマンスの問題を効率的に診断、分析、特定、解決できます。チューニングの完全な4ステッププロセスは以下の通りです:

ステップ 1: パフォーマンス診断ツールを使用してスロークエリを特定する
Doris上で実行されているビジネスシステムでは、前述のパフォーマンス診断ツールを使用してスローSQLクエリを特定します。
- Doris Managerがインストールされている場合は、Managerのログページを使用してスロークエリを視覚的に便利に特定することを推奨します。
- Managerがインストールされていない場合は、FEノードの
fe.audit.logファイルまたはaudit_logシステムTableを直接確認して、スローSQLクエリのリストを取得し、チューニングの優先順位を付けることができます。
ステップ 2: スキーマ設計とチューニング
特定のスローSQLクエリを特定した後、最初の優先事項は、不合理なスキーマ設計によって引き起こされるパフォーマンスの問題を排除するために、ビジネススキーマ設計を検査してチューニングすることです。
スキーマ設計チューニングは3つの側面に分けることができます:
- Tableレベルのスキーマ設計チューニング、パーティション数とバケット数の調整、フィールド最適化など;
- インデックス設計とチューニング
- Colocate Groupを使用したJoinの最適化などの特定の最適化技術の使用。主な目標は、不合理なスキーマ設計や、Dorisの既存の最適化機能を十分に活用できないことによって引き起こされるパフォーマンスの問題を排除することです。
詳細なチューニング例については、プランチューニングのドキュメントを参照してください。
ステップ 3: プランチューニング
ビジネススキーマの検査とチューニングの後、チューニングの主要なタスクが始まります:プランチューニングと実行チューニング。上記のように、この段階での主要なタスクは、DorisによってProvideされる様々なレベルのExplainツールを十分に活用して、スローSQLクエリの実行プランを体系的に分析し、対象を絞った最適化のための主要な最適化ポイントを特定することです。
- 単一Tableクエリと分析シナリオでは、実行プランを分析してパーティションプルーニングが正常に機能しているかを確認し、単一Tableマテリアライズドビューをクエリ高速化に使用できます。
- 複雑な複数Table分析シナリオでは、Join Orderを分析してそれが合理的かを判断し、特定のパフォーマンスボトルネックを特定できます。また、複数Tableマテリアライズドビューを透過的な書き換えに使用してクエリを高速化することもできます。不合理なJoin Orderなどの予期しない状況が発生した場合、実行プランをバインドするためにJoin Hintを手動で指定できます。例えば、Leading hintを使用してJoin Orderを制御、Shuffle Hintを使用してJoinシャッフル方式を調整、Hintを使用してコストベース最適化ルールを制御して、実行プランをチューニングする目標を達成します。
- 特定のシナリオでは、SQLキャッシュを使用してクエリを高速化など、Dorisが提供する高度な機能を活用することもできます。
詳細なチューニング例については、プランチューニングのドキュメントを参照してください。
ステップ 4: 実行チューニング
実行チューニング段階では、SQLクエリの実際の実行に基づいてプランチューニングの効果を検証する必要があります。さらに、既存のプランのフレームワーク内で、実行側のボトルネックを継続的に分析し、どの実行段階が遅いか、または次善の並列性などの他の一般的な問題を特定します。
複数Table分析クエリを例に取ると、Profileを分析して、計画されたJoin順序が合理的か、Runtime Filtersが効果的か、並列性が期待を満たしているかを確認できます。さらに、Profileは、遅いI/Oや予期しないネットワーク送信パフォーマンスなど、マシン負荷に関するフィードバックを提供できます。このような問題を確認して診断する際は、診断とチューニングを支援するためにシステムレベルのツールが必要です。
詳細なチューニング例については、実行チューニングのドキュメントを参照してください。
特定のパフォーマンスの問題を分析する際は、最初にプランを確認してから実行をチューニングすることを推奨します。まずExplainツールを使用して実行プランを確認し、次にProfileツールを使用して実行パフォーマンスを特定してチューニングします。順序を逆にすると非効率性につながり、パフォーマンスの問題の迅速な特定を妨げる可能性があります。
要約
クエリチューニングは体系的なプロセスであり、Dorisは異なるレベルでのパフォーマンスの問題の診断、特定、分析、解決を促進するために、様々な次元にわたってユーザーにツールを提供しています。これらの診断と分析ツールに慣れ親しみ、合理的なチューニング方法を採用することで、ビジネス担当者とDBAはパフォーマンスボトルネックを迅速かつ効果的に解決し、Dorisの強力なパフォーマンス上の利点をより良く引き出し、ビジネスイネーブルメントのためのビジネスシナリオにより良く適応できます。