メインコンテンツまでスキップ
バージョン: 4.x

エラスティックコンピュートノード

Elasticコンピュートノードは、BEノードの特殊なタイプとして、データストレージ機能を持たず、データ計算のみを担当します。そのため、コンピュートノードはステートレスなBEノードと見なすことができ、簡単に追加・削除することができます。

レイクハウスデータ分析シナリオにおいて、ElasticコンピュートノードはHive、Iceberg、Hudi、Paimon、JDBCなどの外部データソースのクエリに使用できます。Dorisは外部データソースデータのストレージを処理しないため、Elasticコンピュートノードを使用して外部データソース用の計算能力を簡単に拡張できます。さらに、コンピュートノードにキャッシュディレクトリを設定することで、外部データソースのホットデータをキャッシュし、データ読み取りをさらに高速化できます。

ElasticコンピュートノードはDorisのストレージ・コンピューティング統合モードにおけるエラスティックリソース制御に適しています。Doris 3.0のストレージ・コンピューティング分離アーキテクチャでは、BEノードはステートレスであるため、別途Elasticコンピュートノードは不要です。

コンピュートノードの使用方法​

BEノードタイプ​

ストレージ・コンピューティング統合モードにおいて、BEノードは2つのタイプに分類されます：

  • Mix

    混合ノード。これはBEノードのデフォルトタイプです。これらのノードは計算とDoris内部テーブルデータのストレージの両方に参加します。

  • Computation

    Elasticコンピュートノード。データストレージは処理せず、データ計算のみを行います。

コンピュートノードの追加​

BEのbe.conf設定ファイルに以下の設定を追加します：

be_node_role=computation

その後、BEノードを起動すると、Computationタイプとして動作します。

次にDorisに接続して以下を実行します：

ALTER SYSTEM ADD BACKEND

でこのBEノードを追加します。追加が成功すると、SHOW BACKENDSのNodeRole列でノードタイプがcomputationとして表示されます。

コンピュートノードの使用​

コンピュートノードを有効にしてその動作を制御するには、FE設定ファイルfe.confで以下のパラメータを設定する必要があります：

パラメータ名説明
prefer_compute_node_for_external_tableデフォルトはfalseです。trueに設定すると、外部テーブルのクエリが優先的にコンピュートノードに割り当てられます。falseの場合、外部テーブルのクエリは任意のBEノードに割り当てられます。クラスタにコンピュートノードがない場合、このパラメータは効果がありません。
min_backend_num_for_external_tableprefer_compute_node_for_external_tableがtrueの場合のみ有効です。クラスタ内のコンピュートノード数がこの値未満の場合、外部テーブルのクエリは一部の混合ノードを取得して割り当てを試行し、合計ノード数がこの値に達するようにします。クラスタ内のコンピュートノード数がこの値より多い場合、外部テーブルのクエリはコンピュートノードのみに割り当てられます。バージョン2.0（含む）以前では、このパラメータのデフォルト値は3でした。バージョン2.1以降、デフォルト値は-1で、現在のコンピュートノード数のみが使用されることを意味します。

min_backend_num_for_external_tableのさらなる説明：

クラスタに3つのコンピュートノードと5つの混合ノードがあると仮定します。

min_backend_num_for_external_tableを3以下に設定すると、外部テーブルクエリは3つのコンピュートノードのみを使用します。3より大きく、例えば6に設定すると、外部テーブルクエリは3つのコンピュートノードに加えて、追加で3つの混合ノードを計算に使用します。

要約すると、このパラメータは主に外部テーブル計算に参加できるBEノードの最小数に使用され、コンピュートノードを優先的に選択します。このパラメータを増やすことで、より多くのBEノード（コンピュートノードに限定されない）が外部テーブルクエリ処理に参加できるようになり、このパラメータを減らすことで外部テーブルクエリ処理に参加するBEノード数を制限できます。

注意：

  1. バージョン2.1以降、min_backend_num_for_external_tableを-1に設定できます。以前のバージョンでは、このパラメータは正の数である必要があります。このパラメータはprefer_compute_node_for_external_table = trueの場合のみ有効です。

  2. min_backend_num_for_external_tableの値がBEノードの総数より大きい場合、最大でもすべてのBEが選択されます。

  3. 上記のパラメータはADMIN SET FRONTEND CONFIGコマンドを使用してFEノードを再起動せずに動的に変更できます。すべてのFEノードを設定する必要があります。または、fe.confに設定を追加してFEノードを再起動してください。

ベストプラクティス​

フェデレーテッドクエリのリソース分離とエラスティックスケーリング​

フェデレーテッドクエリシナリオでは、ユーザーは外部テーブルデータのクエリ専用のコンピュートノードセットをデプロイできます。これにより、外部テーブルクエリ負荷（Hiveでの大規模分析など）と内部テーブルクエリ負荷（低レイテンシの高速データ分析など）を分離できます。

同時に、ステートレスBEノードとして、コンピュートノードは簡単にスケールアップ・ダウンできます。例えば、k8sを使用してElasticコンピュートノードクラスタセットをデプロイし、ビジネスピーク時にはより多くのコンピュートノードをデータレイク分析に活用し、オフピーク時には迅速にスケールダウンしてコストを削減できます。

よくある問題​

  1. 混合ノードとコンピュートノードは相互に変換できますか？

コンピュートノードは混合ノードに変換できます。ただし、混合ノードはコンピュートノードに変換できません。

  1. コンピュートノードにデータストレージディレクトリの設定は必要ですか？

はい。コンピュートノードのデータストレージディレクトリはユーザーデータを格納せず、cluster_idなどのBEノード自体の情報ファイルと、動作中の一時ファイルのみを格納します。

コンピュートノードのストレージディレクトリは少量のディスク容量（MBレベル）のみを必要とし、ユーザーデータに影響を与えることなくノードとともにいつでも破棄できます。

  1. コンピュートノードと混合ノードはファイルキャッシュディレクトリを設定できますか？

ファイルキャッシュは、最近アクセスしたリモートストレージシステム（HDFSまたはオブジェクトストレージ）からのデータファイルをキャッシュすることで、同じデータの後続クエリを高速化します。

コンピュートノードと混合ノードの両方でファイルキャッシュディレクトリを設定できます。ファイルキャッシュディレクトリは事前に作成する必要があります。

  1. コンピュートノードはDECOMMISION操作による退役が必要ですか？

いいえ。コンピュートノードはDROP BACKEND操作を使用して直接削除できます。