Kettle Doris Plugin

Kettle Doris Plugin

Kettle Doris Pluginは、KettleでStream Loadを通じて他のデータソースからDorisにデータを書き込むために使用されます。

このプラグインはDorisのStream Load機能を使用してデータをインポートします。Kettleサービスと組み合わせて使用する必要があります。

Kettleについて

KettleはオープンソースのETL（Extract、Transform、Load）ツールで、最初にPentahoによって開発されました。KettleはPentaho製品スイートのコアコンポーネントの1つで、主にデータ統合とデータ処理に使用され、様々なソースからデータを抽出し、データのクリーニングと変換を行い、ターゲットシステムに読み込むタスクを簡単に完了できます。

詳細については、以下を参照してください：https://pentaho.com/

ユーザーマニュアル

Kettleのダウンロードとインストール

Kettleダウンロードアドレス：https://pentaho.com/download/#download-pentaho ダウンロード後、解凍してspoon.shを実行してkettleを起動します 自分でコンパイルすることもできます。Compilation Chapterを参照してください

Kettle Doris Pluginのコンパイル

cd doris/extension/kettle
mvn clean package -DskipTests

コンパイル後、プラグインパッケージを解凍し、kettleのpluginsディレクトリにコピーしてください

cd assemblies/plugin/target
unzip doris-stream-loader-plugins-9.4.0.0-343.zip
cp -r doris-stream-loader ${KETTLE_HOME}/plugins/
mvn clean package -DskipTests

ジョブの構築

KettleのバッチロードでDoris Stream Loaderを見つけ、ジョブを構築します

ジョブの実行開始をクリックして、データ同期を完了します

パラメータの説明

Key	デフォルト値	Required	Comment
ステップ name	--	Y	ステップ名
fenodes	--	Y	Doris FE httpアドレス、複数アドレスをサポート、カンマ区切り
Database	--	Y	Doris書き込みデータベース
Target table	--	Y	Dorisの書き込みTable
Username	--	Y	Dorisにアクセスするユーザー名
Password	--	N	Dorisにアクセスするパスワード
Maximum number of rows for a single import	10000	N	単一インポートの最大行数
Maximum bytes for a single import	10485760 (10MB)	N	単一インポートの最大バイトサイズ
Number of import retries	3	N	インポート失敗後の再試行回数
StreamLoad properties	--	N	Streamloadリクエストヘッダー
Delete Mode	N	N	削除モードを有効にするかどうか。デフォルトでは、Stream Loadはinsert操作を実行します。削除モードを有効にすると、すべてのStream Load書き込みが削除操作になります。