Kettle Doris Plugin
Kettle Doris Plugin
Kettle Doris Pluginは、KettleでStream Loadを通じて他のデータソースからDorisにデータを書き込むために使用されます。
このプラグインはDorisのStream Load機能を使用してデータをインポートします。Kettleサービスと連携して使用する必要があります。
Kettleについて
KettleはオープンソースのETL（Extract, Transform, Load）ツールで、最初にPentahoによって開発されました。KettleはPentaho製品スイートのコアコンポーネントの一つで、主にデータ統合とデータ処理に使用され、様々なソースからのデータ抽出、データのクリーニングと変換、ターゲットシステムへの読み込みといったタスクを簡単に完了できます。
詳細については、https://pentaho.com/を参照してください。
ユーザーマニュアル
Kettleのダウンロードとインストール
Kettleダウンロードアドレス：https://pentaho.com/download/#download-pentaho ダウンロード後、解凍してspoon.shを実行してkettleを起動します 自分でコンパイルすることもできます。Compilation Chapterを参照してください
Kettle Doris Pluginのコンパイル
cd doris/extension/kettle
mvn clean package -DskipTests
コンパイル後、プラグインパッケージを解凍し、kettleのpluginsディレクトリにコピーします
cd assemblies/plugin/target
unzip doris-stream-loader-plugins-9.4.0.0-343.zip
cp -r doris-stream-loader ${KETTLE_HOME}/plugins/
mvn clean package -DskipTests
ジョブの構築
KettleのバッチローディングでDoris Stream Loaderを見つけて、ジョブを構築します
Start Running the Jobをクリックしてデータ同期を完了します
パラメータの説明
| Key | Default Value | Required | Comment |
|---|---|---|---|
| Step name | -- | Y | ステップ名 |
| fenodes | -- | Y | Doris FE httpアドレス、複数のアドレスをサポート、カンマで区切る |
| Database | -- | Y | Doris書き込みデータベース |
| Target table | -- | Y | Dorisの書き込みテーブル |
| Username | -- | Y | Dorisにアクセスするためのユーザー名 |
| Password | -- | N | Dorisにアクセスするためのパスワード |
| Maximum number of rows for a single import | 10000 | N | 単一インポートの最大行数 |
| Maximum bytes for a single import | 10485760 (10MB) | N | 単一インポートの最大バイトサイズ |
| Number of import retries | 3 | N | インポート失敗後の再試行回数 |
| StreamLoad properties | -- | N | Streamloadリクエストヘッダー |
| Delete Mode | N | N | 削除モードを有効にするかどうか。デフォルトでは、Stream Loadは挿入操作を実行します。削除モードが有効になった後、すべてのStream Load書き込みは削除操作になります。 |