Kettle Doris Plugin
Kettle Doris Plugin
Kettle Doris Pluginは、KettleでStream Loadを通じて他のデータソースからDorisにデータを書き込むために使用されます。
このプラグインはDorisのStream Load機能を使用してデータをインポートします。Kettleサービスと連携して使用する必要があります。
Kettleについて
KettleはオープンソースのETL（Extract, Transform, Load）ツールで、最初にPentahoによって開発されました。KettleはPentaho製品スイートの中核コンポーネントの一つで、主にデータ統合とデータ処理に使用され、様々なソースからのデータ抽出、データのクリーニングと変換、ターゲットシステムへの読み込みのタスクを簡単に完了できます。
詳細については以下を参照してください：https://pentaho.com/
ユーザーマニュアル
Kettleのダウンロードとインストール
Kettleダウンロードアドレス：https://pentaho.com/download/#download-pentaho ダウンロード後、解凍してspoon.shを実行してkettleを起動します 自分でコンパイルすることもできます。Compilation Chapterを参照してください
Kettle Doris Pluginのコンパイル
cd doris/extension/kettle
mvn clean package -DskipTests
コンパイル後、プラグインパッケージを解凍し、kettleのpluginsディレクトリにコピーしてください
cd assemblies/plugin/target
unzip doris-stream-loader-plugins-9.4.0.0-343.zip
cp -r doris-stream-loader ${KETTLE_HOME}/plugins/
mvn clean package -DskipTests
ジョブの構築
KettleのバッチローディングでDoris Stream Loaderを見つけ、ジョブを構築します
Start Running the Jobをクリックしてデータ同期を完了します
パラメータ説明
| Key | Default Value | Required | Comment |
|---|---|---|---|
| Step name | -- | Y | ステップ名 |
| fenodes | -- | Y | Doris FE httpアドレス、複数のアドレスをサポート、カンマ区切り |
| Database | -- | Y | Doris書き込みデータベース |
| Target table | -- | Y | Dorisの書き込みテーブル |
| Username | -- | Y | Dorisにアクセスするためのユーザー名 |
| Password | -- | N | Dorisにアクセスするためのパスワード |
| Maximum number of rows for a single import | 10000 | N | 単一インポートの最大行数 |
| Maximum bytes for a single import | 10485760 (10MB) | N | 単一インポートの最大バイトサイズ |
| Number of import retries | 3 | N | インポート失敗後の再試行回数 |
| StreamLoad properties | -- | N | Streamloadリクエストヘッダー |
| Delete Mode | N | N | 削除モードを有効にするかどうか。デフォルトでは、Stream Loadはinsert操作を実行します。削除モードが有効になると、すべてのStream Load書き込みは削除操作になります。 |