BladePipe

BladePipeはリアルタイムエンドツーエンドデータレプリケーションツールで、30以上のデータベース、メッセージキュー、検索エンジン、キャッシュ、リアルタイムデータウェアハウス、データレイクなどの間でデータを移動し、3秒未満の超低遅延を実現します。効率性、安定性、スケーラビリティ、多様なデータベースエンジンとの互換性、ワンストップ管理、強化されたセキュリティ、複雑なデータ変換機能を特徴としています。

機能

BladePipeは視覚的な管理インターフェースを提供し、DataJobを簡単に作成してスキーママイグレーション、データマイグレーション、同期、検証と修正などを実現できます。さらに、パラメータ設定により、より細かくカスタマイズされた設定をサポートしています。現在、BladePipeは以下のソースDataSourceからDorisへのデータ移動をサポートしています：

Source DataSource	Schema Migration	Data Migration	Data Sync	Verification & Correction
MySQL/MariaDB/AuroraMySQL	Yes	Yes	Yes	Yes
Oracle	Yes	Yes	Yes	Yes
PostgreSQL/AuroraPostgreSQL	Yes	Yes	Yes	Yes
SQL サーバー	Yes	Yes	Yes	Yes
Kafka	No	No	Yes	No
AutoMQ	No	No	Yes	No
TiDB	Yes	Yes	Yes	Yes
Hana	Yes	Yes	Yes	Yes
PolarDB-X	Yes	Yes	Yes	Yes

備考

その他の機能とパラメータ設定については、BladePipe Connectionsを参照してください。

インストール

Install Worker (Docker)またはInstall Worker (Binary)の手順に従って、BladePipe Workerをダウンロードしてインストールしてください。

例

MySQLインスタンスを例として、以下の部分ではMySQLからDorisにデータを移動する方法について説明します。

DataSourceの追加

1. BladePipe Cloudにログインします。DataSource > Add DataSourceをクリックします。

2. Typeとしてそれぞれ MySQL と Doris を選択し、設定フォームに適宜入力します。

3. Test Connectionをクリックします。接続が成功したら、Add DataSourceをクリックしてDataSourceを追加します。

DataJobの作成

1. DataJob > Create DataJobをクリックします。

2. ソースとターゲットのDataSourceを選択し、Test ConnectionをクリックしてソースとターゲットのDataSourceへの接続が両方とも成功することを確認します。

3. DataJob TypeとしてIncrementalを選択し、Full Dataオプションも選択します。

4. レプリケート対象のTableを選択します。

5. レプリケート対象のカラムを選択します。

6. DataJobの作成を確認します。

7. DataJobが自動的に実行されます。BladePipeは以下のDataTaskを自動的に実行します：

• Schema Migration: ソースTableのスキーマがターゲットインスタンスにマイグレーションされます。
• Full Data: ソースTableの既存データがすべてターゲットインスタンスに完全にマイグレーションされます。
• Incremental: 継続的なデータ変更がターゲットインスタンスに継続的に同期されます。