メインコンテンツまでスキップ

BladePipe

BladePipeはリアルタイムエンドツーエンドデータレプリケーションツールで、30以上のデータベース、メッセージキュー、検索エンジン、キャッシング、リアルタイムデータウェアハウス、データレークなどの間でデータを移動し、3秒未満の超低レイテンシを実現します。効率性、安定性、スケーラビリティ、多様なデータベースエンジンとの互換性、ワンストップ管理、強化されたセキュリティ、および複雑なデータ変換を特徴としています。

機能​

BladePipeはビジュアル管理インターフェースを提供し、DataJobを簡単に作成してスキーマ移行、データ移行、同期、検証、修正などを実現できます。さらに、パラメータ設定により、より詳細でカスタマイズされた設定がサポートされます。現在BladePipeは、以下のソースDataSourceからDorisへのデータ移動をサポートしています：

ソースDataSourceスキーマ移行データ移行データ同期検証・修正
MySQL/MariaDB/AuroraMySQLYesYesYesYes
OracleYesYesYesYes
PostgreSQL/AuroraPostgreSQLYesYesYesYes
SQL ServerYesYesYesYes
KafkaNoNoYesNo
AutoMQNoNoYesNo
TiDBYesYesYesYes
HanaYesYesYesYes
PolarDB-XYesYesYesYes
備考

より多くの機能とパラメータ設定については、BladePipe Connectionsをご参照ください。

インストール​

Install Worker (Docker)またはInstall Worker (Binary)の手順に従って、BladePipe Workerをダウンロードしてインストールしてください。

例​

MySQLインスタンスを例にして、以下の部分ではMySQLからDorisにデータを移動する方法について説明します。

DataSourceの追加​

  1. BladePipe Cloudにログインします。DataSource > Add DataSourceをクリックします。

  2. それぞれTypeとしてMySQLとDorisを選択し、設定フォームを適切に入力します。 Add DataSources-1

  3. Test Connectionをクリックします。接続が成功した後、Add DataSourceをクリックしてDataSourceを追加します。 Add DataSources-2

DataJobの作成​

  1. DataJob > Create DataJobをクリックします。

  2. ソースとターゲットのDataSourceを選択し、Test ConnectionをクリックしてソースとターゲットのDataSourceへの接続が両方とも成功していることを確認します。 Create a DataJob-1

  3. DataJob TypeとしてIncrementalを選択し、Full Dataオプションも選択します。 Create a DataJob-2

  4. レプリケーションするテーブルを選択します。 Create a DataJob-3

  5. レプリケーションするカラムを選択します。 Create a DataJob-4

  6. DataJobの作成を確認します。

  7. DataJobは自動的に実行されます。BladePipeは以下のDataTaskを自動的に実行します：

  • Schema Migration：ソーステーブルのスキーマがターゲットインスタンスに移行されます。
  • Full Data：ソーステーブルの既存データすべてがターゲットインスタンスに完全移行されます。
  • Incremental：継続的なデータ変更がターゲットインスタンスに継続的に同期されます。 Create a DataJob-5