メインコンテンツまでスキップ
バージョン: 2.1

BladePipe

BladePipeはリアルタイムエンドツーエンドデータレプリケーションツールで、30以上のデータベース、メッセージキュー、検索エンジン、キャッシュ、リアルタイムデータウェアハウス、データレイクなどの間でデータを移動し、3秒未満の超低レイテンシを実現します。効率性、安定性、拡張性、多様なデータベースエンジンとの互換性、ワンストップ管理、強化されたセキュリティ、複雑なデータ変換機能を特徴としています。

機能​

BladePipeはビジュアル管理インターフェースを提供し、スキーマ移行、データ移行、同期、検証および修正などを実現するDataJobsを簡単に作成できます。さらに、パラメータ設定により、より細かくカスタマイズされた設定をサポートしています。現在、BladePipeは以下のソースDataSourceからDorisへのデータ移動をサポートしています：

Source DataSourceSchema MigrationData MigrationData SyncVerification & Correction
MySQL/MariaDB/AuroraMySQLYesYesYesYes
OracleYesYesYesYes
PostgreSQL/AuroraPostgreSQLYesYesYesYes
SQL サーバーYesYesYesYes
KafkaNoNoYesNo
AutoMQNoNoYesNo
TiDBYesYesYesYes
HanaYesYesYesYes
PolarDB-XYesYesYesYes
備考

より多くの機能とパラメータ設定については、BladePipe Connectionsを参照してください。

インストール​

Install Worker (Docker)またはInstall Worker (Binary)の指示に従って、BladePipe Workerをダウンロードおよびインストールしてください。

例​

MySQLインスタンスを例に、MySQLからDorisへのデータ移動方法を説明します。

DataSourcesの追加​

  1. BladePipe Cloudにログインします。DataSource > Add DataSourceをクリックします。

  2. Typeとして、それぞれMySQLとDorisを選択し、設定フォームに適切に記入します。 Add DataSources-1

  3. Test Connectionをクリックします。接続が成功したら、Add DataSourceをクリックしてDataSourceを追加します。 Add DataSources-2

DataJobの作成​

  1. DataJob > Create DataJobをクリックします。

  2. ソースとターゲットのDataSourcesを選択し、Test ConnectionをクリックしてソースとターゲットのDataSourcesの両方への接続が成功することを確認します。 Create a DataJob-1

  3. DataJob TypeでIncrementalを選択し、Full Dataオプションも併せて選択します。 Create a DataJob-2

  4. レプリケートするTableを選択します。 Create a DataJob-3

  5. レプリケートするカラムを選択します。 Create a DataJob-4

  6. DataJobの作成を確認します。

  7. DataJobは自動的に実行されます。BladePipeは以下のDataTasksを自動的に実行します：

  • Schema Migration: ソースTableのスキーマがターゲットインスタンスに移行されます。
  • Full Data: ソースTableの既存データがすべてターゲットインスタンスに完全に移行されます。
  • Incremental: 継続的なデータ変更がターゲットインスタンスに継続的に同期されます。 Create a DataJob-5