メインコンテンツまでスキップ

Import

Importモジュールは、データ統合のための統一された視覚的なインターフェースを提供します。外部ソースからVeloDB Cloudウェアハウスにデータをシームレスに取り込むことができ、バッチ読み込みと自動テーブル作成による継続的な取り込みの両方をサポートしています。

左ナビゲーションのWork with dataグループからImportを開き、右上の**+ Add Import Job**をクリックして新しいタスクを開始します。

サポートされているデータソース​

Importは現在3つのカテゴリのソースをサポートしています：

カテゴリソース
DatabasesMySQL、PostgreSQL
Object StorageAmazon S3（およびS3互換ストレージ）
Event StreamsConfluent Cloud、Apache Kafka、Amazon MSK

インポートジョブの作成​

設定の詳細はソースタイプによって異なりますが、すべてのソースで同じ4ステップのウィザードと継続的な管理ビューを使用します。以下のウォークスルーでは、データベースソース（PostgreSQL）を例として使用しています。

1. データソースの選択​

Importページで**+ Add Import Job**をクリックし、必要なカテゴリからソースカード（例：PostgreSQL）を選択します。

import-select-source

2. ソース接続の設定​

VeloDB Cloudがソースにアクセスできるよう、ウィザードが要求するフィールドを入力します：

  • Job Name：ジョブの一意で説明的な名前。
  • Connection credentials：ソースに応じて、ホスト、ポート、データベース、ユーザー名、パスワード、またはAK/SK。オプションでSSLを有効化。

Nextをクリックします。ウィザードはバックグラウンドでネットワーク接続性と認証情報を検証します。

import-configure-connection

3. テーブルの設定​

ターゲットデータベースと読み取るデータを定義します：

  • Target Database：既存のデータベースに書き込むか、新しいものを作成します。
  • Sync Type：Full + IncrementalまたはIncrementalのみ。
  • Tables to migrate
    • Databases: 同期するスキーマとテーブルを選択します。テーブルを展開してColumn Settingsでカラムレベルのフィルタリングを適用します。
    • Event Streams: 消費するトピックと開始オフセットを指定します。
    • Object Storage: バケットパスとファイルマッチングパターンを指定します。

import-sync-scope

4. Settings​

ジョブの実行方法を調整します：

  • Sync Interval：データを取得する頻度（秒単位；デフォルトは60）。
  • Strict Mode：インポート時に厳密なカラムタイプ変換を強制します。

import-settings

5. 確認と承認​

事前チェックが自動的に実行されます：ネットワーク到達可能性、ソース側の権限（例：CDCに必要なWAL/binlogアクセス）、およびターゲット側のテーブル作成と書き込み権限。

すべての項目がSucceededと表示されたら、Startをクリックしてジョブを起動します。

import-verify

6. 管理とモニタリング​

開始後、Importジョブリストに戻り、各ジョブのステータス（Running、Paused、Failedなど）と作成時間を追跡できます。ジョブの隣にある...メニューを使用して、Pause、Resume、Edit、またはDeleteを実行します。

import-manage