メインコンテンツまでスキップ
バージョン: 4.x

AWS Glue Icebergカタログへの接続

このガイドでは、ビジュアルインターフェースを使用してVeloDB CloudをAWS Glue Icebergカタログに接続する手順を説明します。

警告

前提条件: 続行する前に、AWS Setup Guideを完了してS3バケット、Glueデータベース、適切な権限を持つIAMユーザーを作成してください。

ステップ 1: カタログsに移動​

VeloDBウェアハウスで、左サイドバーのDevelopmentの下にあるDataセクションを探し、カタログsをクリックします。

Add 外部カタログボタンがあるカタログsページが表示されます。

カタログs Page

ステップ 2: 外部カタログの追加​

Add 外部カタログをクリックして、利用可能なカタログタイプを表示します。

Add 外部カタログ Options

利用可能なカタログタイプには以下があります:

  • AWS Glue - Glue管理のIceberg/HiveTable用
  • Hive Metastore - オンプレミスHive用
  • Amazon S3 Tables - S3ネイティブTable用
  • Iceberg REST カタログ - Polaris、Gravitino、Tabular用
  • Apache Polaris - Polarisカタログ用

ステップ 3: AWS Glueの選択​

AWS Glueをクリックして設定フォームを開きます。

AWS Glue Form

ステップ 4: カタログ設定の構成​

AWS Setup Guideの値を使用してフォームを入力します:

基本情報​

FieldデスクリプションExample
カタログ Nameカタログの一意識別子glue_iceberg_useast1
コメントオプションの説明AWS Glue Iceberg catalog

Metastore設定​

FieldデスクリプションExample
Table FormatIcebergまたはHiveを選択Iceberg
WarehouseIcebergウェアハウスへのS3パスs3://my-bucket/iceberg
AWS Glue RegionGlueカタログのAWSリージョンus-east-1
AWS Glue EndpointGlue APIエンドポイントhttps://glue.us-east-1.amazonaws.com

認証​

Fieldデスクリプション
認証 タイプAccess KeyまたはIAM Role
AK (Access Key)AWSアクセスキーID
SK (Secret Key)AWSシークレットアクセスキー

ストレージ​

S3アクセスに同じ認証情報を使用するため、**"Use the authentication details configured for Metastore access"**にチェックを入れたままにします。

備考

AKとSKフィールドには、AWS Setup Guideの実際のAWS認証情報を入力してください。

ステップ 5: カタログの作成​

Confirmをクリックしてカタログを作成します。

VeloDBがAWS Glueへの接続を検証します。成功すると、成功通知が表示され、カタログがリストに表示されます。

カタログ Created Successfully

ステップ 6: SQLでの確認​

左サイドバーのQuery > SQL Editorに移動して、カタログ接続をテストします。設定を確認するために以下のクエリを実行してください（your_catalog_nameとyour_databaseを実際の名前に置き換えてください）:

全カタログの一覧表示​

SHOW CATALOGS;

期待される出力: リスト内に新しいGlueカタログが表示されるはずです。

カタログ内のデータベースを一覧表示する​

-- Replace 'your_catalog_name' with your catalog name (e.g., glue_iceberg_useast1)
SHOW DATABASES FROM your_catalog_name;

データベース内のTable一覧を取得する​

-- Replace with your catalog and database names
SHOW TABLES FROM your_catalog_name.your_database;

Iceberg Tableからのデータクエリ​

-- Example: Query the sample table created in Setup ステップ 5
SELECT * FROM your_catalog_name.your_database.your_table LIMIT 10;
備考

外部でデータが更新された後にTableが表示されない場合は、REFRESH CATALOG your_catalog_name; を実行してメタデータキャッシュをクリアしてください。

トラブルシューティング​

問題解決方法
"Cannot convert namespace to Glue database name"データベース名にハイフンが含まれています。アンダースコアのみを使用してください。
"Lake Formation permission denied"AWS CLI経由でLake Formationの権限を付与してください。AWS Setup Guideを参照してください。
"Connection timeout"VeloDBウェアハウスとAWS Glueが同じリージョンにあることを確認してください。
外部でデータが更新された後の"Table does not exist"REFRESH CATALOG catalog_name; を実行してメタデータキャッシュをクリアしてください。