AWS Glue Iceberg カタログへの接続

このガイドでは、ビジュアルインターフェースを使用してVeloDB CloudをAWS Glue Icebergカタログに接続する方法について説明します。

警告

前提条件: 続行する前に、AWS Setup Guideを完了してS3バケット、Glueデータベース、適切な権限を持つIAMユーザーを作成してください。

ステップ1: カタログに移動

VeloDBウェアハウスで、左サイドバーのDevelopmentセクション下のDataセクションを見つけ、Catalogsをクリックします。

Add External Catalogボタンがあるカタログページが表示されます。

ステップ2: 外部カタログの追加

Add External Catalogをクリックして、利用可能なカタログタイプを表示します。

利用可能なカタログタイプには以下が含まれます:

• AWS Glue - Glue管理のIceberg/Hiveテーブル用
• Hive Metastore - オンプレミスHive用
• Amazon S3 Tables - S3ネイティブテーブル用
• Iceberg REST Catalog - Polaris、Gravitino、Tabular用
• Apache Polaris - Polarisカタログ用

ステップ3: AWS Glueの選択

AWS Glueをクリックして設定フォームを開きます。

ステップ4: カタログ設定の構成

AWS Setup Guideの値を使用してフォームに入力します:

基本情報

フィールド	説明	例
Catalog Name	カタログの一意識別子	glue_iceberg_useast1
Comment	オプションの説明	AWS Glue Iceberg catalog

メタストア設定

フィールド	説明	例
Table Format	IcebergまたはHiveを選択	Iceberg
Warehouse	IcebergウェアハウスへのS3パス	s3://my-bucket/iceberg
AWS Glue Region	GlueカタログのAWSリージョン	us-east-1
AWS Glue Endpoint	Glue APIエンドポイント	https://glue.us-east-1.amazonaws.com

認証

フィールド	説明
Authentication Type	Access KeyまたはIAM Role
AK (Access Key)	AWS Access Key ID
SK (Secret Key)	AWS Secret Access Key

ストレージ

S3アクセスに同じ認証情報を使用するため、**"Use the authentication details configured for Metastore access"**にチェックを入れたままにしておきます。

備考

AKとSKフィールドには、AWS Setup Guideから実際のAWS認証情報を入力してください。

ステップ5: カタログの作成

Confirmをクリックしてカタログを作成します。

VeloDBはAWS Glueへの接続を検証します。成功した場合、成功通知が表示され、カタログがリストに表示されます。

ステップ6: SQLでの検証

左サイドバーのQuery > SQL Editorに移動してカタログ接続をテストします。セットアップを検証するために以下のクエリを実行してください（your_catalog_nameとyour_databaseを実際の名前に置き換えてください）:

全カタログの一覧表示

SHOW CATALOGS;

期待される出力: リストに新しいGlueカタログが表示されるはずです。

カタログ内のデータベース一覧表示

-- Replace 'your_catalog_name' with your catalog name (e.g., glue_iceberg_useast1)
SHOW DATABASES FROM your_catalog_name;

データベース内のテーブルを一覧表示する

-- Replace with your catalog and database names
SHOW TABLES FROM your_catalog_name.your_database;

Iceberg テーブルからデータをクエリする

-- Example: Query the sample table created in Setup Step 5
SELECT * FROM your_catalog_name.lakehouse_iceberg_db.sample_table LIMIT 10;

備考

外部でデータを書き込んだ後にテーブルが表示されない場合は、REFRESH CATALOG your_catalog_name;を実行してメタデータキャッシュをクリアしてください。

---

トラブルシューティング

問題	解決方法
"Cannot convert namespace to Glue database name"	データベース名にハイフンが含まれています。アンダースコアのみを使用してください。
"Lake Formation permission denied"	AWS CLIを通じてLake Formationの権限を付与してください。AWS Setup Guideを参照してください。
"Connection timeout"	VeloDBウェアハウスとAWS Glueが同じリージョンにあることを確認してください。
データ書き込み後の"Table does not exist"	REFRESH CATALOG catalog_name;を実行してメタデータキャッシュをクリアしてください。