Amazon S3 Tables

Amazon S3 Tables は AWS が導入したテーブル形式のデータに最適化されたストレージサービスで、Apache Iceberg 形式をネイティブサポートします。

VeloDB Cloud は AWS Glue Iceberg REST エンドポイント経由で S3 Tables に接続します。AWS Lake Formation で S3 Tables 統合を有効にすると、AWS Glue が Data Catalog 内に s3tablescatalog という名前のフェデレーテッドカタログを作成します。VeloDB Cloud は、このディレクトリの Iceberg REST API を通じて S3 Tables データにアクセスします。

前提条件

Amazon S3 Tables Catalog を作成する前に、AWS 側で以下の準備が完了していることを確認してください。

1. S3 Table Bucket の作成

まず、AWS S3 で Table Bucket を作成する必要があります：

AWS S3 Console にサインインします。
左側のナビゲーションバーで、Table buckets を選択します。
Create table bucket をクリックします。
バケット名を入力し、リージョンを選択します。
作成を完了します。

2. Lake Formation で S3 Tables 統合を有効化

AWS Glue Iceberg REST エンドポイント経由で S3 Tables にアクセスするには、まず Lake Formation で統合を有効にする必要があります：

AWS Lake Formation Console にサインインします。
左側のナビゲーションバーで、Data Catalog > Catalogs を選択します。
ページ上部のプロンプトバナーで、Enable S3 Table integration ボタンをクリックします。

aws-s3-tables-1

有効にすると、AWS Glue が自動的に s3tablescatalog という名前のフェデレーテッドカタログを作成し、S3 Table Buckets がその中のサブディレクトリとして表示されます。

詳細な手順については、AWS 公式ドキュメントを参照してください：Creating an Amazon S3 Tables catalog in the AWS Glue Data Catalog

3. Namespace とテーブルの作成

S3 Table Bucket 内に Namespace とテーブルを作成します：

S3 Console の Table buckets ページで、Table Bucket を選択します。
Namespace を作成します。
Namespace 内にテーブルを作成します。

4. Lake Formation 権限の設定

Lake Formation で必要な権限を付与します：

AWS Lake Formation Console にサインインします。
左側のナビゲーションバーで、Permissions → Data permissions を選択します。
Grant をクリックします。
以下のオプションを設定します：
- Principals: IAM users and roles を選択し、IAM ユーザーまたはロールを選択します。
- LF-Tags or catalog resources: Named Data Catalog resources を選択します。
- Catalogs: s3tablescatalog を選択します。
- Databases: s3tablescatalog/<table-bucket-name> 下の対象データベースを選択するか、All databases を選択します。
- Tables: 対象テーブルまたは All tables を選択します。
必要な権限にチェックを入れます：
- Table permissions: Select、Insert、Delete、Describe、Alter、Drop など。
Grant をクリックします。

5. IAM 権限の設定

S3 Tables にアクセスする IAM ユーザー/ロールに対して、以下の権限ポリシーを設定します：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "GlueCatalogAccess",
            "Effect": "Allow",
            "Action": [
                "glue:GetCatalog",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:CreateDatabase",
                "glue:UpdateDatabase",
                "glue:DeleteDatabase",
                "glue:GetTable",
                "glue:GetTables",
                "glue:CreateTable",
                "glue:UpdateTable",
                "glue:DeleteTable",
                "glue:GetUserDefinedFunction",
                "glue:GetUserDefinedFunctions",
                "glue:DeleteUserDefinedFunction"
            ],
            "Resource": [
                "arn:aws:glue:<region>:<account-id>:catalog",
                "arn:aws:glue:<region>:<account-id>:catalog/s3tablescatalog",
                "arn:aws:glue:<region>:<account-id>:catalog/s3tablescatalog/<table-bucket-name>",
                "arn:aws:glue:<region>:<account-id>:database/s3tablescatalog/<table-bucket-name>/*",
                "arn:aws:glue:<region>:<account-id>:table/s3tablescatalog/<table-bucket-name>/*/*",
                "arn:aws:glue:<region>:<account-id>:userDefinedFunction/s3tablescatalog/<table-bucket-name>/*/*"
            ]
        },
        {
            "Sid": "S3TablesAccess",
            "Effect": "Allow",
            "Action": [
                "s3tables:GetTableBucket",
                "s3tables:ListTableBuckets",
                "s3tables:CreateNamespace",
                "s3tables:GetNamespace",
                "s3tables:ListNamespaces",
                "s3tables:DeleteNamespace",
                "s3tables:CreateTable",
                "s3tables:GetTable",
                "s3tables:ListTables",
                "s3tables:UpdateTableMetadataLocation",
                "s3tables:GetTableMetadataLocation",
                "s3tables:RenameTable",
                "s3tables:DeleteTable",
                "s3tables:GetTableData",
                "s3tables:PutTableData"
            ],
            "Resource": [
                "arn:aws:s3tables:<region>:<account-id>:bucket/<table-bucket-name>",
                "arn:aws:s3tables:<region>:<account-id>:bucket/<table-bucket-name>/*"
            ]
        },
        {
            "Sid": "LakeFormationDataAccess",
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

設定手順

<region>を実際のAWSリージョン（例：us-east-1）に置き換えます。

<account-id>をあなたのAWS Account IDに置き換えます。

<table-bucket-name>をあなたのS3 Table Bucket名に置き換えます。

6. ネットワーク要件

VeloDB CloudがS3 Table Glue RESTエンドポイントにアクセスできる必要があります。
VeloDB Cloudがデータストレージ（例：S3）にアクセスできる必要があります。

SaaS ModeでのVeloDB Cloud

Warehouseと同じリージョンのS3 Table Glue RESTエンドポイントとS3 Bucketsにのみアクセス可能です。

BYOC ModeでのVeloDB Cloud

S3 Table Glue RESTエンドポイントとS3 Bucketサービスへのアクセスには、デプロイメント時のネットワークポリシーを参照する必要があります。create-vpc-network-resourcesを参照してください。

Catalogの作成

VeloDB CloudでAmazon S3 Tables Catalogを作成するには、以下の手順に従ってください。

ステップ1: 作成ページへの移動

VeloDB Cloud Consoleにサインインします。
左側のナビゲーションバーで、Catalogsをクリックします。
Add External Catalogボタンをクリックします。
Data Lakeカテゴリの下で、Amazon S3 Tablesを選択します。

ステップ2: 基本情報の入力

基本情報セクションで、Catalogの基本識別情報を設定します。

aws-s3-tables-2

フィールド	必須	説明
Catalog Name	✓	Catalogの一意な名前で、SQLクエリでこのデータソースを識別するために使用されます。
Comment		オプションの説明。

ステップ3: Metastoreの設定

Metastoreセクションで、S3 Tablesに接続するために必要な情報を設定します。S3 TablesはAWS Glueが提供するIceberg REST Catalogインターフェースを使用します。

aws-s3-tables-3

フィールド	必須	説明
Iceberg REST URI	✓	AWS Glue Iceberg REST APIエンドポイント。形式は`https://glue.<region>.amazonaws.com/iceberg`で、`<region>`はあなたのAWSリージョンです。
Warehouse	✓	S3 Table Bucketの識別子。形式は`<account-id>:s3tablescatalog/<table-bucket-name>`です。AWS S3 ConsoleのTable Bucketsページで確認できます。
Region	✓	S3 Table Bucketが配置されているAWSリージョンで、Glue Iceberg RESTエンドポイントと一致している必要があります。
Signing-name	✓	AWSサービス署名名。S3 Tablesの場合は`glue`を入力します。

Warehouse形式について：

Warehouseの形式は<account-id>:s3tablescatalog/<table-bucket-name>で、3つの部分から構成されます：

<account-id>: あなたのAWS Account ID（12桁）。
s3tablescatalog: これがS3 Tablesディレクトリであることを示す固定プレフィックス。
<table-bucket-name>: S3 Table Bucketの名前。

ステップ4: 認証の設定

認証セクションで、AWSサービスにアクセスするための認証情報を設定します。

aws-s3-tables-4

フィールド	必須	説明
AK	✓	AWS Access Key ID。
SK	✓	AWS Secret Access Key。

セキュリティ推奨事項：

AWSルートアカウントのアクセスキーは使用しないでください。
VeloDB Cloud専用のIAMユーザーを作成してください。
最小権限の原則に従い、S3 Tables、Glue、S3に必要な権限のみを付与してください。
アクセスキーを定期的にローテーションしてください。

ステップ5: 詳細設定（オプション）

詳細設定をクリックして、より多くの設定オプションを展開します。

aws-s3-tables-5

詳細設定には通常以下が含まれます：

メタデータキャッシュの設定。
接続タイムアウト設定。

ヒント: ほとんどのシナリオでは、デフォルト値で十分です。

ステップ6: 作成の確認

すべての設定情報が正しいかを確認します。
確認ボタンをクリックしてCatalogを作成します。
接続検証の完了を待ちます。

作成が成功すると、Catalogリストで新しく作成されたAmazon S3 Tables Catalogを確認できます。

Catalogの使用

作成が成功した後、SQL EditorでCatalogを使用してデータをクエリできます。

NamespaceとTableの表示

-- View all Namespaces under the Catalog
SHOW DATABASES FROM s3_tables_catalog;

-- View all tables under a specific Namespace
SHOW TABLES FROM s3_tables_catalog.my_database;

-- View table structure
DESCRIBE s3_tables_catalog.my_database.my_table;

Query データ

-- Query data
SELECT * FROM s3_tables_catalog.my_database.my_table LIMIT 100;

-- Query with conditions
SELECT column1, column2
FROM s3_tables_catalog.my_database.my_table
WHERE event_date >= '2024-01-01';

前提条件​

1. S3 Table Bucket の作成​

2. Lake Formation で S3 Tables 統合を有効化​

3. Namespace とテーブルの作成​

4. Lake Formation 権限の設定​

5. IAM 権限の設定​

6. ネットワーク要件​

Catalogの作成​

ステップ1: 作成ページへの移動​

ステップ2: 基本情報の入力​

ステップ3: Metastoreの設定​

ステップ4: 認証の設定​

ステップ5: 詳細設定（オプション）​

ステップ6: 作成の確認​

Catalogの使用​

NamespaceとTableの表示​

Query データ​