メインコンテンツまでスキップ

Iceberg REST カタログ

Iceberg REST Catalogは、Apache Icebergによって定義された標準のREST API仕様であり、Icebergテーブルメタデータを管理およびアクセスするための汎用的な方法を提供します。この仕様を実装するサービスはすべて、Iceberg REST Catalogとして使用できます。

Iceberg REST Catalogを作成することで、VeloDB Cloud内でIceberg REST仕様に対応した任意のCatalogサービスに接続できます。

ヒント: Apache PolarisやAmazon S3 Tablesをお使いの場合は、より特化したCatalogタイプの使用を推奨します。これらはより的確な設定オプションを提供するためです。

前提条件​

Iceberg REST Catalogを作成する前に、以下の条件が満たされていることを確認してください：

REST Catalogサービスの準備​

  • Iceberg REST Catalogサービスがデプロイされ、VeloDB Cloudからネットワーク経由でアクセス可能である
  • REST Catalogで認証が有効化されている場合は、OAuth2認証情報（Client ID、Client Secret）を準備する

ストレージの準備​

  • REST CatalogがVended Credentialsをサポートしている場合は、追加のストレージ認証情報は不要
  • Vended Credentialsをサポートしていない場合は、ストレージにアクセスするための認証情報（例：AWS Access Key）を準備する

ネットワーク要件​

  • VeloDB CloudがREST Catalogサービスエンドポイントにアクセスできる
  • VeloDB Cloudがデータストレージ（例：S3）にアクセスできる

SaaSモードのVeloDB Cloudの場合:

  • Iceberg RESTサービスにアクセスするには、VeloDBがVPCにアクセスできるようにする必要がある場合があります。velodb-accesses-your-vpcを参照してください。
  • Warehouseと同じRegionにあるS3 Bucketのみアクセスできます。

BYOCモードのVeloDB Cloudの場合:

  • Iceberg RESTサービスとS3 Bucketにアクセスするには、デプロイ時のネットワークポリシーを参照する必要があります。create-vpc-network-resourcesを参照してください。

Catalogの作成​

以下の手順に従って、VeloDB CloudでIceberg REST Catalogを作成します。

ステップ1: 作成ページへの移動​

  1. VeloDB Cloudコンソールにサインインします。
  2. 左側のナビゲーションバーでCatalogsをクリックします。
  3. Add External Catalogボタンをクリックします。
  4. Data LakeカテゴリでIceberg REST Catalogを選択します。

ステップ2: 基本情報の入力​

Basic Informationセクションで、Catalogの基本識別情報を設定します。

irc-1

フィールド必須説明
Catalog Name✓Catalogの一意な名前で、SQLクエリでこのデータソースを識別するために使用されます。
Commentオプションの説明。

ステップ3: Metastoreの設定​

Metastoreセクションで、REST CatalogサービスのConnection情報を設定します。

irc-2

Connection設定​

フィールド必須説明
URI✓REST CatalogサービスのAPIエンドポイントアドレス。Iceberg REST APIのエントリURLです。
Warehouse✓Icebergテーブルのデータウェアハウス識別子。REST Catalogの実装によって形式が異なり、ストレージパス（例：s3://bucket/warehouse）やCatalog名になります。

Auth Type​

REST Catalogサービスの要件に基づいて、適切な認証方法を選択します。

None​

REST Catalogサービスで認証が不要な場合は、Noneを選択します。

irc-3

認証を無効化したREST Catalogサービスに適用されます。

OAuth2​

REST CatalogサービスでOAuth2による身元認証を使用する場合は、OAuth2を選択します。

irc-4

フィールド必須説明
Client ID✓OAuth2 Client ID。REST Catalogサービスによって提供されます。
Client Secret✓OAuth2 Client Secret。Client IDと組み合わせて認証に使用します。
Scope✓OAuth2権限スコープ。認証情報でアクセス可能なリソースの範囲を定義します。一般的な値はPRINCIPAL_ROLE:ALLです。
Server URIOAuth2 Tokenエンドポイントアドレス。アクセストークンを取得するために使用されるURL。空の場合は、REST CatalogのデフォルトOAuthエンドポイントが使用されます。

ステップ4: Storage Accessの設定​

Storageセクションで、データファイルへのアクセス方法を設定します。

Vended Credentials（推奨）​

Enable Vended Credentialsスイッチは、REST Catalogが発行する一時認証情報を使用してストレージにアクセスするかどうかを制御します。

irc-5

Enable Vended Credentials:

  • REST Catalogが各リクエストに対して動的に一時ストレージアクセス認証情報を発行します。
  • VeloDB Cloudで長期間のストレージ認証情報を設定する必要がありません。
  • 認証情報は自動的にローテーションされ、より高いセキュリティを提供します。

適用シナリオ:

  • REST CatalogサービスがCredential Vendingをサポートし、設定されている。
  • ストレージアクセス権限を集中管理したい。
  • より高いセキュリティを求める。

注意: すべてのREST Catalog実装がVended Credentialsをサポートしているわけではありません。REST Catalogサービスがこの機能をサポートしているかどうかを確認してください。

手動Storage認証情報設定​

Enable Vended Credentialsスイッチをオフにした後、対応するS3 Bucketへのアクセス権限を持つ認証情報を手動で設定する必要があります。

権限ポリシーの参考：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:GetObjectVersion",
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:ListBucket",
                "s3:GetBucketLocation",
                "s3:AbortMultipartUpload",
                "s3:ListMultipartUploadParts"
            ],
            "Resource": [
                "arn:aws:s3:::<bucket-name>",
                "arn:aws:s3:::<bucket-name>/*"
            ]
        }
    ]
}

irc-6

FieldRequiredDescription
Region✓ストレージバケットが配置されているリージョン（例：us-east-1）。
Authentication✓認証方法、Access Keyを選択します。
AK✓AWS Access Key ID。
SK✓AWS Secret Access Key。

適用シナリオ：

  • REST CatalogはVended Credentialsをサポートしていません。
  • 特定のストレージアクセス認証情報が必要です。

ステップ5：詳細設定（オプション）​

Advanced Settingsをクリックして、より多くの設定オプションを展開します。

irc-7

詳細設定には通常以下が含まれます：

  • メタデータキャッシュ設定
  • 接続タイムアウト設定

ヒント：ほとんどのシナリオでは、デフォルト値で十分です。

ステップ6：作成の確認​

  • すべての設定情報が正しいかどうかを確認します。
  • ConfirmボタンをクリックしてCatalogを作成します。
  • 接続検証が完了するまで待ちます。

作成が成功すると、CatalogリストでIceberg REST Catalogが新規作成されたことを確認できます。

Catalogの使用​

作成が成功した後、このCatalogを使用してSQL Editorでデータをクエリできます。

Namespaceとテーブルの表示​

-- View all Namespaces under the Catalog
SHOW DATABASES FROM iceberg_rest;

-- View all tables under a Namespace
SHOW TABLES FROM iceberg_rest.my_namespace;

-- View table schema
DESCRIBE iceberg_rest.my_namespace.my_table;

クエリデータ​

-- Query data
SELECT * FROM iceberg_rest.my_namespace.my_table LIMIT 100;

-- Query with conditions
SELECT column1, column2
FROM iceberg_rest.my_namespace.my_table
WHERE created_at >= '2024-01-01';