バージョン: 26.x

AWS Glue

この文書では、CREATE CATALOGを使用してAWS Glue カタログ経由でIcebergTableまたはHiveTableにアクセスする際のパラメータ設定について説明します。

サポートされているGlue Catalogタイプ

AWS Glue Catalogは現在3つのタイプのCatalogをサポートしています：

カタログタイプ	タイプ Identifier (`type`)	デスクリプション
Hive	glue	カタログ for connecting to Hive Metastore
Iceberg	glue	カタログ for connecting to Iceberg table format
Iceberg	rest	カタログ for connecting to Iceberg table format via Glue Rest カタログ

この文書では、ユーザーの設定を容易にするため、各タイプの詳細なパラメータ説明を提供します。

共通パラメータ概要

パラメータ名	デスクリプション	Required	デフォルト値
`glue.region`	AWS Glue region, e.g., `us-east-1`	Yes	None
`glue.endpoint`	AWS Glue endpoint, e.g., `https://glue.us-east-1.amazonaws.com`	Yes	None
`glue.access_key`	AWS Access Key ID	Yes	Empty
`glue.secret_key`	AWS Secret Access Key	Yes	Empty
`glue.catalog_id`	Glue カタログ ID (not supported yet)	No	Empty
`glue.role_arn`	IAM Role ARN for accessing Glue (supported since 3.1.2+)	No	Empty
`glue.external_id`	IAM External ID for accessing Glue (supported since 3.1.2+)	No	Empty

認証パラメータ

Glueへのアクセスには認証情報が必要で、以下の2つの方法をサポートしています：

Access Key認証

glue.access_keyとglue.secret_keyで提供されるAccess Keyを通じてGlueへのアクセスを認証します。
IAM Role認証（3.1.2+でサポート）

glue.role_arnで提供されるIAM Roleを通じてGlueへのアクセスを認証します。

この方法では、DorisがAWS EC2上にデプロイされている必要があり、EC2インスタンスにはGlueへのアクセス権限を持つIAM Roleがバインドされている必要があります。

External ID経由でのアクセスが必要な場合は、glue.external_idも設定する必要があります。

注意事項：

2つの方法のうち少なくとも1つは設定する必要があります。両方の方法が設定されている場合、Access Key認証が優先されます。

例：

```sql
CREATE CATALOG hive_glue_catalog PROPERTIES (
  'type' = 'hms',
  'hive.metastore.type' = 'glue',
  'glue.region' = 'us-east-1',
  'glue.endpoint' = 'https://glue.us-east-1.amazonaws.com',
  -- Using Access Key authentication
  'glue.access_key' = '<YOUR_ACCESS_KEY>',
  'glue.secret_key' = '<YOUR_SECRET_KEY>'
  -- Or using IAM Role authentication
  -- 'glue.role_arn' = '<YOUR_ROLE_ARN>',
  -- 'glue.external_id' = '<YOUR_EXTERNAL_ID>'
);
```

Hive Glue カタログ

Hive Glue CatalogはAWS GlueのHive Metastore互換インターフェースを通じてHiveTableにアクセスするために使用されます。設定は以下の通りです：

パラメータ名	デスクリプション	Required	デフォルト値
`type`	`hms`に固定	Yes	None
`hive.metastore.type`	`glue`に固定	Yes	None
`glue.region`	AWS Glueリージョン、例：`us-east-1`	Yes	None
`glue.endpoint`	AWS Glueエンドポイント、例：`https://glue.us-east-1.amazonaws.com`	Yes	None
`glue.access_key`	AWS Access Key ID	No	Empty
`glue.secret_key`	AWS Secret Access Key	No	Empty
`glue.catalog_id`	Glue カタログ ID（まだサポートされていません）	No	Empty
`glue.role_arn`	GlueにアクセスするためのIAM Role ARN	No	Empty
`glue.external_id`	GlueにアクセスするためのIAM External ID	No	Empty

例

CREATE CATALOG hive_glue_catalog PROPERTIES (
  'type' = 'hms',
  'hive.metastore.type' = 'glue',
  'glue.region' = 'us-east-1',
  'glue.endpoint' = 'https://glue.us-east-1.amazonaws.com',
  'glue.access_key' = 'YOUR_ACCESS_KEY',
  'glue.secret_key' = 'YOUR_SECRET_KEY'
);

Iceberg Glue カタログ

Iceberg Glue CatalogはGlue Clientを通じてGlueにアクセスします。設定は以下の通りです：

パラメータ名	説明	必須	デフォルト値
`type`	`iceberg`に固定	Yes	None
`iceberg.catalog.type`	`glue`に固定	Yes	None
`warehouse`	Icebergデータウェアハウスパス、例：`s3://my-bucket/iceberg-warehouse/`	Yes	s3://doris
`glue.region`	AWS Glueリージョン、例：`us-east-1`	Yes	None
`glue.endpoint`	AWS Glueエンドポイント、例：`https://glue.us-east-1.amazonaws.com`	Yes	None
`glue.access_key`	AWS Access Key ID	No	Empty
`glue.secret_key`	AWS Secret Access Key	No	Empty
`glue.catalog_id`	Glue カタログ ID（まだサポートされていません）	No	Empty
`glue.role_arn`	GlueにアクセスするためのIAM Role ARN（まだサポートされていません）	No	Empty
`glue.external_id`	GlueにアクセスするためのIAM External ID（まだサポートされていません）	No	Empty

例

CREATE CATALOG iceberg_glue_catalog PROPERTIES (
  'type' = 'iceberg',
  'iceberg.catalog.type' = 'glue',
  'glue.region' = 'us-east-1',
  'glue.endpoint' = 'https://glue.us-east-1.amazonaws.com',
  'glue.access_key' = '<YOUR_ACCESS_KEY>',
  'glue.secret_key' = '<YOUR_SECRET_KEY>'
);

Iceberg Glue Rest カタログ

Iceberg Glue Rest CatalogはGlue Rest Catalogインターフェースを通じてGlueにアクセスします。現在、AWS S3 Table Bucketに保存されたIcebergTableのみをサポートしています。設定は以下の通りです：

パラメータ名	説明	必須	デフォルト値
`type`	`iceberg`で固定	はい	なし
`iceberg.catalog.type`	`rest`で固定	はい	なし
`iceberg.rest.uri`	Glue Restサービスエンドポイント、例：`https://glue.ap-east-1.amazonaws.com/iceberg`	はい	なし
`warehouse`	Icebergデータウェアハウスパス、例：`<account_id>:s3tablescatalog/<bucket_name>`	はい	なし
`iceberg.rest.sigv4-enabled`	V4署名形式を有効化、`true`で固定	はい	なし
`iceberg.rest.signing-name`	署名タイプ、`glue`で固定	はい	空
`iceberg.rest.access-key-id`	Glueにアクセスするためのアクセスキー（S3 Bucketのアクセスにも使用）	はい	空
`iceberg.rest.secret-access-key`	Glueにアクセスするためのシークレットキー（S3 Bucketのアクセスにも使用）	はい	空
`iceberg.rest.signing-region`	AWS Glueリージョン、例：`us-east-1`	はい	空

例

CREATE CATALOG glue_s3 PROPERTIES (
  'type' = 'iceberg',
  'iceberg.catalog.type' = 'rest',
  'iceberg.rest.uri' = 'https://glue.<region>.amazonaws.com/iceberg',
  'warehouse' = '<acount_id>:s3tablescatalog/<s3_table_bucket_name>',
  'iceberg.rest.sigv4-enabled' = 'true',
  'iceberg.rest.signing-name' = 'glue',
  'iceberg.rest.access-key-id' = '<ak>',
  'iceberg.rest.secret-access-key' = '<sk>',
  'iceberg.rest.signing-region' = '<region>'
);

許可ポリシー

使用シナリオに応じて、読み取り専用と読み書きのポリシーに分けることができます。

1. Read-Only Permissions

Glue CatalogからデータベースとTable情報の読み取りのみを許可します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "GlueCatalogReadOnly",
      "Effect": "Allow",
      "Action": [
        "glue:GetCatalog",
        "glue:GetDatabase",
        "glue:GetDatabases",
        "glue:GetTable",
        "glue:GetTables",
        "glue:GetPartitions"
      ],
      "Resource": [
        "arn:aws:glue:<region>:<account-id>:catalog",
        "arn:aws:glue:<region>:<account-id>:database/*",
        "arn:aws:glue:<region>:<account-id>:table/*/*"
      ]
    }
  ]
}

2. Read-Write Permissions

読み取り専用権限に基づいて、データベースとTableの作成/変更/削除を許可します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "GlueCatalogReadWrite",
      "Effect": "Allow",
      "Action": [
        "glue:GetCatalog",
        "glue:GetDatabase",
        "glue:GetDatabases",
        "glue:GetTable",
        "glue:GetTables",
        "glue:GetPartitions",
        "glue:CreateDatabase",
        "glue:UpdateDatabase",
        "glue:DeleteDatabase",
        "glue:CreateTable",
        "glue:UpdateTable",
        "glue:DeleteTable"
      ],
      "Resource": [
        "arn:aws:glue:<region>:<account-id>:catalog",
        "arn:aws:glue:<region>:<account-id>:database/*",
        "arn:aws:glue:<region>:<account-id>:table/*/*"
      ]
    }
  ]
}

注釈

Placeholder Replacement
- <region> → あなたのAWSリージョン（例：us-east-1）。
- <account-id> → あなたのAWSアカウントID（12桁の数字）。
Principle of Least Privilege
- クエリのみを行う場合は、書き込み権限を付与しないでください。
- *を特定のデータベース/TableのARNに置き換えることで、権限をさらに制限できます。
S3 Permissions
- 上記のポリシーはGlue Catalogのみに関連しています。
- データファイルを読み取る必要がある場合は、追加のS3権限が必要です（s3:GetObject、s3:ListBucketなど）。

サポートされているGlue Catalogタイプ​

共通パラメータ概要​

認証パラメータ​

Hive Glue カタログ​

例​

Iceberg Glue カタログ​

例​

Iceberg Glue Rest カタログ​

例​

許可ポリシー​

1. Read-Only Permissions​

2. Read-Write Permissions​

注釈​