バージョン: 2.1

AWS Glue

このドキュメントは、CREATE CATALOGを通じてIceberg tablesまたはHive tablesにアクセスするためにAWS Glue カタログを使用する際のパラメータ設定について説明します。

サポートされているGlue Catalogタイプ

AWS Glue Catalogは現在3つのタイプのCatalogをサポートしています：

カタログタイプ	タイプ Identifier (`type`)	デスクリプション
Hive	glue	カタログ for connecting to Hive Metastore
Iceberg	glue	カタログ for connecting to Iceberg table format
Iceberg	rest	カタログ for connecting to Iceberg table format via Glue Rest カタログ

このドキュメントでは、ユーザーの設定を支援するために各タイプの詳細なパラメータの説明を提供します。

共通パラメータの概要

パラメータ名	デスクリプション	Required	デフォルト値
`glue.region`	AWS Glue region, e.g., `us-east-1`	Yes	None
`glue.endpoint`	AWS Glue endpoint, e.g., `https://glue.us-east-1.amazonaws.com`	Yes	None
`glue.access_key`	AWS Access Key ID	Yes	Empty
`glue.secret_key`	AWS Secret Access Key	Yes	Empty
`glue.catalog_id`	Glue カタログ ID (not supported yet)	No	Empty
`glue.role_arn`	IAM Role ARN for accessing Glue (supported since 3.1.2+)	No	Empty
`glue.external_id`	IAM External ID for accessing Glue (supported since 3.1.2+)	No	Empty

認証パラメータ

Glueにアクセスするには認証情報が必要で、以下の2つの方法をサポートしています：

Access Key認証

glue.access_keyとglue.secret_keyで提供されるAccess Keyを通じてGlueへのアクセスを認証します。
IAM Role認証（3.1.2+以降でサポート）

glue.role_arnで提供されるIAM Roleを通じてGlueへのアクセスを認証します。

この方法では、DorisがAWS EC2上にデプロイされている必要があり、EC2インスタンスにはGlueにアクセスする権限を持つIAM Roleがバインドされている必要があります。

External IDを通じたアクセスが必要な場合は、glue.external_idも設定する必要があります。

注意：

2つの方法のうち少なくとも1つは設定する必要があります。両方の方法が設定されている場合、Access Key認証が優先されます。

例：

```sql
CREATE CATALOG hive_glue_catalog PROPERTIES (
  'type' = 'hms',
  'hive.metastore.type' = 'glue',
  'glue.region' = 'us-east-1',
  'glue.endpoint' = 'https://glue.us-east-1.amazonaws.com',
  -- Using Access Key authentication
  'glue.access_key' = '<YOUR_ACCESS_KEY>',
  'glue.secret_key' = '<YOUR_SECRET_KEY>'
  -- Or using IAM Role authentication
  -- 'glue.role_arn' = '<YOUR_ROLE_ARN>',
  -- 'glue.external_id' = '<YOUR_EXTERNAL_ID>'
);
```

Hive Glue カタログ

Hive Glue CatalogはAWS GlueのHive Metastore互換インターフェースを通じてHiveTableにアクセスするために使用されます。設定は以下の通りです：

パラメータ名	説明	必須	デフォルト値
`type`	`hms`で固定	Yes	None
`hive.metastore.type`	`glue`で固定	Yes	None
`glue.region`	AWS Glueリージョン、例：`us-east-1`	Yes	None
`glue.endpoint`	AWS Glueエンドポイント、例：`https://glue.us-east-1.amazonaws.com`	Yes	None
`glue.access_key`	AWS Access Key ID	No	Empty
`glue.secret_key`	AWS Secret Access Key	No	Empty
`glue.catalog_id`	Glue カタログ ID（まだサポートされていません）	No	Empty
`glue.role_arn`	GlueにアクセスするためのIAM Role ARN	No	Empty
`glue.external_id`	GlueにアクセスするためのIAM External ID	No	Empty

例

CREATE CATALOG hive_glue_catalog PROPERTIES (
  'type' = 'hms',
  'hive.metastore.type' = 'glue',
  'glue.region' = 'us-east-1',
  'glue.endpoint' = 'https://glue.us-east-1.amazonaws.com',
  'glue.access_key' = 'YOUR_ACCESS_KEY',
  'glue.secret_key' = 'YOUR_SECRET_KEY'
);

Iceberg Glue カタログ

Iceberg Glue CatalogはGlue Clientを通じてGlueにアクセスします。設定は以下の通りです：

パラメータ名	説明	必須	デフォルト値
`type`	`iceberg`に固定	はい	None
`iceberg.catalog.type`	`glue`に固定	はい	None
`warehouse`	Icebergデータウェアハウスパス、例：`s3://my-bucket/iceberg-warehouse/`	はい	s3://doris
`glue.region`	AWS Glueリージョン、例：`us-east-1`	はい	None
`glue.endpoint`	AWS Glueエンドポイント、例：`https://glue.us-east-1.amazonaws.com`	はい	None
`glue.access_key`	AWS Access Key ID	いいえ	Empty
`glue.secret_key`	AWS Secret Access Key	いいえ	Empty
`glue.catalog_id`	Glue カタログ ID（未サポート）	いいえ	Empty
`glue.role_arn`	Glueアクセス用のIAM Role ARN（未サポート）	いいえ	Empty
`glue.external_id`	Glueアクセス用のIAM External ID（未サポート）	いいえ	Empty

例

CREATE CATALOG iceberg_glue_catalog PROPERTIES (
  'type' = 'iceberg',
  'iceberg.catalog.type' = 'glue',
  'glue.region' = 'us-east-1',
  'glue.endpoint' = 'https://glue.us-east-1.amazonaws.com',
  'glue.access_key' = '<YOUR_ACCESS_KEY>',
  'glue.secret_key' = '<YOUR_SECRET_KEY>'
);

Iceberg Glue Rest カタログ

Iceberg Glue Rest Catalogは、Glue Rest Catalogインターフェースを通じてGlueにアクセスします。現在はAWS S3 Table Bucketに保存されたIcebergTableのみをサポートしています。設定は以下の通りです：

パラメータ名	説明	必須	デフォルト値
`type`	`iceberg`に固定	はい	None
`iceberg.catalog.type`	`rest`に固定	はい	None
`iceberg.rest.uri`	Glue Restサービスエンドポイント、例：`https://glue.ap-east-1.amazonaws.com/iceberg`	はい	None
`warehouse`	Icebergデータウェアハウスパス、例：`<account_id>:s3tablescatalog/<bucket_name>`	はい	None
`iceberg.rest.sigv4-enabled`	V4署名形式を有効化、`true`に固定	はい	None
`iceberg.rest.signing-name`	署名タイプ、`glue`に固定	はい	Empty
`iceberg.rest.access-key-id`	Glueアクセス用のAccess Key（S3 Bucketアクセスにも使用）	はい	Empty
`iceberg.rest.secret-access-key`	Glueアクセス用のSecret Key（S3 Bucketアクセスにも使用）	はい	Empty
`iceberg.rest.signing-region`	AWS Glueリージョン、例：`us-east-1`	はい	Empty

例

CREATE CATALOG glue_s3 PROPERTIES (
  'type' = 'iceberg',
  'iceberg.catalog.type' = 'rest',
  'iceberg.rest.uri' = 'https://glue.<region>.amazonaws.com/iceberg',
  'warehouse' = '<acount_id>:s3tablescatalog/<s3_table_bucket_name>',
  'iceberg.rest.sigv4-enabled' = 'true',
  'iceberg.rest.signing-name' = 'glue',
  'iceberg.rest.access-key-id' = '<ak>',
  'iceberg.rest.secret-access-key' = '<sk>',
  'iceberg.rest.signing-region' = '<region>'
);

許可ポリシー

使用シナリオに応じて、read-onlyとread-writeのポリシーに分けることができます。

1. Read-Only Permissions

Glue CatalogからデータベースとTable情報の読み取りのみを許可します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "GlueCatalogReadOnly",
      "Effect": "Allow",
      "Action": [
        "glue:GetCatalog",
        "glue:GetDatabase",
        "glue:GetDatabases",
        "glue:GetTable",
        "glue:GetTables",
        "glue:GetPartitions"
      ],
      "Resource": [
        "arn:aws:glue:<region>:<account-id>:catalog",
        "arn:aws:glue:<region>:<account-id>:database/*",
        "arn:aws:glue:<region>:<account-id>:table/*/*"
      ]
    }
  ]
}

2. Read-Write Permissions

読み取り専用権限をベースとして、データベースとTableの作成/変更/削除を許可します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "GlueCatalogReadWrite",
      "Effect": "Allow",
      "Action": [
        "glue:GetCatalog",
        "glue:GetDatabase",
        "glue:GetDatabases",
        "glue:GetTable",
        "glue:GetTables",
        "glue:GetPartitions",
        "glue:CreateDatabase",
        "glue:UpdateDatabase",
        "glue:DeleteDatabase",
        "glue:CreateTable",
        "glue:UpdateTable",
        "glue:DeleteTable"
      ],
      "Resource": [
        "arn:aws:glue:<region>:<account-id>:catalog",
        "arn:aws:glue:<region>:<account-id>:database/*",
        "arn:aws:glue:<region>:<account-id>:table/*/*"
      ]
    }
  ]
}

注意事項

プレースホルダーの置換
- <region> → あなたのAWSリージョン（例：us-east-1）
- <account-id> → あなたのAWSアカウントID（12桁の番号）
最小権限の原則
- クエリのみを実行する場合は、書き込み権限を付与しないでください。
- *を特定のデータベース/TableのARNに置き換えることで、権限をさらに制限できます。
S3権限
- 上記のポリシーはGlue Catalogのみを対象としています。
- データファイルを読み取る必要がある場合は、追加のS3権限が必要です（s3:GetObject、s3:ListBucketなど）。

サポートされているGlue Catalogタイプ​

共通パラメータの概要​

認証パラメータ​

Hive Glue カタログ​

例​

Iceberg Glue カタログ​

例​

Iceberg Glue Rest カタログ​

例​

許可ポリシー​

1. Read-Only Permissions​

2. Read-Write Permissions​

注意事項​