バージョン: 2.1

リモートストレージ

概要

Remote storageは、コールドデータを外部ストレージ（オブジェクトストレージ、HDFSなど）に配置することをサポートします。

Note

remote storageのデータはコピーが1つしかなく、データの信頼性はremote storageの信頼性に依存します。データの信頼性を確保するために、remote storageにerasure coding（EC）またはマルチレプリカ技術があることを確認する必要があります。

使用方法

コールドデータをS3互換ストレージに保存する

ステップ1: S3 Resourceを作成します。

CREATE RESOURCE "remote_s3"
PROPERTIES
(
    "type" = "s3",
    "s3.endpoint" = "bj.s3.com",
    "s3.region" = "bj",
    "s3.bucket" = "test-bucket",
    "s3.root.path" = "path/to/root",
    "s3.access_key" = "bbb",
    "s3.secret_key" = "aaaa",
    "s3.connection.maximum" = "50",
    "s3.connection.request.timeout" = "3000",
    "s3.connection.timeout" = "1000"
);

ヒント

S3 RESOURCEを作成する際、RESOURCEの作成が正しく行われることを確認するため、S3リモートへのリンク検証が実行されます。

ステップ2: STORAGE POLICYを作成します。

次に、上記で作成したRESOURCEに関連付けられたSTORAGE POLICYを作成します：

CREATE STORAGE POLICY test_policy
PROPERTIES(
    "storage_resource" = "remote_s3",
    "cooldown_ttl" = "1d"
);

ステップ 3: Table作成時にSTORAGE POLICYを使用する。

CREATE TABLE IF NOT EXISTS create_table_use_created_policy 
(
    k1 BIGINT,
    k2 LARGEINT,
    v1 VARCHAR(2048)
)
UNIQUE KEY(k1)
DISTRIBUTED BY HASH (k1) BUCKETS 3
PROPERTIES(
    "enable_unique_key_merge_on_write" = "false",
    "storage_policy" = "test_policy"
);

Note

UNIQUETableに"enable_unique_key_merge_on_write" = "true"が設定されている場合、この機能は使用できません。

HDFSへのコールドデータの保存

ステップ1: HDFS RESOURCEを作成する：

CREATE RESOURCE "remote_hdfs" PROPERTIES (
        "type"="hdfs",
        "fs.defaultFS"="fs_host:default_fs_port",
        "hadoop.username"="hive",
        "hadoop.password"="hive",
        "root_path"="/my/root/path",
        "dfs.nameservices" = "my_ha",
        "dfs.ha.namenodes.my_ha" = "my_namenode1, my_namenode2",
        "dfs.namenode.rpc-address.my_ha.my_namenode1" = "nn1_host:rpc_port",
        "dfs.namenode.rpc-address.my_ha.my_namenode2" = "nn2_host:rpc_port",
        "dfs.client.failover.proxy.provider.my_ha" = "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
    );

ステップ 2: STORAGE POLICYを作成する。

CREATE STORAGE POLICY test_policy PROPERTIES (
    "storage_resource" = "remote_hdfs",
    "cooldown_ttl" = "300"
)

ステップ3: STORAGE POLICYを使用してTableを作成します。

CREATE TABLE IF NOT EXISTS create_table_use_created_policy (
    k1 BIGINT,
    k2 LARGEINT,
    v1 VARCHAR(2048)
)
UNIQUE KEY(k1)
DISTRIBUTED BY HASH (k1) BUCKETS 3
PROPERTIES(
"enable_unique_key_merge_on_write" = "false",
"storage_policy" = "test_policy"
);

Note

UNIQUE Tableに "enable_unique_key_merge_on_write" = "true" が設定されている場合、この機能は使用できません。

既存Tableのリモートストレージへの移行

新しいTableがリモートストレージの設定をサポートすることに加えて、Doris は既存のTableや PARTITION に対してもリモートストレージを設定することをサポートしています。

既存のTableに対しては、作成した STORAGE POLICY をTableに関連付けることでリモートストレージを設定します：

ALTER TABLE create_table_not_have_policy set ("storage_policy" = "test_policy");

既存のPARTITIONに対して、作成したSTORAGE POLICYをPARTITIONに関連付けることで、リモートストレージを設定します：

ALTER TABLE create_table_partition MODIFY PARTITION (*) SET("storage_policy"="test_policy");

ヒント

Table作成時にユーザーがTable全体と一部のPartitionに対して異なるStorage Policyを指定した場合、Partitionに設定されたStorage Policyは無視され、TableのすべてのPartitionがTableのPolicyを使用することに注意してください。PartitionのPolicyを他と異ならせる必要がある場合は、既存のPartitionにStorage Policyを関連付ける上記の方法を使用して変更できます。

詳細については、RESOURCE、STORAGE POLICY、CREATE TABLE、ALTER TABLEなどのDocsディレクトリを参照してください。

Compactionの設定

BEパラメータcold_data_compaction_thread_numは、リモートストレージCompactionを実行する際の並行性を設定でき、デフォルトは2です。
BEパラメータcold_data_compaction_interval_secは、リモートストレージCompactionを実行する時間間隔を設定でき、デフォルトは1800秒（30分）です。

制限事項

リモートストレージを使用するTableはバックアップをサポートしていません。
endpoint、bucket、pathなど、リモートストレージの場所情報の変更はサポートされていません。
Merge-on-Writeが有効なUniqueモデルTableは、リモートストレージをサポートしていません。
Storage policyは作成、変更、削除をサポートしています。Storage policyを削除する前に、それを参照しているTableがないことを確認してください。
Storage policyが設定されると、設定解除はできません。

Cold Data Space

表示

方法1：show proc '/backends'を通じて各BEがオブジェクトにアップロードしたサイズをRemoteUsedCapacityアイテムで確認できます。この方法は若干の遅延があります。

方法2：show tablets from tableNameを通じてTableが占有する各tabletのサイズをRemoteDataSizeアイテムで確認できます。

ガベージコレクション

リモートストレージ上でガベージデータが生成される状況があります：

Rowsetのアップロードが失敗したが、一部のセグメントは正常にアップロードされた場合。
アップロードされたRowsetが複数のレプリカで合意に達しなかった場合。
Compaction完了後、Compactionに参加したRowset。

ガベージデータは即座にクリーンアップされません。BEパラメータremove_unused_remote_files_interval_secは、リモートストレージでのガベージコレクションの時間間隔を設定でき、デフォルトは21600秒（6時間）です。

クエリとパフォーマンス最適化

クエリパフォーマンスを最適化し、オブジェクトストレージリソースを節約するため、ローカルCacheが導入されました。リモートストレージからデータを初回クエリする際、DorisはリモートストレージからBEのローカルディスクにデータを読み込んでキャッシュします。Cacheには以下の特徴があります：

Cacheは実際にBEのローカルディスクに格納され、メモリ領域を占有しません。
CacheはLRUで管理され、TTLはサポートしていません。

具体的な設定については、(../../lakehouse/data-cache)を参照してください。

FAQ

ERROR 1105 (HY000): errCode = 2, detailMessage = Failed to create repository: connect to s3 failed: Unable to marshall request to JSON: host must not be null.

S3 SDKはデフォルトでvirtual-hosted style方式を使用します。しかし、一部のオブジェクトストレージシステム（MinIOなど）では、virtual-hosted styleアクセスが有効化またはサポートされていない場合があります。この場合、use_path_styleパラメータを追加してpath style方式の使用を強制できます：

CREATE RESOURCE "remote_s3"
PROPERTIES
(
    "type" = "s3",
    "s3.endpoint" = "bj.s3.com",
    "s3.region" = "bj",
    "s3.bucket" = "test-bucket",
    "s3.root.path" = "path/to/root",
    "s3.access_key" = "bbb",
    "s3.secret_key" = "aaaa",
    "s3.connection.maximum" = "50",
    "s3.connection.request.timeout" = "3000",
    "s3.connection.timeout" = "1000",
    "use_path_style" = "true"
);

クールダウン時間に関連するパラメータを変更した後に何が起こりますか？

クールダウン関連のパラメータの変更は、まだリモートストレージにクールされていないデータに対してのみ有効になります。すでにリモートストレージにクールされたデータには、変更は適用されません。例えば、cooldown_ttlを21日から7日に変更した場合、すでにリモートストレージにあるデータはローカルストレージに戻されません；

概要​

使用方法​

コールドデータをS3互換ストレージに保存する​

HDFSへのコールドデータの保存​

既存Tableのリモートストレージへの移行​

Compactionの設定​

制限事項​

Cold Data Space​

表示​

ガベージコレクション​

クエリとパフォーマンス最適化​

FAQ​

概要

使用方法

コールドデータをS3互換ストレージに保存する

HDFSへのコールドデータの保存

既存Tableのリモートストレージへの移行

Compactionの設定

制限事項

Cold Data Space

表示

ガベージコレクション

クエリとパフォーマンス最適化

FAQ