メインコンテンツまでスキップ
バージョン: 4.x

メタデータキャッシュ

外部データソースへのアクセスパフォーマンスを向上させるために、Apache Dorisは外部データソースのmetadataをキャッシュします。

Metadataには、データベース、テーブル、カラム、パーティション、スナップショット、ファイルリストなどの情報が含まれます。

この記事では、キャッシュされるmetadataの種類、戦略、および関連するパラメータ設定について詳しく説明します。

data cacheについては、data cacheドキュメントを参照してください。

ヒント

このドキュメントは2.1.6以降のバージョンに適用されます。

キャッシュ戦略​

ほとんどのキャッシュには以下の3つの戦略指標があります：

  • 最大キャッシュ数

    キャッシュが保持できるオブジェクトの最大数。例えば、最大1000テーブルをキャッシュできます。キャッシュ数が閾値を超えると、LRU（Least-Recent-Used）戦略を使用して一部のキャッシュを削除します。

  • 削除時間

    • バージョン3.0.6まで（含む）：

      キャッシュオブジェクトがキャッシュに書き込まれてから一定時間後、そのオブジェクトは自動的にキャッシュから削除されます。次回のアクセス時には、データソースから最新情報を再取得してキャッシュを更新します。

      例えば、ユーザーが08:00にテーブルAに初回アクセスしてキャッシュに書き込んだとします。削除時間が4時間の場合、容量の問題で置き換えられない限り、ユーザーは08:00-14:00の間にキャッシュ内のテーブルAに直接アクセスします。14:00以降、キャッシュは削除されます。ユーザーが再度テーブルAにアクセスすると、データソースから最新情報が取得され、キャッシュが更新されます。

    • バージョン3.0.7以降（含む）：

      バージョン3.0.7以降、この戦略はキャッシュオブジェクトが書き込まれてから一定時間後ではなく、アクセスされてから一定時間後に自動削除されるように変更されました。キャッシュオブジェクトがアクセスされるたびにタイマーがリセットされ、頻繁にアクセスされるオブジェクトが常にキャッシュに残るようになります。

      例えば、ユーザーが08:00にテーブルAに初回アクセスしてキャッシュに書き込んだとします。削除時間が4時間の場合、容量の問題で置き換えられない限り、ユーザーは08:00-14:00の間にキャッシュ内のテーブルAに直接アクセスします。ユーザーが09:00に再度このオブジェクトにアクセスしたとすると、キャッシュ削除時間は09:00から再計算され、15:00になります。

  • 最小リフレッシュ時間

    キャッシュオブジェクトがキャッシュに書き込まれてから一定時間後、自動的にリフレッシュがトリガーされます。

    例えば、ユーザーが08:00にテーブルAに初回アクセスしてキャッシュに書き込んだとします。最小リフレッシュ時間が10分の場合、容量の問題で置き換えられない限り、ユーザーは08:00-8:10の間にキャッシュ内のテーブルAに直接アクセスします。08:10に、キャッシュオブジェクトは[リフレッシュ準備完了]としてマークされます。ユーザーが再度このキャッシュオブジェクトにアクセスすると、現在のオブジェクトが返されますが、同時にキャッシュリフレッシュ操作がトリガーされます。キャッシュ更新に1分かかるとすると、1分後にキャッシュに再度アクセスすると、更新されたキャッシュオブジェクトが取得されます。

    キャッシュリフレッシュがトリガーされるタイミングは[最小リフレッシュ時間を超えた後の最初のキャッシュオブジェクトへのアクセス]であり、非同期リフレッシュです。そのため、例えば最小リフレッシュ時間が10分の場合、10分後に最新オブジェクトが取得されるという意味ではありません。

    この戦略は[削除時間]とは異なり、主にキャッシュの適時性を調整するために使用され、キャッシュを非同期でリフレッシュすることで現在の操作をブロックすることを回避します。

キャッシュタイプ​

データベースとテーブル名リスト​

データベース名リストは、Catalog下の全データベース名のリストを指します。

テーブル名リストは、データベース下の全テーブル名のリストを指します。

名前リストは、SHOW TABLESやSHOW DATABASESステートメントなど、名前を列挙する必要がある操作にのみ使用されます。

各Catalogにはデータベース名リストキャッシュがあります。各データベースにはテーブル名リストキャッシュがあります。

  • 最大キャッシュ数

    各キャッシュには1つのエントリのみ。そのため最大キャッシュ数は1です。

  • 削除時間

    86400秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短くすると、Dorisで最新の名前リストをよりリアルタイムで確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されます。デフォルト値は変更されません。

データベースとテーブルオブジェクト​

個別のデータベースとテーブルオブジェクトをキャッシュします。クエリ、書き込みなど、データベースやテーブルへの任意のアクセス操作は、このキャッシュから対応するオブジェクトを取得します。

このキャッシュ内のオブジェクトリストは、データベースとテーブル名リストキャッシュと一致しない可能性があります。

例えば、SHOW TABLESコマンドで名前リストキャッシュからテーブルA、B、Cを取得したとします。この時点で外部データソースにテーブルDが追加されたとすると、SELECT * FROM DでテーブルDにアクセスでき、[テーブルオブジェクト]キャッシュにはテーブルDオブジェクトが追加されますが、[テーブル名リスト]キャッシュは依然としてA、B、Cのままです。[テーブル名リスト]キャッシュがリフレッシュされた時のみA、B、C、Dになります。

各Catalogにはデータベース名リストキャッシュがあります。各データベースにはテーブル名リストキャッシュがあります。

  • 最大キャッシュ数

    FE設定項目max_meta_object_cache_numで制御され、デフォルトは1000です。単一Catalog下のデータベース数や単一データベース下のテーブル数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    86400秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短くすると、Dorisで最新のデータベースやテーブルをよりリアルタイムで確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されます。デフォルト値は変更されません。

Table Schema​

テーブルのスキーマ情報（カラム名など）をキャッシュします。このキャッシュは主に、アクセスされたテーブルのスキーマをオンデマンドで読み込み、大量の不要なテーブルスキーマの同期によるFEメモリの占有を防ぐために使用されます。

このキャッシュは全Catalogで共有され、グローバルに一意です。

  • 最大キャッシュ数

    FE設定項目max_external_schema_cache_numで制御され、デフォルトは10000です。

    Catalog下のテーブル総数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    86400秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短くすると、Dorisで最新のスキーマをよりリアルタイムで確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されます。デフォルト値は変更されません。

Hive Metastoreテーブルパーティションリスト​

Hive Metastoreから同期されたテーブルのパーティションリストをキャッシュするために使用されます。パーティションリストはクエリ時のパーティションプルーニングに使用されます。

このキャッシュは、各Hive Catalogに1つずつあります。

  • 最大キャッシュ数

    FE設定項目max_hive_partition_table_cache_numで制御され、デフォルトは1000です。

    Catalog下のテーブル総数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    28800秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短くすると、Dorisで最新のパーティションリストをよりリアルタイムで確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されます。デフォルト値は変更されません。

Hive Metastoreテーブルパーティションプロパティ​

Hiveテーブルの各パーティションのプロパティ（ファイル形式、パーティションルートパスなど）をキャッシュするために使用されます。各クエリで、パーティションプルーニング後にアクセス対象のパーティションリストを取得した後、このキャッシュを通じて各パーティションの詳細プロパティを取得します。

このキャッシュは、各Hive Catalogに1つずつあります。

  • 最大キャッシュ数

    FE設定項目max_hive_partition_cache_numで制御され、デフォルトは10000です。

    Catalog下でアクセス対象のパーティション総数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    28800秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短くすると、Dorisで最新のパーティションプロパティをよりリアルタイムで確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されます。デフォルト値は変更されません。

Hive Metastoreテーブルパーティションファイルリスト​

Hiveテーブルの単一パーティション下のファイルリスト情報をキャッシュするために使用されます。このキャッシュは、ファイルシステムのList操作のオーバーヘッドを削減するために使用されます。

  • 最大キャッシュ数

    FE設定項目max_external_file_cache_numで制御され、デフォルトは100000です。

    アクセス対象のファイル数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    デフォルトは28800秒。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

    Catalogプロパティでfile.meta.cache.ttl-secondプロパティが設定されている場合は、設定された時間が使用されます。

    一部のケースでは、Hiveテーブルのデータファイルが頻繁に変更され、キャッシュが適時性要件を満たさない場合があります。このパラメータを0に設定してこのキャッシュを無効にできます。この場合、各クエリでファイルリストがリアルタイムで取得され、パフォーマンスは低下する可能性がありますが、ファイルの適時性が向上します。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短くすると、Dorisで最新のパーティションプロパティをよりリアルタイムで確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されます。デフォルト値は変更されません。

Hudiテーブルパーティション​

Hudiテーブルのパーティション情報をキャッシュするために使用されます。

このキャッシュは、各Hudi Catalogに1つずつあります。

  • 最大キャッシュ数

    FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

    Hudiテーブル数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    28800秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短くすると、Dorisで最新のHudiパーティションプロパティをよりリアルタイムで確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されます。デフォルト値は変更されません。

Icebergテーブル情報​

Icebergテーブルオブジェクトをキャッシュするために使用されます。オブジェクトはIceberg APIを通じて読み込まれ、構築されます。

このキャッシュは、各Iceberg Catalogに1つずつあります。

  • 最大キャッシュ数

    FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

    Icebergテーブル数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    28800秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短くすると、Dorisで最新のIcebergテーブルプロパティをよりリアルタイムで確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されます。デフォルト値は変更されません。

Icebergテーブルスナップショット​

Icebergテーブルのスナップショットリストをキャッシュするために使用されます。オブジェクトはIceberg APIを通じて読み込まれ、構築されます。 このキャッシュは、各Iceberg Catalogに1つずつあります。

  • 最大キャッシュ数

    FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

    Icebergテーブル数に応じて、このパラメータを適切に調整できます。

  • 削除時間

    28800秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短くすると、Dorisで最新のIcebergテーブルプロパティをよりリアルタイムで確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されます。デフォルト値は変更されません。

キャッシュリフレッシュ​

上記の各キャッシュのリフレッシュと削除戦略に加えて、ユーザーは手動またはスケジュールでmetadataキャッシュを直接リフレッシュすることもできます。

手動リフレッシュ​

ユーザーはREFRESHコマンドを使用してmetadataを手動でリフレッシュできます。

  1. REFRESH CATALOG

    指定されたCatalogをリフレッシュします。

    REFRESH CATALOG ctl1 PROPERTIES("invalid_cache" = "true");

    • このコマンドは、指定されたCatalogのデータベースリスト、テーブルカラム名、およびすべてのキャッシュ情報をリフレッシュします。
    • invalid_cacheは、パーティションやファイルリストなどのキャッシュをリフレッシュするかどうかを示します。デフォルトはtrueです。falseの場合、Catalogのデータベースとテーブルリストのみがリフレッシュされ、パーティションやファイルリストなどのキャッシュはリフレッシュされません。このパラメータは、ユーザーが新しく追加または削除されたデータベースとテーブルのみを同期したい場合に適しており、falseに設定できます。

  2. REFRESH DATABASE

    指定されたDatabaseをリフレッシュします。

    REFRESH DATABASE [ctl.]db1 PROPERTIES("invalid_cache" = "true");

    • このコマンドは、指定されたDatabase下のテーブルカラム名とすべてのキャッシュ情報をリフレッシュします。
    • invalid_cacheプロパティの意味は上記と同じです。デフォルトはtrueです。falseの場合、Databaseのテーブルリストのみがリフレッシュされ、キャッシュ情報はリフレッシュされません。このパラメータは、ユーザーが新しく追加または削除されたテーブルのみを同期したい場合に適しています。

  3. REFRESH TABLE

    指定されたTableをリフレッシュします。

    REFRESH TABLE [ctl.][db.]tbl1;

    • このコマンドは、指定されたTable下のすべてのキャッシュ情報をリフレッシュします。

スケジュールリフレッシュ​

ユーザーはCatalogの作成時にスケジュールリフレッシュを設定できます。

CREATE CATALOG hive PROPERTIES (
    'type'='hms',
    'hive.metastore.uris' = 'thrift://172.0.0.1:9083',
    'metadata_refresh_interval_sec' = '3600'
);

上記の例では、metadata_refresh_interval_secは、Catalogが3600秒ごとにリフレッシュされることを意味します。これは、3600秒ごとに以下を自動的に実行することと同等です：

REFRESH CATALOG ctl1 PROPERTIES("invalid_cache" = "true");

ベストプラクティス​

キャッシュは、メタデータアクセスのパフォーマンスを大幅に向上させ、メタデータへの頻繁なリモートアクセスを回避できます。これにより、パフォーマンスのジッターを引き起こしたり、メタデータサービスに負荷をかけたりすることを防げます。しかし、キャッシュはデータの適時性も低下させます。例えば、キャッシュリフレッシュ時間が10分の場合、10分以内はキャッシュされたメタデータのみが読み取り可能です。そのため、状況に応じてキャッシュを適切に設定する必要があります。

デフォルトの動作​

このセクションでは、主にデフォルトパラメータ構成下でユーザーが関心を持つ可能性のあるキャッシュの動作について説明します。

  • 外部データソースに新しいデータベースまたはテーブルが追加された後、SELECT を通じてDorisでリアルタイムにクエリできます。ただし、SHOW DATABASESおよびSHOW TABLESでは表示されない場合があります。手動でキャッシュをリフレッシュするか、最大10分間待つ必要があります。
  • 外部データソースに新しいパーティションが追加された場合、新しいパーティションデータをクエリするには、手動でキャッシュをリフレッシュするか、最大10分間待つ必要があります。
  • パーティションデータファイルが変更された場合、新しいパーティションデータをクエリするには、手動でキャッシュをリフレッシュするか、最大10分間待つ必要があります。

Schema Cacheを無効にする​

すべてのタイプのExternal Catalogsにおいて、最新のTable Schemaをリアルタイムで確認したい場合は、Schema Cacheを無効にできます：

  • グローバルに無効にする

    -- fe.conf
    max_external_schema_cache_num=0 // Disable Schema cache.

  • カタログレベルで無効化

    -- Catalog property
    "schema.cache.ttl-second" = "0" // For a specific Catalog, disable Schema cache (supported in 2.1.11, 3.0.6)

設定後、DorisはリアルタイムでTable Schemaの最新版を確認できるようになります。ただし、この設定によりメタデータサービスへの負荷が増加する可能性があります。

Hive Catalogメタデータキャッシュの無効化​

Hive Catalogにおいて、キャッシュを無効化してリアルタイムに更新されたデータをクエリしたい場合は、以下のパラメータを設定できます：

  • グローバルに無効化

    -- fe.conf
    max_external_file_cache_num=0    // Disable file list cache
    max_hive_partition_table_cache_num=0  // Disable partition list cache

  • Catalogレベルで無効化

    -- Catalog property
    "file.meta.cache.ttl-second" = "0" // For a specific Catalog, disable file list cache
    "partition.cache.ttl-second" = "0" // For a specific Catalog, disable partition list cache (supported in 2.1.11, 3.0.6)

上記のパラメータを設定した後：

  • 外部データソースの新しいパーティションをリアルタイムでクエリできます。
  • パーティションデータファイルの変更をリアルタイムでクエリできます。

ただし、これにより外部データソース（Hive MetastoreやHDFSなど）へのアクセス圧力が増加し、メタデータアクセスのレイテンシが不安定になるなどの現象が発生する可能性があります。