バージョン: 26.x

メタデータキャッシュ

外部データソースへのアクセスパフォーマンスを向上させるため、Apache Dorisは外部データソースのmetadataをキャッシュします。

Metadataには、データベース、Table、カラム、パーティション、スナップショット、ファイルリストなどの情報が含まれます。

この記事では、キャッシュされたmetadataの種類、戦略、および関連するパラメータ設定について詳しく説明します。

data cacheについては、data cache ドキュメントを参照してください。

ヒント

このドキュメントはバージョン2.1.6以降に適用されます。

キャッシュ戦略

ほとんどのキャッシュには以下の3つの戦略指標があります：

最大キャッシュ数

キャッシュが保持できるオブジェクトの最大数。例えば、最大1000個のTableをキャッシュできます。キャッシュ数が閾値を超えると、LRU（Least-Recent-Used）戦略を使用して一部のキャッシュを削除します。
削除時間
- バージョン3.0.6以前（含む）：
  
  キャッシュオブジェクトがキャッシュに書き込まれてから一定時間後、オブジェクトは自動的にキャッシュから削除されます。次回のアクセス時にはデータソースから最新の情報を再取得し、キャッシュを更新します。
  
  例えば、ユーザーが08:00に初めてTableAにアクセスし、キャッシュに書き込んだとします。削除時間が4時間の場合、容量の問題で置き換えられない限り、ユーザーは08:00-14:00の間はキャッシュ内のTableAに直接アクセスします。14:00以降、キャッシュは削除されます。ユーザーが再びTableAにアクセスすると、データソースから最新の情報が取得され、キャッシュが更新されます。
- バージョン3.0.7以降（含む）：
  
  バージョン3.0.7から、この戦略は書き込み後一定時間ではなく、キャッシュオブジェクトがアクセスされてから一定時間後に自動削除されるように変更されました。キャッシュオブジェクトがアクセスされるたびにタイマーがリセットされ、頻繁にアクセスされるオブジェクトが常にキャッシュ内に残るようになります。
  
  例えば、ユーザーが08:00に初めてTableAにアクセスし、キャッシュに書き込んだとします。削除時間が4時間の場合、容量の問題で置き換えられない限り、ユーザーは08:00-14:00の間はキャッシュ内のTableAに直接アクセスします。ユーザーが09:00に再びこのオブジェクトにアクセスした場合、キャッシュの削除時間は09:00から再計算され、15:00になります。
最小更新時間

キャッシュオブジェクトがキャッシュに書き込まれてから一定時間後、自動的に更新がトリガーされます。

例えば、ユーザーが08:00に初めてTableAにアクセスし、キャッシュに書き込んだとします。最小更新時間が10分の場合、容量の問題で置き換えられない限り、ユーザーは08:00-8:10の間はキャッシュ内のTableAに直接アクセスします。08:10になると、キャッシュオブジェクトは[更新準備完了]とマークされます。ユーザーが再びこのキャッシュオブジェクトにアクセスすると、現在のオブジェクトが返されますが、同時にキャッシュ更新操作もトリガーされます。キャッシュ更新に1分かかると仮定すると、1分後にキャッシュに再度アクセスすると、更新されたキャッシュオブジェクトが取得されます。

キャッシュ更新がトリガーされる時間は[最小更新時間を超えた後のキャッシュオブジェクトへの最初のアクセス]であり、非同期更新であることに注意してください。したがって、例えば最小更新時間が10分の場合でも、10分後に最新のオブジェクトが取得されるという意味ではありません。

この戦略は[削除時間]とは異なり、主にキャッシュの適時性を調整するために使用され、キャッシュを非同期で更新することで現在の操作をブロックすることを回避します。

キャッシュタイプ

データベースおよびTable名リスト

データベース名リストは、Catalog下のすべてのデータベース名のリストを指します。

Table名リストは、データベース下のすべてのTable名のリストを指します。

名前リストは、SHOW TABLESまたはSHOW DATABASES文などの名前を列挙する必要がある操作にのみ使用されます。

各Catalogにはデータベース名リストキャッシュがあります。各データベースにはTable名リストキャッシュがあります。

最大キャッシュ数

各キャッシュにはエントリが1つだけあります。したがって、最大キャッシュ数は1です。
削除時間

86400秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。
最小更新時間

FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisで最新の名前リストをよりリアルタイムで確認できるようになりますが、外部データソースへのアクセス頻度が増加します。

バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されません。

データベースおよびTableオブジェクト

個別のデータベースおよびTableオブジェクトをキャッシュします。クエリ、書き込みなど、データベースまたはTableへのアクセス操作は、このキャッシュから対応するオブジェクトを取得します。

このキャッシュ内のオブジェクトリストは、データベースおよびTable名リストキャッシュと一致しない場合があることに注意してください。

例えば、SHOW TABLESコマンドで名前リストキャッシュからTableA、B、Cを取得したとします。この時点で外部データソースにTableDが追加された場合、SELECT * FROM DでTableDにアクセスでき、[Tableオブジェクト]キャッシュにTableDオブジェクトが追加されますが、[Table名リスト]キャッシュは依然としてA、B、Cのままの可能性があります。[Table名リスト]キャッシュが更新されて初めてA、B、C、Dになります。

各Catalogにはデータベース名リストキャッシュがあります。各データベースにはTable名リストキャッシュがあります。

最大キャッシュ数

FE設定項目max_meta_object_cache_numで制御され、デフォルトは1000です。単一Catalog下のデータベース数や単一データベース下のTable数に応じて、このパラメータを適切に調整できます。
削除時間

86400秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。
最小更新時間

FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisで最新のデータベースまたはTableをよりリアルタイムで確認できるようになりますが、外部データソースへのアクセス頻度が増加します。

バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されません。

TableSchema

カラム名などのTableのschema情報をキャッシュします。このキャッシュは主に、アクセスされたTableのschemaをオンデマンドで読み込み、大量の不要なTableschemaを同期してFEメモリを占有することを防ぐために使用されます。

このキャッシュはすべてのCatalogで共有され、グローバルに一意です。

最大キャッシュ数

FE設定項目max_external_schema_cache_numで制御され、デフォルトは10000です。

Catalog下のTable総数に応じて、このパラメータを適切に調整できます。
削除時間

86400秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。
最小更新時間

FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisで最新のschemaをよりリアルタイムで確認できるようになりますが、外部データソースへのアクセス頻度が増加します。

バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されません。

Hive MetastoreTableパーティションリスト

Hive Metastoreから同期されたTableのパーティションリストをキャッシュするために使用されます。パーティションリストは、クエリ中のパーティションプルーニングに使用されます。

このキャッシュは、各Hive Catalogに1つあります。

最大キャッシュ数

FE設定項目max_hive_partition_table_cache_numで制御され、デフォルトは1000です。

Catalog下のTable総数に応じて、このパラメータを適切に調整できます。
削除時間

28800秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。
最小更新時間

FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisで最新のパーティションリストをよりリアルタイムで確認できるようになりますが、外部データソースへのアクセス頻度が増加します。

バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されません。

Hive MetastoreTableパーティションプロパティ

HiveTableの各パーティションのプロパティ（ファイル形式、パーティションルートパスなど）をキャッシュするために使用されます。各クエリでは、パーティションプルーニング後にアクセスするパーティションリストを取得し、このキャッシュを通じて各パーティションの詳細プロパティを取得します。

このキャッシュは、各Hive Catalogに1つあります。

最大キャッシュ数

FE設定項目max_hive_partition_cache_numで制御され、デフォルトは10000です。

Catalog下でアクセスするパーティション総数に応じて、このパラメータを適切に調整できます。
削除時間

28800秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。
最小更新時間

FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisで最新のパーティションプロパティをよりリアルタイムで確認できるようになりますが、外部データソースへのアクセス頻度が増加します。

バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されません。

Hive MetastoreTableパーティションファイルリスト

HiveTableの単一パーティション下のファイルリスト情報をキャッシュするために使用されます。このキャッシュは、ファイルシステムのList操作のオーバーヘッドを削減するために使用されます。

最大キャッシュ数

FE設定項目max_external_file_cache_numで制御され、デフォルトは100000です。

アクセスするファイル数に応じて、このパラメータを適切に調整できます。
削除時間

デフォルトは28800秒です。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

Catalogプロパティでfile.meta.cache.ttl-secondプロパティが設定されている場合は、設定された時間が使用されます。

場合によっては、HiveTableのデータファイルが頻繁に変更され、キャッシュが適時性要件を満たさない場合があります。このパラメータを0に設定してこのキャッシュを無効にできます。この場合、各クエリでファイルリストがリアルタイムで取得され、パフォーマンスが低下する可能性がありますが、ファイルの適時性が向上します。
最小更新時間

FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisで最新のパーティションプロパティをよりリアルタイムで確認できるようになりますが、外部データソースへのアクセス頻度が増加します。

バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されません。

HudiTableパーティション

HudiTableのパーティション情報をキャッシュするために使用されます。

このキャッシュは、各Hudi Catalogに1つあります。

最大キャッシュ数

FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

HudiTable数に応じて、このパラメータを適切に調整できます。
削除時間

28800秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。
最小更新時間

FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisで最新のHudiパーティションプロパティをよりリアルタイムで確認できるようになりますが、外部データソースへのアクセス頻度が増加します。

バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されません。

IcebergTable情報

IcebergTableオブジェクトをキャッシュするために使用されます。オブジェクトはIceberg APIを通じて読み込まれ、構築されます。

このキャッシュは、各Iceberg Catalogに1つあります。

最大キャッシュ数

FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

IcebergTable数に応じて、このパラメータを適切に調整できます。
削除時間

28800秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。
最小更新時間

FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisで最新のIcebergTableプロパティをよりリアルタイムで確認できるようになりますが、外部データソースへのアクセス頻度が増加します。

バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されません。

IcebergTableスナップショット

IcebergTableのスナップショットリストをキャッシュするために使用されます。オブジェクトはIceberg APIを通じて読み込まれ、構築されます。このキャッシュは、各Iceberg Catalogに1つあります。

最大キャッシュ数

FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

IcebergTable数に応じて、このパラメータを適切に調整できます。
削除時間

28800秒に固定。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。
最小更新時間

FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮することで、Dorisで最新のIcebergTableプロパティをよりリアルタイムで確認できるようになりますが、外部データソースへのアクセス頻度が増加します。

バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されません。

キャッシュ更新

上記の各キャッシュの更新および削除戦略に加えて、ユーザーは手動またはスケジュール設定でmetadataキャッシュを直接更新することもできます。

手動更新

ユーザーはREFRESHコマンドを使用してmetadataを手動で更新できます。

REFRESH CATALOG

指定されたCatalogを更新します。

REFRESH CATALOG ctl1 PROPERTIES("invalid_cache" = "true");
- このコマンドは、指定されたCatalogのデータベースリスト、Tableカラム名、およびすべてのキャッシュ情報を更新します。
- invalid_cacheは、パーティションやファイルリストなどのキャッシュを更新するかどうかを示します。デフォルトはtrueです。falseの場合、CatalogのデータベースおよびTableリストのみが更新され、パーティションやファイルリストなどのキャッシュは更新されません。このパラメータは、ユーザーが新しく追加または削除されたデータベースとTableのみを同期したい場合に適しており、falseに設定できます。
REFRESH DATABASE

指定されたDatabaseを更新します。

REFRESH DATABASE [ctl.]db1 PROPERTIES("invalid_cache" = "true");
- このコマンドは、指定されたDatabase下のTableカラム名およびすべてのキャッシュ情報を更新します。
- invalid_cacheプロパティの意味は上記と同じです。デフォルトはtrueです。falseの場合、DatabaseのTableリストのみが更新され、キャッシュ情報は更新されません。このパラメータは、ユーザーが新しく追加または削除されたTableのみを同期したい場合に適しています。
REFRESH TABLE

指定されたTableを更新します。

REFRESH TABLE [ctl.][db.]tbl1;
- このコマンドは、指定されたTable下のすべてのキャッシュ情報を更新します。

スケジュール更新

ユーザーは、Catalogを作成する際にスケジュール更新を設定できます。

CREATE CATALOG hive PROPERTIES (
    'type'='hms',
    'hive.metastore.uris' = 'thrift://172.0.0.1:9083',
    'metadata_refresh_interval_sec' = '3600'
);

上記の例では、metadata_refresh_interval_secはCatalogが3600秒ごとにリフレッシュされることを意味します。これは、3600秒ごとに以下を自動実行することと同等です：

REFRESH CATALOG ctl1 PROPERTIES("invalid_cache" = "true");

ベストプラクティス

キャッシュは、メタデータアクセスのパフォーマンスを大幅に改善し、メタデータへの頻繁なリモートアクセスを回避できます。頻繁なリモートアクセスは、パフォーマンスジッターを引き起こしたり、メタデータサービスに負荷をかけたりする可能性があります。ただし、キャッシュはデータの適時性も低下させます。例えば、キャッシュのリフレッシュ時間が10分の場合、10分以内はキャッシュされたメタデータのみが読み取れます。そのため、状況に応じてキャッシュを合理的に設定する必要があります。

デフォルト動作

このセクションでは、デフォルトパラメータ設定下でユーザーが気にする可能性があるキャッシュ動作を主に紹介します。

外部データソースに新しいデータベースまたはTableが追加された後、DorisでSELECTを通じてリアルタイムでクエリできます。ただし、SHOW DATABASESとSHOW TABLESでは表示されない場合があります。手動でキャッシュをリフレッシュするか、最大10分間待つ必要があります。
外部データソースに新しいパーティションが追加された場合、新しいパーティションデータをクエリするには、手動でキャッシュをリフレッシュするか、最大10分間待つ必要があります。
パーティションデータファイルが変更された場合、新しいパーティションデータをクエリするには、手動でキャッシュをリフレッシュするか、最大10分間待つ必要があります。

Schema Cacheの無効化

すべてのタイプの外部カタログで、最新のTable Schemaをリアルタイムで確認したい場合、Schema Cacheを無効化できます：

グローバルに無効化

-- fe.conf
max_external_schema_cache_num=0 // Disable Schema cache.

Catalogレベルで無効化

-- カタログ property
"schema.cache.ttl-second" = "0" // For a specific カタログ, disable Schema cache (supported in 2.1.11, 3.0.6)

設定後、Dorisは最新のTable Schemaをリアルタイムで確認します。ただし、この設定はメタデータサービスへの負荷を増加させる可能性があります。

Hive Catalogメタデータキャッシュの無効化

Hive Catalogにおいて、リアルタイムで更新されたデータをクエリするためにキャッシュを無効にしたい場合は、以下のパラメータを設定できます：

グローバルに無効化

-- fe.conf
max_external_file_cache_num=0    // Disable file list cache
max_hive_partition_table_cache_num=0  // Disable partition list cache

Catalogレベルで無効化

-- カタログ property
"file.meta.cache.ttl-second" = "0" // For a specific カタログ, disable file list cache
"partition.cache.ttl-second" = "0" // For a specific カタログ, disable partition list cache (supported in 2.1.11, 3.0.6)

上記のパラメータを設定した後：

外部データソース内の新しいパーティションをリアルタイムでクエリできます。
パーティションデータファイルの変更をリアルタイムでクエリできます。

ただし、これにより外部データソース（Hive MetastoreやHDFSなど）へのアクセス負荷が増加し、メタデータアクセスレイテンシが不安定になるなどの現象を引き起こす可能性があります。

キャッシュ戦略​

キャッシュタイプ​

データベースおよびTable名リスト​

データベースおよびTableオブジェクト​

TableSchema​

Hive MetastoreTableパーティションリスト​

Hive MetastoreTableパーティションプロパティ​

Hive MetastoreTableパーティションファイルリスト​

HudiTableパーティション​

IcebergTable情報​

IcebergTableスナップショット​

キャッシュ更新​

手動更新​

スケジュール更新​

ベストプラクティス​

デフォルト動作​

Schema Cacheの無効化​

Hive Catalogメタデータキャッシュの無効化​