メインコンテンツまでスキップ
バージョン: 4.x

メタデータキャッシュ

外部データソースへのアクセスパフォーマンスを向上させるため、Apache Dorisは外部データソースのmetadataをキャッシュします。

Metadataには、データベース、Table、カラム、パーティション、スナップショット、ファイルリストなどの情報が含まれます。

本記事では、キャッシュされたmetadataの種類、戦略、および関連するパラメータ設定について詳しく説明します。

data cacheについては、data cache ドキュメントを参照してください。

ヒント

この文書はバージョン2.1.6以降に適用されます。

キャッシュ戦略​

ほとんどのキャッシュには以下の3つの戦略指標があります：

  • 最大キャッシュ数

    キャッシュが保持できるオブジェクトの最大数です。例えば、最大1000Tableをキャッシュできます。キャッシュ数が閾値を超えると、LRU（Least-Recent-Used）戦略を使用して一部のキャッシュを削除します。

  • エビクション時間

    • バージョン3.0.6以前（含む）：

      キャッシュオブジェクトがキャッシュに書き込まれてから一定時間後、オブジェクトは自動的にキャッシュから削除されます。次回のアクセス時にデータソースから最新情報を再取得し、キャッシュを更新します。

      例えば、ユーザーが08:00に最初にTableAにアクセスし、キャッシュに書き込まれるとします。エビクション時間が4時間の場合、容量問題による置換がない限り、ユーザーは08:00-14:00の間はキャッシュ内のTableAに直接アクセスします。14:00以降、キャッシュがエビクションされます。ユーザーが再度TableAにアクセスすると、データソースから最新情報が取得され、キャッシュが更新されます。

    • バージョン3.0.7以降（含む）：

      バージョン3.0.7以降、この戦略は書き込まれてから一定時間後ではなく、アクセスされてから一定時間後にキャッシュオブジェクトが自動削除されるように変更されました。キャッシュオブジェクトがアクセスされるたびにタイマーがリセットされ、頻繁にアクセスされるオブジェクトが常にキャッシュに残るようになります。

      例えば、ユーザーが08:00に最初にTableAにアクセスし、キャッシュに書き込まれるとします。エビクション時間が4時間の場合、容量問題による置換がない限り、ユーザーは08:00-14:00の間はキャッシュ内のTableAに直接アクセスします。ユーザーが09:00に再度このオブジェクトにアクセスした場合、キャッシュエビクション時間は09:00から再計算され、つまり15:00になります。

  • 最小リフレッシュ時間

    キャッシュオブジェクトがキャッシュに書き込まれてから一定時間後、自動的にリフレッシュがトリガーされます。

    例えば、ユーザーが08:00に最初にTableAにアクセスし、キャッシュに書き込まれるとします。最小リフレッシュ時間が10分の場合、容量問題による置換がない限り、ユーザーは08:00-8:10の間はキャッシュ内のTableAに直接アクセスします。08:10に、キャッシュオブジェクトは[リフレッシュ準備完了]とマークされます。ユーザーが再度このキャッシュオブジェクトにアクセスすると、現在のオブジェクトが返されますが、同時にキャッシュリフレッシュ操作がトリガーされます。キャッシュ更新に1分かかるとすると、1分後にキャッシュに再度アクセスすると更新されたキャッシュオブジェクトが取得されます。

    キャッシュリフレッシュがトリガーされる時間は[最小リフレッシュ時間を超えた後の最初のキャッシュオブジェクトへのアクセス]であり、非同期リフレッシュです。そのため、例えば最小リフレッシュ時間が10分の場合でも、10分後に最新のオブジェクトが取得されることを意味するわけではありません。

    この戦略は[エビクション時間]とは異なり、主にキャッシュの適時性を調整するために使用され、非同期でキャッシュをリフレッシュすることで現在の操作のブロックを回避します。

キャッシュタイプ​

データベースおよびTable名リスト​

データベース名リストとは、Catalog下のすべてのデータベース名のリストを指します。

Table名リストとは、データベース下のすべてのTable名のリストを指します。

名前リストは、SHOW TABLESやSHOW DATABASES文など、名前を列挙する必要がある操作にのみ使用されます。

各Catalogにはデータベース名リストキャッシュがあります。各データベースにはTable名リストキャッシュがあります。

  • 最大キャッシュ数

    各キャッシュには1つのエントリのみがあります。そのため、最大キャッシュ数は1です。

  • エビクション時間

    86400秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮すると、Dorisで最新の名前リストをよりリアルタイムに確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

データベースおよびTableオブジェクト​

個別のデータベースおよびTableオブジェクトをキャッシュします。クエリ、書き込みなど、データベースやTableへのアクセス操作はすべて、このキャッシュから対応するオブジェクトを取得します。

このキャッシュ内のオブジェクトリストは、データベースおよびTable名リストキャッシュと一致しない場合があることに注意してください。

例えば、SHOW TABLESコマンドを通じて、名前リストキャッシュからTableA、B、Cを取得したとします。この時点で外部データソースにTableDが追加された場合、SELECT * FROM DでTableDにアクセスでき、[Tableオブジェクト]キャッシュにTableDオブジェクトが追加されますが、[Table名リスト]キャッシュは依然としてA、B、Cのままかもしれません。[Table名リスト]キャッシュがリフレッシュされて初めてA、B、C、Dになります。

各Catalogにはデータベース名リストキャッシュがあります。各データベースにはTable名リストキャッシュがあります。

  • 最大キャッシュ数

    FE設定項目max_meta_object_cache_numで制御され、デフォルトは1000です。単一Catalog下のデータベース数や単一データベース下のTable数に応じて、このパラメータを適切に調整できます。

  • エビクション時間

    86400秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮すると、Dorisで最新のデータベースやTableをよりリアルタイムに確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

TableSchema​

カラム名などのTableのschema情報をキャッシュします。このキャッシュは主に、アクセスされたTableのschemaをオンデマンドでロードし、大量の不要なTableschemaの同期を防いでFEメモリを占有することを防ぐために使用されます。

このキャッシュはすべてのCatalogで共有され、グローバルに一意です。

  • 最大キャッシュ数

    FE設定項目max_external_schema_cache_numで制御され、デフォルトは10000です。

    Catalog下のTable総数に応じて、このパラメータを適切に調整できます。

  • エビクション時間

    86400秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮すると、Dorisで最新のschemaをよりリアルタイムに確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

Hive MetastoreTableパーティションリスト​

Hive Metastoreから同期されたTableのパーティションリストをキャッシュするために使用されます。パーティションリストはクエリ時のパーティションプルーニングに使用されます。

このキャッシュは、各Hive Catalogに1つあります。

  • 最大キャッシュ数

    FE設定項目max_hive_partition_table_cache_numで制御され、デフォルトは1000です。

    Catalog下のTable総数に応じて、このパラメータを適切に調整できます。

  • エビクション時間

    28800秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮すると、Dorisで最新のパーティションリストをよりリアルタイムに確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

Hive MetastoreTableパーティションプロパティ​

HiveTableの各パーティションのプロパティ（ファイル形式、パーティションルートパスなど）をキャッシュするために使用されます。各クエリで、パーティションプルーニング後にアクセスするパーティションリストを取得した後、このキャッシュを通じて各パーティションの詳細プロパティを取得します。

このキャッシュは、各Hive Catalogに1つあります。

  • 最大キャッシュ数

    FE設定項目max_hive_partition_cache_numで制御され、デフォルトは10000です。

    Catalog下でアクセスするパーティション総数に応じて、このパラメータを適切に調整できます。

  • エビクション時間

    28800秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮すると、Dorisで最新のパーティションプロパティをよりリアルタイムに確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

Hive MetastoreTableパーティションファイルリスト​

HiveTableの単一パーティション下のファイルリスト情報をキャッシュするために使用されます。このキャッシュは、ファイルシステムList操作のオーバーヘッドを削減するために使用されます。

  • 最大キャッシュ数

    FE設定項目max_external_file_cache_numで制御され、デフォルトは100000です。

    アクセスするファイル数に応じて、このパラメータを適切に調整できます。

  • エビクション時間

    デフォルトは28800秒です。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

    Catalogプロパティでfile.meta.cache.ttl-secondプロパティが設定されている場合は、設定された時間が使用されます。

    場合によっては、HiveTableのデータファイルが頻繁に変更され、キャッシュが適時性要件を満たさない場合があります。このパラメータを0に設定してこのキャッシュを無効にできます。この場合、各クエリでファイルリストがリアルタイムで取得され、パフォーマンスは低下する可能性がありますが、ファイルの適時性が向上します。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮すると、Dorisで最新のパーティションプロパティをよりリアルタイムに確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

HudiTableパーティション​

HudiTableのパーティション情報をキャッシュするために使用されます。

このキャッシュは、各Hudi Catalogに1つあります。

  • 最大キャッシュ数

    FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

    HudiTable数に応じて、このパラメータを適切に調整できます。

  • エビクション時間

    28800秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮すると、Dorisで最新のHudiパーティションプロパティをよりリアルタイムに確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

IcebergTable情報​

IcebergTableオブジェクトをキャッシュするために使用されます。オブジェクトはIceberg APIを通じてロードおよび構築されます。

このキャッシュは、各Iceberg Catalogに1つあります。

  • 最大キャッシュ数

    FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

    IcebergTable数に応じて、このパラメータを適切に調整できます。

  • エビクション時間

    28800秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮すると、Dorisで最新のIcebergTableプロパティをよりリアルタイムに確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

IcebergTableスナップショット​

IcebergTableのスナップショットリストをキャッシュするために使用されます。オブジェクトはIceberg APIを通じてロードおよび構築されます。 このキャッシュは、各Iceberg Catalogに1つあります。

  • 最大キャッシュ数

    FE設定項目max_external_table_cache_numで制御され、デフォルトは1000です。

    IcebergTable数に応じて、このパラメータを適切に調整できます。

  • エビクション時間

    28800秒で固定されています。バージョン3.0.7以降は、FEパラメータexternal_cache_expire_time_seconds_after_accessで設定され、デフォルトは86400秒です。

  • 最小リフレッシュ時間

    FE設定項目external_cache_expire_time_minutes_after_accessで制御され、単位は分です。デフォルトは10分です。この時間を短縮すると、Dorisで最新のIcebergTableプロパティをよりリアルタイムに確認できますが、外部データソースへのアクセス頻度が増加します。

    バージョン3.0.7以降、設定項目名はexternal_cache_refresh_time_minutesに変更されました。デフォルト値は変更されていません。

キャッシュリフレッシュ​

上記の各キャッシュのリフレッシュおよびエビクション戦略に加えて、ユーザーは手動またはスケジュールでmetadataキャッシュを直接リフレッシュすることもできます。

手動リフレッシュ​

ユーザーはREFRESHコマンドを使用してmetadataを手動でリフレッシュできます。

  1. REFRESH CATALOG

    指定されたCatalogをリフレッシュします。

    REFRESH CATALOG ctl1 PROPERTIES("invalid_cache" = "true");

    • このコマンドは、指定されたCatalogのデータベースリスト、Tableカラム名、およびすべてのキャッシュ情報をリフレッシュします。
    • invalid_cacheは、パーティションやファイルリストなどのキャッシュをリフレッシュするかどうかを示します。デフォルトはtrueです。falseの場合、CatalogのデータベースおよびTableリストのみがリフレッシュされ、パーティションやファイルリストなどのキャッシュはリフレッシュされません。このパラメータは、ユーザーが新しく追加または削除されたデータベースとTableのみを同期したい場合に適しており、falseに設定できます。

  2. REFRESH DATABASE

    指定されたDatabaseをリフレッシュします。

    REFRESH DATABASE [ctl.]db1 PROPERTIES("invalid_cache" = "true");

    • このコマンドは、指定されたDatabase下のTableカラム名およびすべてのキャッシュ情報をリフレッシュします。
    • invalid_cacheプロパティの意味は上記と同じです。デフォルトはtrueです。falseの場合、DatabaseのTableリストのみがリフレッシュされ、キャッシュ情報はリフレッシュされません。このパラメータは、ユーザーが新しく追加または削除されたTableのみを同期したい場合に適しています。

  3. REFRESH TABLE

    指定されたTableをリフレッシュします。

    REFRESH TABLE [ctl.][db.]tbl1;

    • このコマンドは、指定されたTable下のすべてのキャッシュ情報をリフレッシュします。

スケジュールリフレッシュ​

ユーザーはCatalog作成時にスケジュールリフレッシュを設定できます。

CREATE CATALOG hive PROPERTIES (
    'type'='hms',
    'hive.metastore.uris' = 'thrift://172.0.0.1:9083',
    'metadata_refresh_interval_sec' = '3600'
);

上記の例では、metadata_refresh_interval_secはCatalogが3600秒ごとにリフレッシュされることを意味します。これは3600秒ごとに以下を自動実行することと等価です：

REFRESH CATALOG ctl1 PROPERTIES("invalid_cache" = "true");

ベストプラクティス​

キャッシュはメタデータアクセスのパフォーマンスを大幅に改善し、メタデータへの頻繁なリモートアクセスを回避することができます。これにより、パフォーマンスのジッターを引き起こしたり、メタデータサービスに負荷をかけたりすることを防げます。しかし、キャッシュはデータの適時性も低下させます。たとえば、キャッシュのリフレッシュ時間が10分の場合、10分以内はキャッシュされたメタデータのみが読み取れます。そのため、状況に応じてキャッシュを合理的に設定する必要があります。

デフォルト動作​

このセクションでは、主にデフォルトパラメータ設定下でユーザーが関心を持つ可能性があるキャッシュ動作について紹介します。

  • 外部データソースに新しいデータベースやTableが追加された後、DorisでSELECTを通してリアルタイムでクエリできます。ただし、SHOW DATABASESやSHOW TABLESでは表示されない可能性があります。手動でキャッシュをリフレッシュするか、最大10分待つ必要があります。
  • 外部データソースに新しいパーティションが追加された場合、新しいパーティションデータをクエリするには、手動でキャッシュをリフレッシュするか、最大10分待つ必要があります。
  • パーティションデータファイルが変更された場合、新しいパーティションデータをクエリするには、手動でキャッシュをリフレッシュするか、最大10分待つ必要があります。

Schema Cacheの無効化​

すべてのタイプの外部カタログにおいて、最新のTable Schemaをリアルタイムで確認したい場合は、Schema Cacheを無効化できます：

  • グローバルに無効化

    -- fe.conf
    max_external_schema_cache_num=0 // Disable Schema cache.

  • Catalogレベルで無効化

    -- カタログ property
    "schema.cache.ttl-second" = "0" // For a specific カタログ, disable Schema cache (supported in 2.1.11, 3.0.6)

設定後、Dorisは最新のTable Schemaをリアルタイムで参照します。ただし、この設定はメタデータサービスへの負荷を増加させる可能性があります。

Hive Catalogメタデータキャッシュの無効化​

Hive Catalogにおいて、リアルタイムで更新されたデータをクエリするためにキャッシュを無効にしたい場合、以下のパラメータを設定できます：

  • グローバルに無効にする

    -- fe.conf
    max_external_file_cache_num=0    // Disable file list cache
    max_hive_partition_table_cache_num=0  // Disable partition list cache

  • Catalogレベルで無効化

    -- カタログ property
    "file.meta.cache.ttl-second" = "0" // For a specific カタログ, disable file list cache
    "partition.cache.ttl-second" = "0" // For a specific カタログ, disable partition list cache (supported in 2.1.11, 3.0.6)

上記のパラメータを設定した後：

  • 外部データソースの新しいパーティションをリアルタイムでクエリできます。
  • パーティションデータファイルの変更をリアルタイムでクエリできます。

ただし、これにより外部データソース（Hive MetastoreやHDFSなど）へのアクセス負荷が増加し、メタデータアクセスのレイテンシが不安定になるなどの現象が発生する可能性があります。