Parquet
この文書では、DorisにおけるParquetファイル形式の読み書きサポートについて説明します。以下の機能に適用されます：
- Catalogでのデータの読み書き
- Table Valued Functionsを使用したデータ読み込み
- Broker Loadでのデータ読み込み
- Export時のデータ書き出し
- Outfileでのデータ書き出し
サポートされている圧縮形式
- uncompressed
- snappy
- lz4
- zstd
- gzip
- lzo
- brotli
パラメータ
セッション変数
-
enable_parquet_lazy_mat(2.1+, 3.0+)Parquet Readerがlazy materializationを有効にするかどうかを制御します。デフォルトはtrueです。
-
hive_parquet_use_column_names(2.1.6+, 3.0.3+)HiveテーブルからParquetデータ型を読み込む際、Dorisはデフォルトで、Hiveテーブルの列と同じ名前を持つParquetファイル内の列からデータを読み込みます。この変数が
falseに設定されると、Dorisは列名に関係なく、Hiveテーブルの列順序に基づいてParquetファイルからデータを読み込みます。これはHiveのparquet.column.index.access変数と同様です。このパラメータはトップレベルの列名のみに適用され、Struct内部の列に対しては無効です。
BE設定
-
enable_parquet_page_index(2.1.5+, 3.0+)Parquet ReaderがPage Indexを使用してデータをフィルタリングするかどうかを決定します。これはデバッグ目的のみで、page indexが時々不正なデータをフィルタリングしてしまう場合に使用します。デフォルト値はfalseです。
-
parquet_header_max_size_mb(2.1+, 3.0+)Parquet Pageヘッダーを読み込む際に割り当てられる最大バッファサイズ。デフォルトは1Mです。
-
parquet_rowgroup_max_buffer_mb(2.1+, 3.0+)Parquet Row Groupを読み込む際に割り当てられる最大バッファサイズ。デフォルトは128Mです。
-
parquet_column_max_buffer_mb(2.1+, 3.0+)Parquet Row Group内のColumnを読み込む際に割り当てられる最大バッファサイズ。デフォルトは8Mです。