v3.0
この記事では、VeloDB Core v3.0のリリースノートについて説明します。
Note VeloDB Core v3.0はApache Doris v2.0をベースに開発されました。
v3.0.17 (September 01, 2025)
Bug Fixes
- compactionが早期のデータ回収を引き起こす可能性があった問題を修正し、可用性を向上しました。
- 「削除または上書きしようとしたディレクトリが空ではありません」というエラーが報告されるエクスポートエラーを修正しました。
- クラスタクラッシュを防ぐためにshow proc '/trash'を無効にしました。
v3.0.16 (August 01, 2025)
Bug Fixes
- compaction戦略が頻繁なcompaction操作を引き起こし、I/Oを飽和させる問題を修正しました。
v3.0.15 (July 17, 2025)
Bug Fixes
- 上流のKafkaトピックでの断続的なRoutine Loadバックログとパーティションスケーリングの問題を修正しました。
- セグメント読み込み中のコアダンプと異常なBackend(BE)再起動を解決しました。
- 集計Tableをエクスポートする際のエクスポート速度の低下とデータ損失に対処しました。
- masterノードでの過剰なJVMメモリ使用量を削減しました。
- Frontend(FE)のout-of-memory(OOM)エラーを解消しました。
- S3 FileWriterでの冗長なclose呼び出しによって引き起こされる重複警告ログを抑制しました。
v3.0.14 (June 23, 2025)
Improvements
- 効率向上のためにcompactionスケジューリングを最適化しました。
- metricsのspinlockの競合によって引き起こされるCPUスパイクとHTTPインターフェースの遅延を解決しました。
Bug Fixes
- extract_url_parameter関数での一貫しない結果を修正しました。
- MoW(Merge-on-Write)backendとUDF実行でのコアダンプ問題に対処しました。
- アップグレード時のミリ秒レベルの変動によって引き起こされる書き込み失敗とスケジューリングタスクの中断を解消しました。
- OUTFILEによるParquetファイルエクスポートで発生するbackendコアダンプを修正しました。
v3.0.13 (May 9, 2025)
Improvements
- プライマリキーTableでの過剰なdeleteマーカーの処理を最適化し、データインポートとcompactionの失敗を防止しました。
- Routine Loadを改善し、60秒のmax_batch_interval制限の削除、オブザーバビリティメトリクスの追加、他のジョブに影響する異常なジョブスケジューリングの競合を修正しました。
Bug Fixes
- 監査ログのデータ損失問題を修正しました。
v3.0.12 (February 19, 2025)
New Features
- Stream Load経由での圧縮JSONデータフォーマットのインポートサポートを追加しました。
Improvements
- インポートの安定性向上のためにアップロードリトライポリシーと接続タイムアウトを最適化しました。
Bug Fixes
- 高頻度のStream Load操作がcoordinatorノードのCPU使用率を100%まで急上昇させる可能性があった問題を修正しました。
- インポート中のcoordinatorモジュールでのメモリリークを解決しました。
- インデックスファイル書き込みエラーによって引き起こされるインポート失敗を修正しました。
- インポートプロセス中の潜在的なアップロード失敗に対処しました。
- MoW(Merge-on-Write)操作での長時間保持されるロックによって引き起こされるインポート失敗を解消しました。
- Schema Changesによって引き起こされるBase Compaction失敗を修正しました。
- Routine Loadジョブの停止問題を解決しました。
- JSONの倍精度値の処理を修正しました(以前は0として処理されていました)。
- Audit LogTableでのPermission付与失敗を修正しました。
- Audit Logクエリでの重複タイムスタンプエントリに対処しました。
- 重複するSQLハッシュの衝突を解消しました。
- 転置インデックスでのUTF-8エンコーディング/デコーディングエラーを修正しました。
- 一時的なネットワーク変動による誤ったノード廃止を解決しました。
- 空の結果を返すときのINSERT INTO SELECTクエリでの実行例外を修正しました。
v3.0.11 (November 10, 2024)
Improvements
- Apache Doris v2.0.15からのすべての機能、改善、およびバグ修正をマージしました。
- ファイルキャッシュヒット率を改善しました
v3.0.10 (August 23, 2024)
Improvements
- Apache Doris v2.0.13からのすべての機能、改善、およびバグ修正をマージしました。
v3.0.9 (June 25, 2024)
Improvements
- Apache Doris v2.0.11からのすべての機能、改善、およびバグ修正をマージしました。
- VeloDB Core v3.0.8からのすべての機能、改善、およびバグ修正をマージしました。
- mowTableでのdelete bitmapの計算を最適化し、インポート速度と堅牢性を向上させました。
- show dataのレスポンス速度を最適化しました。
- 逆インデックスと半構造化データクエリのパフォーマンスを最適化しました。
Bug Fixes
- 過剰なcopy intoタスクがwarehouseのOOMを引き起こしていた問題を修正しました。
- 過剰なalterジョブがwarehouseのOOMを引き起こす可能性があった問題を修正しました。
- マルチクラスタシナリオでwarehouseメトリクスが欠落する可能性があった問題を修正しました。
- 単一トランザクションで複数のtabletsをインポートする際に、極端なケースで一部のtabletsでバージョンが欠落する問題を修正しました。
- warehouseがfile cacheサイズの変更を即座に認識できない問題を修正しました。
- 複数のJDBC外部Table接続の問題を修正しました。
- ES Catalogでesqueryが使用できない問題を修正しました。
- 不均一なbalanceとdecommissionのスタックの問題を修正しました。
v3.0.8 (May 15, 2024)
New Features
- recyclerの速度制限をサポートしました。
- show proc文をサポートしました。
- すべてのjsonキーの取得をサポートしました。
Improvements
- Apache Doris v2.0.10からのすべての機能、改善、およびバグ修正をマージしました。
- Table作成の時間消費を最適化しました。
- mowTableでのdelete bitmapの計算速度を最適化し、インポートスループットを向上させました。
- mowTableの高頻度インポート(複数バージョン)のクエリ速度を最適化しました。
- クエリ効率を最適化しました。
Bug Fixes
- rename cluster後の不正確な指標の問題を修正しました。
- rename cluster後の不正確なトラフィック統計の問題を修正しました。
- show processlistの不正確なフォーマットの問題を修正しました。
- schema changeのメモリ不足による失敗の問題を修正しました。
- audit logコンポーネントのインポートPermissionの問題を修正しました。
- datetimev2 round関数のエラーを修正しました。
- nullableプランニングがcoredumpを引き起こす可能性があった問題を修正しました。
- nullableプランニングが間違った結果を引き起こす可能性があった問題を修正しました。
v3.0.7 (March 31, 2024)
New Features
- 監査ログプラグインをサポートしました(監査ログTableは手動で作成する必要があります)。
Improvements
- Apache Doris v2.0.6からのすべての機能、改善、およびバグ修正をマージしました。
- ユーザーがクエリ実行時にdefault clusterを設定していない場合、利用可能な(生きている、認証された)クラスタがクラスタ名の辞書順で選択されるようになりました。
- クラスタが自動停止した後、クラスタの自動開始をトリガーするために明示的にuse clusterする必要がなくなりました。
- 逆インデックスとログ解析シナリオの可用性とパフォーマンスを最適化しました。
- 新しいオプティマイザが曖昧なprojection having構文を最適化します。
- 逆インデックスcompound in listのパフォーマンスを向上させました。
Bug Fixes
- 大量のdeleteリクエストがインポート失敗を引き起こしていた問題を修正しました。
- 統計ロジックが繰り返しSQLをトリガーし、クラスタの自動停止ロジックを失敗させていた問題を修正しました。
- 指定されたUTCタイムゾーン変換エラーのインポートの問題を修正しました。
- JDBCからのshow process listのエラーを修正しました。
- checkpoint後の再起動後にTable属性ttl_secondsが0にクリアされる問題を修正しました。
- date/month/year add関数のエラーを修正しました。
v3.0.6 (February 5, 2024)
New Features
- 自動analyzeをサポートしました。
- wide tableインポートをサポートしました。
- group commit(バッチ/リアルタイムインポート)をサポートしました。
- in left join inferをサポートしました。
Improvements
- Apache Doris v2.0.4からのすべての機能、改善、およびバグ修正をマージしました。
- インポート失敗時のエラーメッセージを最適化しました。
- 安定性を向上させました。
Bug Fixes
- クラスタ再起動がクラスタPermissionを無効にする可能性があった問題を修正しました。
- VeloDB Core v2.4.xシリーズバージョンからv3.0.xシリーズバージョンへのアップグレード失敗の問題を修正しました。
- show processlistコマンドの出力の位置ずれの問題を修正しました。
- Table属性TTLの変更が有効にならない可能性があった問題(表示値が0)を修正しました。
- クエリが時折failed to initialize storage readerエラーを受信する問題を修正しました。
- parquet readerの異常パスがメモリリークを引き起こす可能性があった問題を修正しました。
- date_sub、data_add、to_date関数のpushdownの問題を修正しました。
- colocateがbalanceに参加することによるcolocate jionプランの失敗問題を修正しました。
- colocateの属性replayの変更が失敗する問題を修正しました。
- delete条件の特殊文字によりデータがクエリできない問題を修正しました。
- 低確率での読み取りクエリがNOT_IMPLEMENTED_ERRORを報告する問題を修正しました。
- インポート時のタイムゾーン変換が不正確なデータを引き起こしていた問題を修正しました。
- substr()に負の値を渡すとcoredumpを引き起こしていた問題を修正しました。
v3.0.5 (December 20, 2023)
New Features
- stream load互換APIを提供しました。
/api/{db}/{table}/_stream_load_2pc
- /proc/statistic の show のホワイトリストを開放しました。
改善
- Apache Doris v2.0.3 のすべての機能(自動解析機能の有効化は推奨されません)、改善、バグ修正をマージしました。
- mow Tableインポートの安定性を改善しました。
- dynamic table 作成の速度を改善しました。
- Plan 生成のパフォーマンスを改善しました。
- decimal 操作の動作を最適化しました。
- 安定性を改善しました。
バグ修正
- S3 buffer が不十分な場合に書き込みがスタックする可能性がある問題を修正しました。
- マルチクラスター環境でクエリが "failed to find version path" エラーを取得する可能性がある問題を修正しました。
- マルチクラスター環境で Plan がクラスターをまたぐ可能性がある問題を修正しました。
- varchar カラム型の長さを変更することで dynamic partition が新しい partition を作成できない問題を修正しました。
- show create table decimal が SmartBI と互換性がない問題を修正しました。
- カラム型変換機能が利用できなくなる可能性がある問題を修正しました。
- 行ストレージTable属性が有効にならない問題を修正しました。
- base compaction が失敗する可能性がある問題を修正しました。
- single point query で最新データが見つからない可能性がある問題を修正しました。
- copy into で重複ファイルがタイムアウトを待つ必要がある問題を修正しました。
- query_parallel_instance_num が0で除算される可能性がある問題を修正しました。
- cache ヒット率の計算が不正確になる可能性がある問題を修正しました。
- ngram インデックスが有効にならない問題を修正しました。
v3.0.4 (November 23, 2023)
新機能
- show proc current_stmt をサポートしました。
改善
- アクセス制御セキュリティを強化しました。
- アップロードデータ検証の信頼性を強化しました。
- ウェアハウスメタデータサービスの可用性を改善しました。
- Table dynamic_partition.replication_num 作成時のエラーメッセージを最適化しました。
バグ修正
- VeloDB Core v2.4 から v3.0 へのアップグレードで copy into が失敗する可能性がある問題を修正しました。
- external stage を使用した認証のインポートが失敗する可能性がある問題を修正しました。
- routine load インポートが失敗する可能性がある問題を修正しました。
- mow Tableインポートが失敗する可能性がある問題を修正しました。
- insert ステートメントのリアルタイム書き込みが失敗する可能性がある問題を修正しました。
- tpcds パフォーマンス劣化の問題を修正しました。
- 非グローバル session variables が有効にならない可能性がある問題を修正しました。
- クエリ内の大量の where 条件が高CPU消費と実行の遅延を引き起こす問題を修正しました。
v3.0.3 (November 2, 2023)
新機能
- Doris Clean Label をサポートしました。
- Stream Load cloud API が Doris コミュニティの動作と互換性を持つようになりました。
- ウェアハウスに JDBC Driver が内蔵されました。
改善
- 新しいオプティマイザー top n がデフォルトで runtime filter クリッピングをサポートしました。
バグ修正
- ウェアハウスでのリソースリークによるクエリレスポンスの遅延問題を修正しました。
- function ステートメント無効化が有効にならない問題を修正しました。
- 再配置時に schema change が失敗する問題を修正しました。
v3.0.2 (October 17, 2023)
新機能
- S3 プロトコルインポート用の JDBC Driver URL ホワイトリスト機能を追加しました。
改善
- Apache Doris v2.0.2 のすべての機能、改善、バグ修正をマージしました。
- VeloDB Core v2.3.10 と v2.4.4 のすべての機能、改善、バグ修正をマージしました。
- Plan 実行時のメタデータ取得時間を短縮し、Plan 生成を高速化しました。
- メタデータにアクセスする query profile の時間消費統計を追加しました。
- リソース利用率のバランスと最適化を行いました。
バグ修正
- File Cache TTL 設定後の読み書きエラーの問題を修正しました。
- backends Tableや rowsets Tableのクエリによってサービスが利用できなくなる問題を修正しました。
v3.0.1-beta (September 18, 2023)
改善
- Apache Doris v2.0.1 のすべての機能、改善、バグ修正をマージしました。
- VeloDB Core v2.4.3 のすべての機能、改善、バグ修正をマージしました。
- get version の時間消費を最適化しました。