v3.0

この記事では、VeloDB Core v3.0のリリースノートについて説明します。

Note VeloDB Core v3.0はApache Doris v2.0をベースに開発されました。

v3.0.17 (September 01, 2025)

Bug Fixes

• compactionが早期のデータ回収を引き起こす問題を修正し、可用性を向上させました。
• "The directory you tried to delete or overwrite is not empty"というexportエラーレポートを修正しました。
• クラスターのクラッシュを防ぐためshow proc '/trash'を無効にしました。

v3.0.16 (August 01, 2025)

Bug Fixes

• compactionストラテジーが頻繁なcompaction操作を引き起こし、I/Oを飽和状態にする問題を修正しました。

v3.0.15 (July 17, 2025)

Bug Fixes

• 上流のKafkaトピックでの断続的なRoutine Loadバックログとパーティションスケーリングの問題を修正しました。
• セグメントローディング時のcore dumpsと異常なBackend (BE)再起動を解決しました。
• 集約Tableのエクスポート時の低速なエクスポート速度とデータ損失に対処しました。
• マスターノードでの過度なJVMメモリ使用量を削減しました。
• Frontend (FE) out-of-memory (OOM)エラーを排除しました。
• S3 FileWriterでの冗長なclose呼び出しによる重複警告ログを抑制しました。

v3.0.14 (June 23, 2025)

Improvements

• 効率を向上させるためcompactionスケジューリングを最適化しました。
• metricsのspinlockコンテンションによるCPUスパイクとHTTPインターフェースのレイテンシを解決しました。

Bug Fixes

• extract_url_parameter関数の一貫性のない結果を修正しました。
• MoW (Merge-on-Write) backendとUDF実行でのcore dump問題に対処しました。
• アップグレード時のミリ秒レベルの変動によって引き起こされる書き込み失敗とスケジューリングタスクの中断を排除しました。
• OUTFILEを介したParquetファイルエクスポートによってトリガーされるbackend core dumpsを修正しました。

v3.0.13 (May 9, 2025)

Improvements

• プライマリキーTableでの過度なdelete markersの処理を最適化し、データインポートとcompactionの失敗を防止しました。
• Routine Loadを改善：60秒のmax_batch_interval制限の削除、オブザーバビリティメトリクスの追加、他のジョブに影響する異常なジョブスケジューリング競合の修正。

Bug Fixes

• audit logデータ損失問題を修正しました。

v3.0.12 (February 19, 2025)

New Features

• Stream Load経由での圧縮JSONデータ形式のインポートサポートを追加しました。

Improvements

• インポートの安定性を向上させるため、アップロードリトライポリシーと接続タイムアウトを最適化しました。

Bug Fixes

• 高頻度のStream Load操作がcoordinatorノードのCPU使用率を100%にスパイクさせる問題を修正しました。
• インポート時のcoordinatorモジュールのメモリリークを解決しました。
• インデックスファイル書き込みエラーによるインポート失敗を修正しました。
• インポートプロセス中の潜在的なアップロード失敗に対処しました。
• MoW (Merge-on-Write)操作での長時間保持されるロックによるインポート失敗を排除しました。
• Schema ChangesによってトリガーされるBase Compaction失敗を修正しました。
• Routine Loadジョブの停止問題を解決しました。
• JSONダブル値の処理を修正しました（以前は0として処理されていました）。
• Audit LogTableの権限付与失敗を修正しました。
• Audit Logクエリでの重複タイムスタンプエントリに対処しました。
• 重複SQLハッシュ衝突を排除しました。
• 転置インデックスでのUTF-8エンコーディング/デコーディングエラーを修正しました。
• 一時的なネットワーク変動による誤ったノード廃棄を解決しました。
• 空の結果を返すときのINSERT INTO SELECTクエリでの実行例外を修正しました。

v3.0.11 (November 10, 2024)

Improvements

• Apache Doris v2.0.15からのすべての機能、改善、バグ修正をマージしました。
• ファイルキャッシュヒット率を向上させました

v3.0.10 (August 23, 2024)

Improvements

• Apache Doris v2.0.13からのすべての機能、改善、バグ修正をマージしました。

v3.0.9 (June 25, 2024)

Improvements

• Apache Doris v2.0.11からのすべての機能、改善、バグ修正をマージしました。
• VeloDB Core v3.0.8からのすべての機能、改善、バグ修正をマージしました。
• mowTableでのdelete bitmapの計算を最適化し、インポート速度と堅牢性を向上させました。
• show dataのレスポンス速度を最適化しました。
• 逆インデックスと半構造化データのクエリパフォーマンスを最適化しました。

Bug Fixes

• 過度なcopy intoタスクがwarehouseのOOMを引き起こす問題を修正しました。
• 過度なalterジョブがwarehouseのOOMを引き起こす可能性のある問題を修正しました。
• マルチクラスターシナリオでwarehouseメトリクスが欠落する可能性のある問題を修正しました。
• 単一トランザクションで複数のtabletsをインポートする際に、極端な場合に一部のtabletsがバージョンを欠く問題を修正しました。
• warehouseがfile cacheサイズの変更をすぐに認識できない問題を修正しました。
• いくつかのJDBC外部Table接続の問題を修正しました。
• ES CatalogがesqueryTを使用できない問題を修正しました。
• 不均衡なbalanceとdecommissionスタックの問題を修正しました。

v3.0.8 (May 15, 2024)

New Features

• recyclerの速度制限をサポートしました。
• show procステートメントをサポートしました。
• すべてのjsonキーの取得をサポートしました。

Improvements

• Apache Doris v2.0.10からのすべての機能、改善、バグ修正をマージしました。
• Table作成の時間消費を最適化しました。
• mowTableでのdelete bitmapの計算速度を最適化し、インポートスループットを向上させました。
• mowTableの高頻度インポート（複数バージョン）のクエリ速度を最適化しました。
• クエリ効率を最適化しました。

Bug Fixes

• rename cluster後の不正確な指標の問題を修正しました。
• rename cluster後のトラフィック統計の不正確さの問題を修正しました。
• show processlistの不正確な形式の問題を修正しました。
• schema changeのメモリ不足による失敗の問題を修正しました。
• audit logコンポーネントのインポート権限の問題を修正しました。
• datetimev2 round関数のエラーを修正しました。
• nullableプランニングがcoredumpを引き起こす可能性のある問題を修正しました。
• nullableプランニングが間違った結果を引き起こす可能性のある問題を修正しました。

v3.0.7 (March 31, 2024)

New Features

• audit logプラグインをサポートしました（audit logTableは手動で作成する必要があります）。

Improvements

• Apache Doris v2.0.6からのすべての機能、改善、バグ修正をマージしました。
• ユーザーがクエリ実行時にdefault clusterを設定しない場合、クラスター名の辞書順で利用可能な（生きている、認可された）クラスターが選択されます。
• クラスターが自動停止した後、クラスターの自動開始をトリガーするために明示的にuse clusterをする必要がなくなりました。
• 逆インデックスとログ解析シナリオの可用性とパフォーマンスを最適化しました。
• 新しいオプティマイザーは曖昧なprojection having構文を最適化します。
• 逆インデックスcompound in listのパフォーマンスを向上させました。

Bug Fixes

• 大量のdeleteリクエストがインポート失敗をトリガーする問題を修正しました。
• 統計ロジックがSQLを繰り返しトリガーし、クラスターの自動停止ロジックを失敗させる問題を修正しました。
• 指定されたUTCタイムゾーン変換エラーのインポート問題を修正しました。
• JDBCからのshow process listのエラーを修正しました。
• checkpoint後の再起動後にTable属性ttl_secondsが0にクリアされる問題を修正しました。
• date/month/year add関数を修正しました。

v3.0.6 (February 5, 2024)

New Features

• automatic analyzeをサポートしました。
• wide tableインポートをサポートしました。
• group commit（バッチ/リアルタイムインポート）をサポートしました。
• in left join inferをサポートしました。

Improvements

• Apache Doris v2.0.4からのすべての機能、改善、バグ修正をマージしました。
• インポート失敗時のエラーメッセージを最適化しました。
• 安定性を向上させました。

Bug Fixes

• クラスターの再起動がクラスター権限を無効にする可能性のある問題を修正しました。
• VeloDB Core v2.4.xシリーズバージョンからv3.0.xシリーズバージョンへのアップグレード失敗の問題を修正しました。
• show processlistコマンドの出力位置ずれの問題を修正しました。
• Tableの属性TTLの変更が効かない可能性のある問題（表示値が0）を修正しました。
• クエリが時々failed to initialize storage readerエラーを受信する問題を修正しました。
• parquet readerでの異常なパスがメモリリークを引き起こす可能性のある問題を修正しました。
• date_sub、data_add、to_date関数のpushdownの問題を修正しました。
• colocateがbalanceに参加することによるcolocate jionプランの失敗問題を修正しました。
• colocateの属性replayの変更が失敗する問題を修正しました。
• delete条件内の特殊文字によりデータをクエリできない問題を修正しました。
• 低確率で読み取りクエリがNOT_IMPLEMENTED_ERRORを報告する問題を修正しました。
• インポート時のタイムゾーン変換が不正確なデータを引き起こす問題を修正しました。
• substr()に負の値を渡すとcoredumpを引き起こす問題を修正しました。

v3.0.5 (December 20, 2023)

New Features

• stream load互換APIを提供しました。

/api/{db}/{table}/_stream_load_2pc

• /proc/statistic の show のホワイトリストを開放しました。

改善

• Apache Doris v2.0.3 からすべての機能（自動解析機能の有効化は推奨されません）、改善、バグ修正をマージしました。
• mow Tableのインポートの安定性を向上させました。
• dynamic table 作成の速度を向上させました。
• Plan 生成のパフォーマンスを向上させました。
• decimal 操作の動作を最適化しました。
• 安定性を向上させました。

バグ修正

• S3 buffer が不十分な場合に書き込みがスタックする可能性がある問題を修正しました。
• マルチクラスター環境でクエリが「failed to find version path」エラーを受け取る可能性がある問題を修正しました。
• マルチクラスター環境で Plan がクラスターを跨ぐ可能性がある問題を修正しました。
• varchar カラムタイプの長さを変更することにより dynamic partition が新しい partition を作成できない問題を修正しました。
• show create table decimal が SmartBI と互換性がない問題を修正しました。
• カラムタイプ変換機能が利用できなくなる可能性がある問題を修正しました。
• 行ストレージTable属性が有効にならない問題を修正しました。
• base compaction が失敗する可能性がある問題を修正しました。
• single point query が最新データを見つけられない可能性がある問題を修正しました。
• copy into で重複ファイルがタイムアウトを待つ必要がある問題を修正しました。
• query_parallel_instance_num がゼロ除算される可能性がある問題を修正しました。
• cache ヒット率の計算が不正確になる可能性がある問題を修正しました。
• ngram インデックスが有効にならない問題を修正しました。

v3.0.4（2023年11月23日）

新機能

• show proc current_stmt をサポートしました。

改善

• アクセス制御のセキュリティを強化しました。
• アップロードデータ検証の信頼性を向上させました。
• ウェアハウスメタデータサービスの可用性を向上させました。
• Table作成時の dynamic_partition.replication_num エラーメッセージを最適化しました。

バグ修正

• VeloDB Core v2.4 から v3.0 へのアップグレードで copy into が失敗する可能性がある問題を修正しました。
• external stage を使用したインポート認証が失敗する可能性がある問題を修正しました。
• routine load インポートが失敗する可能性がある問題を修正しました。
• mow Tableインポートが失敗する可能性がある問題を修正しました。
• insert 文のリアルタイム書き込みが失敗する可能性がある問題を修正しました。
• tpcds パフォーマンス低下の問題を修正しました。
• 非グローバル session variables が有効にならない可能性がある問題を修正しました。
• クエリ内の大量の where 条件が高いCPU消費と実行速度の低下を引き起こす問題を修正しました。

v3.0.3（2023年11月2日）

新機能

• Doris Clean Label をサポートしました。
• Stream Load cloud API が Doris コミュニティの動作と互換性を持つようになりました。
• ウェアハウスに JDBC Driver が組み込まれました。

改善

• 新しいオプティマイザー top n がデフォルトで runtime filter クリッピングをサポートするようになりました。

バグ修正

• ウェアハウス内のリソースリークによるクエリ応答の遅延問題を修正しました。
• function 文の無効化が有効にならない問題を修正しました。
• 再配置時に schema change が失敗する問題を修正しました。

v3.0.2（2023年10月17日）

新機能

• S3 プロトコルインポート用の JDBC Driver URL ホワイトリスト機能を追加しました。

改善

• Apache Doris v2.0.2 からすべての機能、改善、バグ修正をマージしました。
• VeloDB Core v2.3.10 および v2.4.4 からすべての機能、改善、バグ修正をマージしました。
• Plan 中のメタデータ取得時間を短縮し、Plan 生成を高速化しました。
• query profile のメタデータアクセスに時間消費統計を追加しました。
• リソース利用率をバランス調整し最適化しました。

バグ修正

• File Cache TTL 設定後の読み書きエラーの問題を修正しました。
• backends Tableや rowsets Tableのクエリによるサービス利用不可の問題を修正しました。

v3.0.1-beta（2023年9月18日）

改善

• Apache Doris v2.0.1 からすべての機能、改善、バグ修正をマージしました。
• VeloDB Core v2.4.3 からすべての機能、改善、バグ修正をマージしました。
• get version の時間消費を最適化しました。