v3.0

本記事では、VeloDB Core v3.0のリリースノートについて説明します。

Note VeloDB Core v3.0はApache Doris v2.0をベースに開発されました。

v3.0.17（2025年9月1日）

Bug Fixes

• compactionが早期のデータ回収を引き起こす可能性がある問題を修正し、可用性を向上させました。
• 「削除または上書きしようとしたディレクトリが空ではありません」というexportエラー報告を修正しました。
• クラスタクラッシュを防ぐため、show proc '/trash'を無効化しました。

v3.0.16（2025年8月1日）

Bug Fixes

• compaction戦略が頻繁なcompaction操作を引き起こし、I/Oを飽和させる問題を修正しました。

v3.0.15（2025年7月17日）

Bug Fixes

• 上流のKafkaトピックでの断続的なRoutine Loadバックログとパーティションスケーリング問題を修正しました。
• セグメント読み込み中のcore dumpと異常なBackend（BE）再起動を解決しました。
• 集約テーブルをエクスポートする際の低速なエクスポート速度とデータ損失に対処しました。
• マスターノードでの過剰なJVMメモリ使用量を削減しました。
• Frontend（FE）のout-of-memory（OOM）エラーを解消しました。
• S3 FileWriterでの冗長なclose呼び出しによって引き起こされる重複警告ログを抑制しました。

v3.0.14（2025年6月23日）

Improvements

• 効率を向上させるためにcompactionスケジューリングを最適化しました。
• metricsスピンロック競合によって引き起こされるCPUスパイクとHTTPインターフェースレイテンシを解決しました。

Bug Fixes

• extract_url_parameter関数での一貫性のない結果を修正しました。
• MoW（Merge-on-Write）バックエンドとUDF実行でのcore dump問題に対処しました。
• アップグレード時のミリ秒レベルの変動によって引き起こされる書き込み失敗とスケジューリングタスク中断を解消しました。
• OUTFILEを介したParquetファイルエクスポートによってトリガーされるバックエンドcore dumpを修正しました。

v3.0.13（2025年5月9日）

Improvements

• プライマリキーテーブルでの過剰な削除マーカーの処理を最適化し、データインポートとcompaction失敗を防止しました。
• Routine Loadを改善しました：60秒のmax_batch_interval制限の削除、観測可能性メトリクスの追加、他のジョブに影響を与える異常なジョブスケジューリング競合を修正。

Bug Fixes

• audit logデータ損失問題を修正しました。

v3.0.12（2025年2月19日）

New Features

• Stream Load経由で圧縮されたJSONデータ形式のインポートサポートを追加しました。

Improvements

• インポート安定性を向上させるためにアップロード再試行ポリシーと接続タイムアウトを最適化しました。

Bug Fixes

• 高頻度のStream Load操作がコーディネーターノードのCPU使用率を100%にスパイクさせる可能性がある問題を修正しました。
• インポート中のコーディネーターモジュールでのメモリリークを解決しました。
• インデックスファイル書き込みエラーによって引き起こされるインポート失敗を修正しました。
• インポートプロセス中の潜在的なアップロード失敗に対処しました。
• MoW（Merge-on-Write）操作での長時間保持されるロックによって引き起こされるインポート失敗を解消しました。
• Schema ChangeによってトリガーされるBase Compaction失敗を修正しました。
• Routine Loadジョブ停滞問題を解決しました。
• JSONダブル値処理を修正しました（以前は0として処理されていました）。
• Audit Logテーブルの権限付与失敗を修正しました。
• Audit Logクエリでの重複タイムスタンプエントリに対処しました。
• 重複SQLハッシュ衝突を解消しました。
• 転置インデックスでのUTF-8エンコード/デコードエラーを修正しました。
• 一時的なネットワーク変動による誤ったノード廃止を解決しました。
• 空の結果を返すときのINSERT INTO SELECTクエリでの実行例外を修正しました。

v3.0.11（2024年11月10日）

Improvements

• Apache Doris v2.0.15からすべての機能、改善、およびバグ修正をマージしました。
• ファイルキャッシュヒット率を向上させました。

v3.0.10（2024年8月23日）

Improvements

• Apache Doris v2.0.13からすべての機能、改善、およびバグ修正をマージしました。

v3.0.9（2024年6月25日）

Improvements

• Apache Doris v2.0.11からすべての機能、改善、およびバグ修正をマージしました。
• VeloDB Core v3.0.8からすべての機能、改善、およびバグ修正をマージしました。
• mowテーブルでのdelete bitmapの計算を最適化し、インポート速度と堅牢性を向上させました。
• show dataのレスポンス速度を最適化しました。
• 逆インデックスと半構造化データクエリのパフォーマンスを最適化しました。

Bug Fixes

• 過多のcopy intoタスクがwarehouseのOOMを引き起こす問題を修正しました。
• 過多のalterジョブがwarehouseのOOMを引き起こす可能性がある問題を修正しました。
• マルチクラスタシナリオでwarehouseメトリクスが欠落する可能性がある問題を修正しました。
• 単一トランザクションで複数のtabletsをインポートする際に、極端なケースで一部のtabletsでバージョンが欠落する問題を修正しました。
• warehouseがfile cacheサイズの変更を即座に認識できない問題を修正しました。
• 複数のJDBC外部テーブル接続問題を修正しました。
• ES CatalogがesqueryUを使用できない問題を修正しました。
• 不均等なbalanceとdecommission停滞の問題を修正しました。

v3.0.8（2024年5月15日）

New Features

• recycler速度制限をサポートしました。
• show procステートメントをサポートしました。
• すべてのjsonキーの取得をサポートしました。

Improvements

• Apache Doris v2.0.10からすべての機能、改善、およびバグ修正をマージしました。
• テーブル作成の時間消費を最適化しました。
• mowテーブルでのdelete bitmapの計算速度を最適化し、インポートスループットを向上させました。
• mowテーブル高頻度インポート（複数バージョン）のクエリ速度を最適化しました。
• クエリ効率を最適化しました。

Bug Fixes

• rename cluster後の不正確な指標の問題を修正しました。
• rename cluster後の不正確なトラフィック統計の問題を修正しました。
• show processlistの不正確な形式の問題を修正しました。
• schema changeのメモリ不足による失敗の問題を修正しました。
• audit logコンポーネントのインポート権限の問題を修正しました。
• datetimev2 round関数のエラーを修正しました。
• nullableプランニングがcoredumpを引き起こす可能性がある問題を修正しました。
• nullableプランニングが誤った結果を引き起こす可能性がある問題を修正しました。

v3.0.7（2024年3月31日）

New Features

• audit logプラグインをサポートしました（audit logテーブルは手動で作成する必要があります）。

Improvements

• Apache Doris v2.0.6からすべての機能、改善、およびバグ修正をマージしました。
• ユーザーがクエリ実行時にdefault clusterを設定しない場合、使用可能な（live、authorized）クラスタがクラスタ名の辞書順で選択されます。
• クラスタが自動停止した後、クラスタの自動開始をトリガーするために明示的にuse clusterする必要がなくなりました。
• 逆インデックスとログ分析シナリオの可用性とパフォーマンスを最適化しました。
• 新しいオプティマイザーが曖昧なprojection having構文を最適化します。
• 逆インデックスcompound in listのパフォーマンスを向上させました。

Bug Fixes

• 大量のdeleteリクエストがインポート失敗をトリガーする問題を修正しました。
• 統計ロジックがSQLを繰り返しトリガーし、クラスタの自動停止ロジックが失敗する問題を修正しました。
• 指定されたUTCタイムゾーン変換エラーをインポートする問題を修正しました。
• JDBCからのshow process listのエラーを修正しました。
• checkpoint後の再起動後にテーブル属性ttl_secondsが0にクリアされる問題を修正しました。
• date/month/year add関数のエラーを修正しました。

v3.0.6（2024年2月5日）

New Features

• automatic analyzeをサポートしました。
• wide tableインポートをサポートしました。
• group commit（バッチ/リアルタイムインポート）をサポートしました。
• in left join inferをサポートしました。

Improvements

• Apache Doris v2.0.4からすべての機能、改善、およびバグ修正をマージしました。
• インポート失敗時のエラーメッセージを最適化しました。
• 安定性を向上させました。

Bug Fixes

• クラスタ再起動がクラスタ権限を無効にする可能性がある問題を修正しました。
• VeloDB Core v2.4.xシリーズバージョンからv3.0.xシリーズバージョンへのアップグレード失敗の問題を修正しました。
• show processlistコマンドの出力位置ずれの問題を修正しました。
• テーブル属性TTLの変更が有効にならない可能性がある問題（表示値が0）を修正しました。
• クエリが時々failed to initialize storage readerエラーを受け取る問題を修正しました。
• parquet readerでの異常パスがメモリリークを引き起こす可能性がある問題を修正しました。
• date_sub、data_add、to_date関数のpushdown問題を修正しました。
• colocateがbalanceに参加することによるcolocate jionプラン失敗の問題を修正しました。
• colocate属性replayの変更が失敗する問題を修正しました。
• delete条件の特殊文字によりデータがクエリできない問題を修正しました。
• 読み取りクエリが低い確率でNOT_IMPLEMENTED_ERRORを報告する問題を修正しました。
• インポート時のタイムゾーン変換が不正確なデータを引き起こす問題を修正しました。
• substr()に負の値を渡すことでcoredumpが発生する問題を修正しました。

v3.0.5（2023年12月20日）

New Features

• stream load互換APIを提供しました。

/api/{db}/{table}/_stream_load_2pc

• show /proc/statisticのホワイトリストを開放しました。

改善

• Apache Doris v2.0.3からすべての機能（自動解析機能を有効にすることは推奨されません）、改善、バグ修正をマージしました。
• mowテーブルインポートの安定性を改善しました。
• dynamic table作成の速度を改善しました。
• Plan生成のパフォーマンスを改善しました。
• decimal操作の動作を最適化しました。
• 安定性を改善しました。

バグ修正

• S3 bufferの不足により書き込みが停止する可能性がある問題を修正しました。
• マルチクラスタシナリオでクエリが「failed to find version path」エラーを取得する可能性がある問題を修正しました。
• マルチクラスタシナリオでPlanがクラスタを跨ぐ可能性がある問題を修正しました。
• varchar列タイプの長さを変更することでdynamic partitionが新しいpartitionを作成できない問題を修正しました。
• show create table decimalがSmartBIと互換性がない問題を修正しました。
• 列タイプ変換機能が使用できなくなる可能性がある問題を修正しました。
• 行ストレージテーブル属性が有効にならない問題を修正しました。
• base compactionが失敗する可能性がある問題を修正しました。
• single point queryが最新データを見つけられない可能性がある問題を修正しました。
• copy into重複ファイルがタイムアウトを待つ必要がある問題を修正しました。
• query_parallel_instance_numが0で除算される可能性がある問題を修正しました。
• cacheヒット率の計算が不正確になる可能性がある問題を修正しました。
• ngramインデックスが有効にならない問題を修正しました。

v3.0.4 (2023年11月23日)

新機能

• show proc current_stmtをサポートしました。

改善

• アクセス制御セキュリティを強化しました。
• アップロードデータ検証の信頼性を向上させました。
• ウェアハウスメタデータサービスの可用性を改善しました。
• テーブル作成時のdynamic_partition.replication_numのエラーメッセージを最適化しました。

バグ修正

• VeloDB Core v2.4からv3.0へのアップグレード時にcopy intoが失敗する可能性がある問題を修正しました。
• external stageを使用したインポート認証が失敗する可能性がある問題を修正しました。
• routine loadインポートが失敗する可能性がある問題を修正しました。
• mowテーブルインポートが失敗する可能性がある問題を修正しました。
• insert文のリアルタイム書き込みが失敗する可能性がある問題を修正しました。
• tpcdsパフォーマンス低下問題を修正しました。
• 非グローバルsession variablesが有効にならない可能性がある問題を修正しました。
• クエリ内の大量のwhere条件が高いCPU消費と実行の遅延を引き起こす問題を修正しました。

v3.0.3 (2023年11月2日)

新機能

• Doris Clean Labelをサポートしました。
• Stream Load cloud APIがDorisコミュニティの動作と互換性を持ちました。
• ウェアハウスにJDBC Driverが内蔵されました。

改善

• 新しいオプティマイザtop nがデフォルトでruntime filterクリッピングをサポートしました。

バグ修正

• ウェアハウス内のリソースリークによるクエリレスポンスの遅延問題を修正しました。
• function文の無効化が有効にならない問題を修正しました。
• 再配置時にschema changeが失敗する問題を修正しました。

v3.0.2 (2023年10月17日)

新機能

• S3プロトコルインポート用のJDBC Driver URLホワイトリスト機能を追加しました。

改善

• Apache Doris v2.0.2からすべての機能、改善、バグ修正をマージしました。
• VeloDB Core v2.3.10とv2.4.4からすべての機能、改善、バグ修正をマージしました。
• Plan中のメタデータ取得時間を短縮し、Plan生成を高速化しました。
• query profileのメタデータアクセス時間統計を追加しました。
• リソース利用率をバランス調整し最適化しました。

バグ修正

• File Cache TTL設定後の読み書きエラー問題を修正しました。
• backendsテーブルまたはrowsetsテーブルのクエリによるサービス停止問題を修正しました。

v3.0.1-beta (2023年9月18日)

改善

• Apache Doris v2.0.1からすべての機能、改善、バグ修正をマージしました。
• VeloDB Core v2.4.3からすべての機能、改善、バグ修正をマージしました。
• get versionの時間消費を最適化しました。