メインコンテンツまでスキップ

v3.0

本記事では、VeloDB Core v3.0のリリースノートについて説明します。

Note VeloDB Core v3.0はApache Doris v2.0をベースに開発されました。

v3.0.17（2025年9月1日）​

Bug Fixes

  • compactionが早期のデータ回収を引き起こす可能性がある問題を修正し、可用性を向上させました。
  • エクスポート時に「削除または上書きしようとしたディレクトリが空ではありません」というエラーを報告する問題を修正しました。
  • クラスタのクラッシュを防ぐため、show proc '/trash'を無効化しました。

v3.0.16（2025年8月1日）​

Bug Fixes

  • compaction戦略が頻繁なcompaction操作を引き起こし、I/Oを飽和状態にする問題を修正しました。

v3.0.15（2025年7月17日）​

Bug Fixes

  • 上流のKafkaトピックで断続的なRoutine Loadのバックログとパーティションスケーリングの問題を修正しました。
  • セグメント読み込み中のcore dumpと異常なBackend（BE）の再起動を解決しました。
  • 集約テーブルをエクスポートする際のエクスポート速度の低下とデータ損失に対処しました。
  • マスターノードでの過剰なJVMメモリ使用量を削減しました。
  • Frontend（FE）のメモリ不足（OOM）エラーを解消しました。
  • S3 FileWriterでの冗長なclose呼び出しによる重複警告ログを抑制しました。

v3.0.14（2025年6月23日）​

Improvements

  • 効率性を改善するためcompactionスケジューリングを最適化しました。
  • metricsのspinlock競合によるCPUスパイクとHTTPインターフェースのレイテンシを解決しました。

Bug Fixes

  • extract_url_parameter関数の一貫性のない結果を修正しました。
  • MoW（Merge-on-Write）バックエンドとUDF実行でのcore dump問題に対処しました。
  • アップグレード時のミリ秒レベルの変動による書き込み失敗とスケジューリングタスクの中断を解消しました。
  • OUTFILEによるParquetファイルのエクスポートによって引き起こされるバックエンドのcore dumpを修正しました。

v3.0.13（2025年5月9日）​

Improvements

  • プライマリキーテーブルでの過剰な削除マーカーの処理を最適化し、データインポートとcompactionの失敗を防止しました。
  • Routine Loadを改善しました：60秒のmax_batch_interval制限を削除、観測可能性メトリクスを追加、他のジョブに影響を与える異常なジョブスケジューリングの競合を修正。

Bug Fixes

  • 監査ログのデータ損失問題を修正しました。

v3.0.12（2025年2月19日）​

New Features

  • Stream Load経由での圧縮JSONデータ形式のインポートサポートを追加しました。

Improvements

  • インポートの安定性を向上させるため、アップロードリトライポリシーと接続タイムアウトを最適化しました。

Bug Fixes

  • 高頻度のStream Load操作によりコーディネーターノードのCPU使用率が100%にスパイクする可能性がある問題を修正しました。
  • インポート時のコーディネーターモジュールでのメモリリークを解決しました。
  • インデックスファイル書き込みエラーによるインポート失敗を修正しました。
  • インポートプロセス中の潜在的なアップロード失敗に対処しました。
  • MoW（Merge-on-Write）操作での長時間保持ロックによるインポート失敗を解消しました。
  • Schema ChangeによってトリガーされるBase Compaction失敗を修正しました。
  • Routine Loadジョブのストール問題を解決しました。
  • JSON double値の処理を修正しました（以前は0として処理されていました）。
  • Audit Logテーブルでの権限付与失敗を修正しました。
  • Audit Logクエリでの重複タイムスタンプエントリに対処しました。
  • 重複するSQLハッシュ衝突を解消しました。
  • 転置インデックスでのUTF-8エンコーディング/デコーディングエラーを修正しました。
  • 一時的なネットワーク変動による誤ったノード廃止を解決しました。
  • 空の結果を返すときのINSERT INTO SELECTクエリでの実行例外を修正しました。

v3.0.11（2024年11月10日）​

Improvements

  • Apache Doris v2.0.15からすべての機能、改善、およびバグ修正をマージしました。
  • ファイルキャッシュのヒット率を改善

v3.0.10（2024年8月23日）​

Improvements

  • Apache Doris v2.0.13からすべての機能、改善、およびバグ修正をマージしました。

v3.0.9（2024年6月25日）​

Improvements

  • Apache Doris v2.0.11からすべての機能、改善、およびバグ修正をマージしました。
  • VeloDB Core v3.0.8からすべての機能、改善、およびバグ修正をマージしました。
  • mowテーブルでのdelete bitmapの計算を最適化し、インポート速度と堅牢性を向上させました。
  • show dataの応答速度を最適化しました。
  • 逆引きインデックスと半構造化データクエリのパフォーマンスを最適化しました。

Bug Fixes

  • 過剰なcopy intoタスクによるウェアハウスOOMの問題を修正しました。
  • 過剰なalterジョブによるウェアハウスOOMの可能性がある問題を修正しました。
  • マルチクラスタシナリオでウェアハウスメトリクスが欠落する可能性がある問題を修正しました。
  • 単一トランザクション内で複数のtabletsをインポートする際の極端なケースで一部のtabletsでバージョンが欠落する問題を修正しました。
  • file cacheサイズの変更をウェアハウスが即座に認識できない問題を修正しました。
  • いくつかのJDBC外部テーブル接続問題を修正しました。
  • ES Catalogでesqueryをuseできない問題を修正しました。
  • 不均等なbalanceとdecommissionの停止問題を修正しました。

v3.0.8（2024年5月15日）​

New Features

  • recyclerの速度制限をサポートしました。
  • show procステートメントをサポートしました。
  • すべてのjsonキーの取得をサポートしました。

Improvements

  • Apache Doris v2.0.10からすべての機能、改善、およびバグ修正をマージしました。
  • テーブル作成の時間消費を最適化しました。
  • mowテーブルでのdelete bitmapの計算速度を最適化し、インポートスループットを改善しました。
  • mowテーブルの高頻度インポート（複数バージョン）のクエリ速度を最適化しました。
  • クエリ効率を最適化しました。

Bug Fixes

  • rename cluster後の不正確な指標の問題を修正しました。
  • rename cluster後のトラフィック統計の不正確さの問題を修正しました。
  • show processlistの不正確なフォーマットの問題を修正しました。
  • schema changeのメモリ不足による失敗の問題を修正しました。
  • audit logコンポーネントのインポート権限の問題を修正しました。
  • datetimev2 round関数のエラーを修正しました。
  • nullable計画がcoredumpを引き起こす可能性がある問題を修正しました。
  • nullable計画が間違った結果を引き起こす可能性がある問題を修正しました。

v3.0.7（2024年3月31日）​

New Features

  • 監査ログプラグインをサポートしました（監査ログテーブルは手動で作成する必要があります）。

Improvements

  • Apache Doris v2.0.6からすべての機能、改善、およびバグ修正をマージしました。
  • ユーザーがクエリ実行時にdefault clusterを設定しない場合、クラスタ名の辞書順で利用可能な（生きている、認可された）クラスタが選択されます。
  • クラスタが自動停止した後、クラスタの自動開始をトリガーするために明示的にuse clusterする必要がなくなりました。
  • 逆引きインデックスとログ分析シナリオの可用性とパフォーマンスを最適化しました。
  • 新しいオプティマイザーが曖昧なprojection having構文を最適化します。
  • 逆引きインデックスcompound in listのパフォーマンスを向上させました。

Bug Fixes

  • 大量のdeleteリクエストがインポート失敗をトリガーする問題を修正しました。
  • 統計ロジックがSQLを繰り返しトリガーし、クラスタの自動停止ロジックを失敗させる問題を修正しました。
  • 指定されたUTCタイムゾーン変換エラーのインポート問題を修正しました。
  • JDBCからのshow process listのエラーを修正しました。
  • checkpoint後の再起動後にテーブル属性ttl_secondsが0にクリアされる問題を修正しました。
  • date/month/year add関数のエラーを修正しました。

v3.0.6（2024年2月5日）​

New Features

  • automatic analyzeをサポートしました。
  • wide tableインポートをサポートしました。
  • group commit（バッチ/リアルタイムインポート）をサポートしました。
  • in left join inferをサポートしました。

Improvements

  • Apache Doris v2.0.4からすべての機能、改善、およびバグ修正をマージしました。
  • インポートが失敗した時のエラーメッセージを最適化しました。
  • 安定性を向上させました。

Bug Fixes

  • クラスタ再起動によりクラスタ権限が無効になる可能性がある問題を修正しました。
  • VeloDB Core v2.4.xシリーズバージョンからv3.0.xシリーズバージョンへのアップグレード失敗の問題を修正しました。
  • show processlistコマンドの出力が整列しない問題を修正しました。
  • テーブルの属性TTLの変更が反映されない可能性がある問題（表示値が0）を修正しました。
  • クエリが時々failed to initialize storage readerエラーを受け取る問題を修正しました。
  • parquet readerでの異常なパスがメモリリークを引き起こす可能性がある問題を修正しました。
  • date_sub、data_add、to_date関数のpushdown問題を修正しました。
  • balanceに参加するcolocateによるcolocate jion計画の失敗問題を修正しました。
  • colocateの属性replayの変更が失敗する問題を修正しました。
  • delete条件の特殊文字によりデータをクエリできない問題を修正しました。
  • 小さな確率で読み取りクエリがNOT_IMPLEMENTED_ERRORを報告する問題を修正しました。
  • インポート時のタイムゾーン変換により不正確なデータが生成される問題を修正しました。
  • substr()に負の値を渡すとcoredumpを引き起こす問題を修正しました。

v3.0.5（2023年12月20日）​

New Features

  • stream load互換APIを提供しました。
/api/{db}/{table}/_stream_load_2pc
  • show /proc/statisticのホワイトリストを開放しました。

改善

  • Apache Doris v2.0.3からすべての機能（自動解析機能を有効にすることは推奨されません）、改善、バグ修正をマージしました。
  • mowテーブルインポートの安定性を改善しました。
  • dynamic table作成の速度を改善しました。
  • Plan生成のパフォーマンスを改善しました。
  • decimal操作の動作を最適化しました。
  • 安定性を改善しました。

バグ修正

  • S3 bufferの不足により書き込みがスタックする可能性がある問題を修正しました。
  • マルチクラスタシナリオでクエリが「failed to find version path」エラーになる可能性がある問題を修正しました。
  • マルチクラスタシナリオでPlanがクラスタを跨ぐ可能性がある問題を修正しました。
  • varchar列タイプの長さ変更によりdynamic partitionが新しいpartitionを作成できない問題を修正しました。
  • show create table decimalがSmartBIと互換性がない問題を修正しました。
  • 列タイプ変換機能が利用できなくなる可能性がある問題を修正しました。
  • 行ストレージテーブル属性が有効にならない問題を修正しました。
  • base compactionが失敗する可能性がある問題を修正しました。
  • single point queryが最新データを見つけられない可能性がある問題を修正しました。
  • copy into重複ファイルがタイムアウトまで待機する必要がある問題を修正しました。
  • query_parallel_instance_numがゼロ除算される可能性がある問題を修正しました。
  • cacheヒット率計算が不正確になる可能性がある問題を修正しました。
  • ngramインデックスが有効にならない問題を修正しました。

v3.0.4 (2023年11月23日)​

新機能

  • show proc current_stmtをサポートしました。

改善

  • アクセス制御セキュリティを強化しました。
  • アップロードされたデータ検証の信頼性を強化しました。
  • ウェアハウスメタデータサービスの可用性を改善しました。
  • テーブル作成時のdynamic_partition.replication_numエラーメッセージを最適化しました。

バグ修正

  • VeloDB Core v2.4からv3.0へのアップグレード時にcopy intoが失敗する可能性がある問題を修正しました。
  • external stageを使用したインポート認証が失敗する可能性がある問題を修正しました。
  • routine loadインポートが失敗する可能性がある問題を修正しました。
  • mowテーブルインポートが失敗する可能性がある問題を修正しました。
  • insert文のリアルタイム書き込みが失敗する可能性がある問題を修正しました。
  • tpcdsパフォーマンス劣化問題を修正しました。
  • 非グローバルsession variablesが有効にならない可能性がある問題を修正しました。
  • クエリ内の大量のwhere条件が高CPU消費と実行速度低下を引き起こす問題を修正しました。

v3.0.3 (2023年11月2日)​

新機能

  • Doris Clean Labelをサポートしました。
  • Stream Load cloud APIがDorisコミュニティの動作と互換性を持ちました。
  • ウェアハウスにJDBC Driverが内蔵されました。

改善

  • 新しいオプティマイザーtop nがデフォルトでruntime filterクリッピングをサポートしました。

バグ修正

  • ウェアハウス内のリソースリークによるクエリレスポンスの遅延問題を修正しました。
  • function文の無効化が有効にならない問題を修正しました。
  • 再配置時にschema changeが失敗する問題を修正しました。

v3.0.2 (2023年10月17日)​

新機能

  • S3プロトコルインポート用のJDBC Driver URLホワイトリスト機能を追加しました。

改善

  • Apache Doris v2.0.2からすべての機能、改善、バグ修正をマージしました。
  • VeloDB Core v2.3.10およびv2.4.4からすべての機能、改善、バグ修正をマージしました。
  • Plan実行中のメタデータ取得時間を短縮し、Plan生成を高速化しました。
  • メタデータアクセス用のquery profileに時間消費統計を追加しました。
  • リソース使用率をバランス調整し、最適化しました。

バグ修正

  • File Cache TTL設定後の読み書きエラー問題を修正しました。
  • backendsテーブルまたはrowsetsテーブルのクエリによるサービス利用不可問題を修正しました。

v3.0.1-beta (2023年9月18日)​

改善

  • Apache Doris v2.0.1からすべての機能、改善、バグ修正をマージしました。
  • VeloDB Core v2.4.3からすべての機能、改善、バグ修正をマージしました。
  • get versionの時間消費を最適化しました。