メインコンテンツまでスキップ

v3.0

この記事では、VeloDB Core v3.0のリリースノートについて説明します。

注記 VeloDB Core v3.0はApache Doris v2.0をベースに開発されました。

v3.0.17 (September 01, 2025)​

バグ修正

  • compactionが早期のデータ回収を引き起こす可能性がある問題を修正し、可用性を向上させました。
  • 「削除または上書きしようとしたディレクトリが空でない」というexportエラーレポートを修正しました。
  • クラスタクラッシュを防ぐために show proc '/trash' を無効にしました。

v3.0.16 (August 01, 2025)​

バグ修正

  • compaction戦略が頻繁なcompaction操作を引き起こし、I/Oを飽和させる問題を修正しました。

v3.0.15 (July 17, 2025)​

バグ修正

  • 上流のKafkaトピックでの断続的なRoutine Loadバックログとパーティションスケーリング問題を修正しました。
  • セグメント読み込み中のcore dumpと異常なBackend (BE)再起動を解決しました。
  • 集約テーブルのエクスポート時の低速なエクスポート速度とデータ損失に対処しました。
  • マスターノードでの過度なJVMメモリ使用量を削減しました。
  • Frontend (FE)のout-of-memory (OOM)エラーを除去しました。
  • S3 FileWriterでの冗長なclose呼び出しによる重複警告ログを抑制しました。

v3.0.14 (June 23, 2025)​

改善

  • 効率を向上させるためにcompactionスケジューリングを最適化しました。
  • メトリクスspinlockの競合によって引き起こされるCPUスパイクとHTTPインターフェースレイテンシを解決しました。

バグ修正

  • extract_url_parameter関数の一貫しない結果を修正しました。
  • MoW (Merge-on-Write)バックエンドとUDF実行でのcore dump問題に対処しました。
  • アップグレード時のミリ秒レベルの変動によって引き起こされる書き込み失敗とスケジューリングタスクの中断を除去しました。
  • OUTFILEを介したParquetファイルエクスポートによってトリガーされるバックエンドcore dumpを修正しました。

v3.0.13 (May 9, 2025)​

改善

  • プライマリキーテーブルでの過度なdeleteマーカーの処理を最適化し、データインポートとcompactionの失敗を防止しました。
  • Routine Loadを改善しました：60秒のmax_batch_interval制限の削除、監視可能性メトリクスの追加、他のジョブに影響する異常なジョブスケジューリング競合の修正。

バグ修正

  • 監査ログデータ損失問題を修正しました。

v3.0.12 (February 19, 2025)​

新機能

  • Stream Load経由での圧縮JSONデータフォーマットのインポートサポートを追加しました。

改善

  • インポート安定性を向上させるためにアップロードリトライポリシーと接続タイムアウトを最適化しました。

バグ修正

  • 高頻度のStream Load操作がコーディネーターノードのCPU使用率を100%まで急上昇させる可能性がある問題を修正しました。
  • インポート中のコーディネーターモジュールでのメモリリークを解決しました。
  • インデックスファイル書き込みエラーによって引き起こされるインポート失敗を修正しました。
  • インポートプロセス中の潜在的なアップロード失敗に対処しました。
  • MoW (Merge-on-Write)操作での長時間保持されるロックによって引き起こされるインポート失敗を除去しました。
  • Schema ChangesによってトリガーされるBase Compaction失敗を修正しました。
  • Routine Loadジョブの停止問題を解決しました。
  • JSON double値の処理を修正しました（以前は0として処理されていました）。
  • Audit Logテーブルの権限付与失敗を修正しました。
  • Audit Logクエリでの重複タイムスタンプエントリに対処しました。
  • 重複SQLハッシュ衝突を除去しました。
  • 転置インデックスでのUTF-8エンコード/デコードエラーを修正しました。
  • 一時的なネットワーク変動による誤ったノード廃止を解決しました。
  • 空の結果を返す際のINSERT INTO SELECTクエリでの実行例外を修正しました。

v3.0.11 (November 10, 2024)​

改善

  • Apache Doris v2.0.15からのすべての機能、改善、バグ修正をマージしました。
  • ファイルキャッシュヒット率を改善しました

v3.0.10 (August 23, 2024)​

改善

  • Apache Doris v2.0.13からのすべての機能、改善、バグ修正をマージしました。

v3.0.9 (June 25, 2024)​

改善

  • Apache Doris v2.0.11からのすべての機能、改善、バグ修正をマージしました。
  • VeloDB Core v3.0.8からのすべての機能、改善、バグ修正をマージしました。
  • mowテーブルでのdelete bitmapの計算を最適化し、インポート速度と堅牢性を向上させました。
  • show dataのレスポンス速度を最適化しました。
  • 逆インデックスと半構造化データクエリのパフォーマンスを最適化しました。

バグ修正

  • 過度なcopy intoタスクがウェアハウスOOMを引き起こす問題を修正しました。
  • 過度なalterジョブがウェアハウスOOMを引き起こす可能性がある問題を修正しました。
  • マルチクラスタシナリオでウェアハウスメトリクスが欠損する可能性がある問題を修正しました。
  • 単一トランザクションで複数のtabletsをインポートする際に、極端なケースで一部のtabletsのバージョンが欠損する問題を修正しました。
  • ウェアハウスがfile cacheサイズの変更を即座に認識できない問題を修正しました。
  • 複数のJDBC外部テーブル接続問題を修正しました。
  • ES Catalogがesqueryを使用できない問題を修正しました。
  • 不均一なbalanceとdecommissionスタックの問題を修正しました。

v3.0.8 (May 15, 2024)​

新機能

  • recycler速度制限をサポートしました。
  • show proc文をサポートしました。
  • すべてのjsonキーの取得をサポートしました。

改善

  • Apache Doris v2.0.10からのすべての機能、改善、バグ修正をマージしました。
  • テーブル作成の時間消費を最適化しました。
  • mowテーブルでのdelete bitmapの計算速度を最適化し、インポートスループットを向上させました。
  • mowテーブルの高頻度インポート（複数バージョン）のクエリ速度を最適化しました。
  • クエリ効率を最適化しました。

バグ修正

  • rename cluster後の不正確な指標の問題を修正しました。
  • rename cluster後の不正確なトラフィック統計の問題を修正しました。
  • show processlistの不正確なフォーマットの問題を修正しました。
  • schema changeのメモリ不足による失敗の問題を修正しました。
  • audit logコンポーネントのインポート権限の問題を修正しました。
  • datetimev2 round関数のエラーを修正しました。
  • nullableプランニングがcoredumpを引き起こす可能性がある問題を修正しました。
  • nullableプランニングが間違った結果を引き起こす可能性がある問題を修正しました。

v3.0.7 (March 31, 2024)​

新機能

  • 監査ログプラグインをサポートしました（監査ログテーブルは手動で作成する必要があります）。

改善

  • Apache Doris v2.0.6からのすべての機能、改善、バグ修正をマージしました。
  • クエリ実行時にユーザーがdefault clusterを設定しない場合、利用可能な（生きている、認証された）クラスタがクラスタ名の辞書順で選択されます。
  • クラスタが自動停止後、クラスタの自動開始をトリガーするために明示的にuse clusterする必要がなくなりました。
  • 逆インデックスとログ分析シナリオの可用性とパフォーマンスを最適化しました。
  • 新しいオプティマイザーが曖昧なprojection having構文を最適化します。
  • 逆インデックスcompound in listのパフォーマンスを向上させました。

バグ修正

  • 大量のdeleteリクエストがインポート失敗をトリガーする問題を修正しました。
  • 統計ロジックが繰り返しSQLをトリガーし、クラスタの自動停止ロジックが失敗する問題を修正しました。
  • 指定したUTCタイムゾーン変換エラーでのインポートの問題を修正しました。
  • JDBCからのshow process listのエラーを修正しました。
  • チェックポイント後の再起動後にテーブル属性ttl_secondsが0にクリアされる問題を修正しました。
  • date/month/year add関数のエラーを修正しました。

v3.0.6 (February 5, 2024)​

新機能

  • 自動analyzeをサポートしました。
  • wide tableインポートをサポートしました。
  • group commit（バッチ/リアルタイムインポート）をサポートしました。
  • in left join inferをサポートしました。

改善

  • Apache Doris v2.0.4からのすべての機能、改善、バグ修正をマージしました。
  • インポート失敗時のエラーメッセージを最適化しました。
  • 安定性を向上させました。

バグ修正

  • クラスタ再起動がクラスタ権限を無効にする可能性がある問題を修正しました。
  • VeloDB Core v2.4.xシリーズバージョンからv3.0.xシリーズバージョンへのアップグレード失敗の問題を修正しました。
  • show processlistコマンドの出力ずれの問題を修正しました。
  • テーブルの属性TTLの変更が有効にならない可能性がある問題（表示値が0）を修正しました。
  • クエリが時々failed to initialize storage readerエラーを受信する問題を修正しました。
  • parquet readerでの異常なパスがメモリリークを引き起こす可能性がある問題を修正しました。
  • date_sub、data_add、to_date関数のpushdown問題を修正しました。
  • colocateがbalanceに参加することによるcolocate jionプランの失敗問題を修正しました。
  • colocateの属性replayの変更が失敗する問題を修正しました。
  • delete条件の特殊文字によってデータをクエリできない問題を修正しました。
  • 低い確率で読み取りクエリがNOT_IMPLEMENTED_ERRORをレポートする問題を修正しました。
  • インポートタイムゾーン変換が不正確なデータを引き起こす問題を修正しました。
  • substr()に負の値を渡すとcoredumpが引き起こされる問題を修正しました。

v3.0.5 (December 20, 2023)​

新機能

  • stream load互換APIを提供しました。
/api/{db}/{table}/_stream_load_2pc
  • show /proc/statisticのホワイトリストを開放しました。

改善点

  • Apache Doris v2.0.3からすべての機能（自動analyze機能の有効化は推奨されません）、改善点、バグ修正をマージしました。
  • mowテーブルインポートの安定性を改善しました。
  • dynamic table作成の速度を改善しました。
  • Plan生成のパフォーマンスを改善しました。
  • decimal操作の動作を最適化しました。
  • 安定性を改善しました。

バグ修正

  • S3 bufferの不足により書き込みがスタックする可能性がある問題を修正しました。
  • マルチクラスター環境でクエリが「failed to find version path」エラーを取得する可能性がある問題を修正しました。
  • マルチクラスター環境でPlanがクラスターを跨ぐ可能性がある問題を修正しました。
  • varchar列タイプの長さを変更することによりdynamic partitionが新しいpartitionを作成できない問題を修正しました。
  • show create table decimalがSmartBIと互換性がない問題を修正しました。
  • 列タイプ変換機能が利用できなくなる可能性がある問題を修正しました。
  • 行ストレージテーブル属性が有効にならない問題を修正しました。
  • base compactionが失敗する可能性がある問題を修正しました。
  • single point queryが最新データを見つけられない可能性がある問題を修正しました。
  • copy into重複ファイルがタイムアウトを待つ必要がある問題を修正しました。
  • query_parallel_instance_numが0で除算される可能性がある問題を修正しました。
  • cacheヒット率の計算が不正確になる可能性がある問題を修正しました。
  • ngramインデックスが有効にならない問題を修正しました。

v3.0.4 (2023年11月23日)​

新機能

  • show proc current_stmtをサポートしました。

改善点

  • アクセス制御セキュリティを強化しました。
  • アップロードデータ検証の信頼性を向上させました。
  • ウェアハウスメタデータサービスの可用性を改善しました。
  • テーブルdynamic_partition.replication_num作成時のエラーメッセージを最適化しました。

バグ修正

  • VeloDB Core v2.4からv3.0へのアップグレード時にcopy intoが失敗する可能性がある問題を修正しました。
  • external stageを使用した認証インポートが失敗する可能性がある問題を修正しました。
  • routine loadインポートが失敗する可能性がある問題を修正しました。
  • mowテーブルインポートが失敗する可能性がある問題を修正しました。
  • insert文のリアルタイム書き込みが失敗する可能性がある問題を修正しました。
  • tpcdsパフォーマンス劣化問題を修正しました。
  • 非グローバルsession variablesが有効にならない可能性がある問題を修正しました。
  • クエリ内の大量のwhere条件がCPU使用率の高騰と実行の遅延を引き起こす問題を修正しました。

v3.0.3 (2023年11月2日)​

新機能

  • Doris Clean Labelをサポートしました。
  • Stream Load cloud APIがDorisコミュニティの動作と互換性を持ちました。
  • ウェアハウスに組み込みJDBC Driverを搭載しました。

改善点

  • 新しいオプティマイザーtop nがデフォルトでruntime filterクリッピングをサポートしました。

バグ修正

  • ウェアハウス内のリソースリークによるクエリ応答の遅延問題を修正しました。
  • function文の無効化が有効にならない問題を修正しました。
  • 再配置時にschema changeが失敗する問題を修正しました。

v3.0.2 (2023年10月17日)​

新機能

  • S3プロトコルインポート用のJDBC Driver URLホワイトリスト機能を追加しました。

改善点

  • Apache Doris v2.0.2からすべての機能、改善点、バグ修正をマージしました。
  • VeloDB Core v2.3.10およびv2.4.4からすべての機能、改善点、バグ修正をマージしました。
  • Plan実行中のメタデータ取得時間を短縮し、Plan生成を高速化しました。
  • メタデータアクセスのquery profileに時間消費統計を追加しました。
  • リソース利用を均衡化し最適化しました。

バグ修正

  • File Cache TTL設定後の読み書きエラー問題を修正しました。
  • backendsテーブルまたはrowsetsテーブルのクエリによるサービス利用不可問題を修正しました。

v3.0.1-beta (2023年9月18日)​

改善点

  • Apache Doris v2.0.1からすべての機能、改善点、バグ修正をマージしました。
  • VeloDB Core v2.4.3からすべての機能、改善点、バグ修正をマージしました。
  • get versionの時間消費を最適化しました。