Enterprise Core

Enterprise Core 4.0.x

SelectDB 4.0.5 Release Note

概要

Apache Doris 4.0.5をベースとした公式エンタープライズリリースであるSelectDB 4.0.5は、Doris 4.0.5の全機能を完全に継承しています。リアルタイムデータウェアハウス、ログ分析、運用レポート、マルチソース統合クエリを低コストでサポートし、ANNベースの高次元ベクトル検索、構造化フィルタリングとベクトル類似性を組み合わせた統合クエリ、BM25ベースのテキスト関連性ランキング、大規模言語モデルの分類・抽出・要約・翻訳・セマンティックマッチングへの直接SQL呼び出しなど、AI指向の主要機能強化を引き継いでいます。これらの機能により、企業はセマンティック検索、ハイブリッド検索、RAG検索強化、インテリジェントレコメンデーションワークロードを単一プラットフォームでサポートでき、本番環境でのセキュリティコンプライアンス、暗号化転送、国産データベースエコシステムとの互換性をさらに強化します。

エンタープライズ機能

• Transparent Data Encryption (TDE): SelectDB 4.0.5は、Doris永続ストレージの保存時データを保護する透過的データ暗号化をサポートしています。この機能は、Root KeyプロバイダーとしてAWS KMSをサポートし、Root Key、Master Key、Data Keyの統一管理を行い、AES256やSM4などのデータ暗号化アルゴリズムとマスターキーのローテーションをサポートします。データコンプライアンス、ディスク漏洩防止、バックアップ保護に関する要件を持つユーザーにとって、TDEは業務使用パターンへの影響を最小限に抑えながら保存時暗号化を実現し、メディア漏洩や不正アクセスのリスクを大幅に軽減します。

• データ転送時のTLS暗号化: SelectDB 4.0.5は、FE、BE、ノード間トラフィックの通信リンクに対するTLS暗号化の統一をサポートしています。HTTP、MySQL、Thrift、BRPC、Arrow Flightなどの主要プロトコルの暗号化転送をサポートし、一方向TLS、相互TLS（mTLS）、証明書のホットリロード、SANベースの証明書認証制御もサポートします。これにより、クライアントアクセスから内部クラスタ通信まで一貫したセキュリティベースラインを確立し、平文送信や不整合なマルチプロトコルセキュリティ設定のリスクを軽減し、マルチネットワーク、マルチテナント、高セキュリティ環境でのデプロイメント信頼性を向上させます。

• 包括的なCVE修正: バージョン4.0.5には、既知のセキュリティ脆弱性の体系的な修正と依存関係ガバナンスの改善が含まれており、デフォルトのセキュリティベースラインをさらに強化し、ユーザーのコンポーネント露出と運用セキュリティ負荷の軽減を支援します。

• より多くのデータソースへのJDBC Catalogサポート: JDBC Catalogは、Dameng、GBase、Kingbaseのサポートを追加することで、エンタープライズ異種データ接続性をさらに拡張し、ユーザーがより多くのデータベースエコシステムに低コストで接続し、統合クエリ、データ移行、レイクハウス統合シナリオを加速することを支援します。

Enterprise Core 3.1.x

Enterprise Core 3.1.4

リリース日: 2026年1月30日

新機能

Query Engine

• Dereference Expressionsのサポート #58550

Data Lake & External Catalogs

• CatalogがAwsCredentialsProviderChain経由での認証情報ロードをサポート #59054
• S3アクセス用のcredentials_provider_typeのBEへの渡しをサポート #59158
• Elasticsearch flattenデータ型のサポート #58793

Observability & Audit

• 監査ログに保存されるSQL文の暗号化をサポート #58508
• QueryPlanActionがテーブルクエリプランからのSQLを監査ログに書き込むことをサポート #59121
• Nereidsで解析された文のSQL Digest生成 #59215

最適化と改善

Query Engine

• 式の一貫性を向上させるための型推論と型強制の動作調整 #57961
• 分析タスクが列統計キャッシュを汚染することを防ぎ、統計の精度を向上 #58742
• 複数のDISTINCT集約関数を持つクエリの実行を改善 #58973
• 不要なプランの複雑さを回避するためのJoin / Set / CTE / 述語プッシュダウンルールの最適化 #58664, #59141, #59151

Data Lake & External Catalogs

• Hiveパーティションプルーニングと書き込みパフォーマンスの高速化により、大きなパーティションテーブルの書き込み遅延を大幅に削減 #58886, #58932
• IcebergがCOUNTプッシュダウンを改善するためにdangling deletesを無視することをサポート #59069
• Iceberg REST Catalogの接続性チェックとネットワークタイムアウト処理を強化 #58433, #58434
• 単一スナップショットシナリオにおけるPaimonインクリメンタルクエリの動作をSparkと整合 #58253

Doris Cloud（ストレージ・コンピュート分離）

• クラウド環境での運用柔軟性を向上させるためのタブレットリバランサー設定の動的更新をサポート #58376
• 不要なリモートブロードキャスト読み取りを回避するためのストレージ・コンピュート分離シナリオでのTopNクエリ最適化 #58112, #58155
• アップグレード過程でのタブレットパフォーマンス一貫性を向上し、ホットスポットリスクを軽減 #58247
• 大きなテーブルのキャッシュ影響を軽減するためのSchema Change時のFile Cache適応化 #58622
• IO可観測性向上のためのクエリプロファイルへのダウンロード待機時間メトリクス追加 #58870
• LRUダンプサポートによるFile Cacheデバッグ機能強化 #58871

Security & Stability

• 外部カタログセキュリティ向上のためのGlue CatalogでのHTTPS強制 #58366
• Create StageでのSSRF検証追加 #58874

バグ修正

Query Engine (Nereids Optimizer)

• 特定のシナリオでTopN / Limit / Joinルールによって引き起こされる潜在的な無限ループの修正 #58697
• 集約、ウィンドウ関数、Repeat、型変換でのロジックエラーの修正 #58080, #58114, #58330, #58548

マテリアライズドビュー (MV)

• MOWテーブルでのvalue列述語を持つ無効なマテリアライズドビューの作成を禁止 #57937

Data Ingestion

• 潜在的なデータ破損を防ぐためのJSONリーダーの複数呼び出しによる未定義動作の修正 #58192
• Broker LoadでのCOLUMNS FROM PATHに関連する不正な動作の修正 #58351, #58904
• ノードがオフラインまたは廃止された際のGroup Commitの異常動作の修正 #59118
• 特定のエッジ条件でのLoad / Delete / Partial Updateの失敗修正 #58553, #58230, #59096

Doris Cloud（ストレージ・コンピュート分離）

• Tablet Drop、Compaction、初期起動の遅延などストレージ・コンピュート分離シナリオでの安定性問題の修正 #58157, #58195, #58761
• 異常状況やBE故障時のFile Cacheでのクラッシュとリソースリークの修正 #58196, #58819, #59058
• compaction後にクリアされないSegment Footer Cacheによる異常読み取り動作の修正 #59185
• ORC / Parquet形式でCopy Intoを実行する際の失敗修正 #58551

Enterprise Core 3.0.x

Enterprise Core 3.0.10

リリース日: 2025年11月20日

新機能

• MaxCompute Catalog: MaxComputeカタログでproject-schema-table構造の読み取りサポートを追加
• Paimon Catalog: DLF統合によるPaimon RESTカタログのサポートを追加
• JDBC Catalog: DM（Dameng）データベースのnvarcharデータ型サポートを追加

改善

• MTMV: ベーステーブルスキーマ変更がネストされたMTMVをスキーマ変更状態にしないよう改善
• Routine Load: トランザクション失敗時のスケジュール遅延によるタスクスケジューリング最適化
• String Performance: 文字列のシリアル化・デシリアル化パフォーマンスを改善
• I/O Optimization: より良いI/Oチューニングのために読み取りスライスサイズを設定可能に

バグ修正

Data Type

• decimal256からfloat型へのキャスト時の不安定なオーバーフローエラーを修正
• FEチェックポイントと再起動後の不正な自動増分値割り当てを修正

Function

• explode関数によるクラッシュ問題を修正
• datetimev1型のtimestampdiff関数の不正な計算結果を修正

Catalog

• Icebergカタログのnullポインタ例外問題を修正
• max_meta_object_cache_num設定の要件検証を修正し、値が0より大きいことを保証
• CREATEまたはALTER操作時にカタログがリフレッシュキューから誤って削除される問題を修正
• zeroDateTimeBehavior=convertToNull書き込み方式の異なるバージョンとの互換性を改善
• クエリテーブル値関数のJDBCテーブルID割り当ての不正を修正

Nereids Optimizer

• Profile.releaseMemory()メソッドでの物理プラン解放によるメモリリークを修正
• Java UDFでのプロジェクトマージ機能を有効化
• ReorderJoinルールがmark joinを誤ってmulti joinに吸収する問題を修正
• simplify compare predicate最適化による精度低下とnullキャストの問題を修正

MTMV

• パーティションテーブルにパーティションがない場合のリフレッシュ失敗を修正

Export

• エラー発生後にエクスポートジョブがキャンセルされない問題を修正

HDFS

• プロファイル収集時のHDFSリーダーでのバックエンドコアダンプ問題を修正

Others

• show create viewコマンドで列定義が表示されない問題を修正
• kill connectionコマンドが現在の接続を誤って終了させる問題を修正
• 非マスターノードでeditlogが書き込まれる問題を修正

Enterprise Core 3.0.9

リリース日: 2025年10月25日

動作変更

• zstd圧縮をデフォルトで使用

• ranger / LDAPを使用する場合、VeloDBでのユーザー作成を禁止しないよう変更

• variantのnested属性はデフォルトで無効。テーブル作成時に有効にするには、まずセッション変数でset enable_variant_flatten_nested = trueを実行する必要があります

新機能

• DM（Dameng）およびKingBase JDBC Catalogサポートを追加

• CSVエクスポートが圧縮をサポート

• Hive CatalogがPresto Viewをサポート

• MySQLのGROUP BY WITH ORDER構文をサポート

改善

• バックアップメタ情報が2GBを超えるサイズをサポート

• count(*)時に、列プルーニングが子ノードで最小列を選択可能

• LDAPが有効な場合にshow grantコマンドを実行可能

• バージョン2.1から3.0にアップグレードするユーザーがパーティション単位でインデックス形式の移行を段階的に完了できるよう、転置インデックス形式V2のパーティション別ローリングアップグレードメカニズムを提供

• メモリ不足時のフラッシュ戦略を最適化

• S3 LoadとTVFがAK/SKなしで公開読み取り可能なオブジェクトへのアクセスをサポート

• キャッシュ容量が十分な場合、base compactionで生成されたrowsetをファイルキャッシュに書き込み可能

• ALTER STORAGE VAULTコマンドを最適化し、明示的な指定なしにtype属性を自動推論

• ポイントクエリが1つのフラグメントのみを計画し、ポイントクエリの実行速度を向上

• unique keyテーブルでのポイントクエリのパフォーマンスを改善

• 非トークン化インデックスを書き込む際の共通デフォルトトークナイザーの追加リソース消費を最適化

バグ修正

Data Ingestion

• 複数文字の列セパレータを使用する際のenclose解析エラーを修正

• S3 Load進捗がタイムリーに更新されない問題を修正

• JSON boolean型をINT列にロードする際のエラーを修正

• Stream Loadでエラー時のURL返却欠如問題を修正

• スキーマ変更で例外が発生した後のgroup commitブロック問題を修正

• Routine loadがcompute group IDではなくcompute group nameを使用してcompute groupを選択するよう修正

• メモリ制限を超えた場合のroutine loadスケジューリング停止問題を修正

Query Optimizer

• 一部のself-joinシナリオでcolocate joinを誤って使用する問題を修正

• select distinctとウィンドウ関数を組み合わせた場合の潜在的結果エラーを修正

• lambda式が予期しない位置に現れる場合により分かりやすいエラーメッセージを提供

Permissions

• 外部ビューをクエリする際にビュー内ベーステーブルの権限を誤ってチェックする問題を修正

Query Execution

• IPV6型がIPV4型データを解析できない問題を修正

• IPV6型解析時のスタックオーバーフローエラーを修正

• SSLモードでクエリが失敗する可能性のある問題を修正

• rollupを持つテーブルへのデータインポート時の型不一致エラー問題を修正

• topNクエリでコアダンプを引き起こす可能性のある問題を修正

• array_agg_foreach関数の不正な結果問題を修正

Complex Data Types

• 起動時に命令セットに一致するsimdjon パーサーをBEが選択することをサポート

• variantネストデータ型でのデータ型競合による不正な型推論を修正

• variantネスト最上位ネスト配列データでのデフォルト値入力問題を修正

• クラウドでvariant型でのインデックス構築を禁止

• variantで転置インデックス作成後、インデックス条件に合わないデータ書き込み時の空インデックスファイル生成問題を修正

• variant型列追加のalter後にクエリがクラッシュする可能性のある問題を修正

• variant型が空文字列をNULLにキャストする問題を修正

• arrayがjsonサブタイプをサポートしない問題を修正

• bz2圧縮での小ファイル出力を修正

• 空文字列はNULL(JSONB)にキャストされるべき

• _sub_column_treeへの並行アクセスによるスレッドセーフティ問題を解決

Lakehouse

• Hive

  • Kerberosを使用した Hive Metastoreアクセス失敗を修正

  • Hiveテーブルのserialization.null.formatプロパティが正しく認識されない問題を修正

  • Hiveテーブルパーティションで中国語による重複パーティションID問題を修正

  • Alibaba Cloud OSS-HDFSに保存されたHiveテーブルへの書き込み失敗を修正

• Iceberg

  • decimalパーティションを持つicebergテーブルへの書き込み失敗問題を修正

• Paimon

  • JNIを使用してPaimonデータ読み取り時のタイムゾーン情報欠如を修正

  • Paimonテーブル読み取り時の遅延実体化最適化が正しくトリガーされない問題を修正

• Hudi

  • JNIを使用したHudiテーブルパーティション列読み取り失敗を修正

  • 一部のケースでのHudiテーブルTimestamp型パーティション列クエリ失敗問題を修正

• JDBC

  • 特定の予約キーワードがJDBC Catalogアクセス失敗を引き起こす問題を修正

  • 一部のケースでのJDBC SQLパススルー解析失敗問題を修正

• MaxCompute

  • MaxCompute Catalogで述語プッシュダウンが列を見つけられない問題を修正

  • Alibaba Cloud International MaxComputeアクセス不可問題を修正

• ES

  • ES Catalogでの特殊時間形式の不正な処理問題を修正

• Other

  • 特定のケースでExternal CatalogでDatabase・Table IDが誤って生成される問題を修正

Others

• 失敗したSCタスククリーンアップ時の新しいタブレットが空になる問題を修正

• 元の順序でバケット列を再構築

• バケット列の削除を禁止

• ネットワークエラー時の自動リトライをサポート

• tabletInvertedIndexでのデッドロックを回避

• 同名のテーブルとパーティションの同時作成・削除時にFEが終了する可能性のある問題を修正

• スキーマ変更式の不正な再利用問題を修正

• 自動パーティショニングで新パーティション作成時の偶発的ロード失敗問題を修正

• メモリ破損による coredump問題を修正

• バックアップ時にパーティションやテーブルが削除される場合のエラーを修正

Enterprise Core 3.0.7

リリース日: 2025年8月25日

動作変更

• show frontendsとshow backendsの権限要件を対応するRESTful APIに合わせ、information_schemaデータベースでのSELECT_PRIV権限が必要に調整
• 指定ドメインを持つadminおよびrootユーザーはシステムユーザーと見なされないよう変更
• ストレージ: データベースあたりのデフォルト同時トランザクション数を10000に調整

新機能

• Query Optimizer
  • MySQLの集約ロールアップ構文GROUP BY ... WITH ROLLUPをサポート
• Query Execution
  • Like文でescape構文をサポート
• Semi-structured Data Management
  • セッション変数enable_add_index_for_new_data=true設定により、新データのみに対する非トークン化転置インデックスとngram bloomfilterインデックス構築をサポート
• 新機能
  • データ関数を追加: cot/sec/cosec

改善

• Data Ingestion
  • SHOW CREATE LOADのエラーメッセージプロンプトを最適化
• Primary Key Model
  • 単一大インポート失敗を回避するためのセグメントキー境界切り捨て機能を追加
• Storage
  • compactionとインポートデータの信頼性を強化
  • バランス速度を最適化
  • テーブル作成速度を最適化
  • compactionデフォルトパラメータと可観測性を最適化
  • クエリエラー-230の問題を最適化
  • システムテーブルbackend_tabletsを追加
  • クラウドモードでフォロワーノードからのinformation_schema.tablesクエリパフォーマンスを最適化
• Storage-Compute Decoupled
  • Meta-service recyclerの可観測性を強化
  • インポートcompaction時のクロスコンピュートグループ増分プリヒーティングをサポート
  • Storage vault接続性チェックを最適化
  • MS API経由でのストレージバックエンド情報更新をサポート
• Lakehouse
  • x86環境でのORC zlib解凍パフォーマンスを最適化し、潜在的問題を修正
  • 外部テーブル読み取りのデフォルト同時スレッド数を最適化
  • DDL操作をサポートしないCatalogのエラーメッセージを最適化
• Asynchronous Materialized Views
  • 透明リライトプランニングのパフォーマンスを最適化
• Query Optimizer
  • group_concat関数で非文字列型パラメータを許可
  • sumとavg関数で非数値型パラメータを許可
  • TOP-Nクエリでの遅延実体化サポート範囲を拡大し、部分列クエリ時の遅延実体化を可能に
  • パーティション作成時にlist partitionでMAX_VALUEの包含を許可
  • 集約モデルテーブルの統計情報サンプリング・収集パフォーマンスを最適化
  • 統計情報サンプリング・収集時のNDV値の精度を最適化
• Inverted Index
  • show create tableでの転置インデックス表示プロパティの順序を統一
  • 転置インデックスフィルタ条件のパフォーマンス分析を容易にするため、条件ごとのプロファイルメトリクス（ヒット行数・実行時間など）を追加
  • プロファイルでの転置インデックス関連情報表示を強化
• Permissions
  • RangerがStorage vaultとCompute groupの権限設定をサポート

バグ修正

• Data Ingestion
  • 複数文字セパレータを持つCSVファイルインポート時に発生する可能性のある正確性問題を修正
  • タスクプロパティ変更後のROUTINE LOADタスク表示結果が不正な問題を修正
  • プライマリノード再起動またはLeader切り替え後の一ストリーム多テーブルインポートプランの無効化問題を修正
  • ROUTINE LOADタスクが利用可能なBEノードを見つけられないために全スケジューリングタスクがブロックされる問題を修正
  • runningTxnIdsの同時読み書き競合問題を修正
• Primary Key Model
  • 高頻度同時インポート下でのmowテーブルインポートパフォーマンスを最適化
  • mowテーブルフル compactionが削除データの領域を解放
  • 極端なシナリオでのmowテーブル潜在的インポート失敗問題を修正
  • mowテーブルのcompactionパフォーマンスを最適化
  • 同時インポートとスキーマ変更時のmowテーブル潜在的正確性問