データ整合性問題
この文書は、主にDorisの使用中に遭遇する一般的なデータ整合性問題を記録するために使用されます。定期的に更新されます。
| 問題の説明 | 発生条件 | 影響を受けるバージョン | 修正バージョン | 影響範囲 | 修正PR |
|---|---|---|---|---|---|
| merge-on-write Uniqueテーブルでの部分カラム更新で、以前に削除されたデータが再導入される | 部分カラム更新中に__DORIS_DELETE_SIGN__カラムが指定され、履歴データに__DORIS_DELETE_SIGN__カラムによって削除済みとマークされた行が含まれている | <2.1.8, <3.0.4 | >=2.1.8, >=3.0.4 | Compute-storage結合モード、compute-storage分離モード、部分カラム更新 | #46194 |
| テーブル内の重複キーデータ | Compute-storage分離モードのmerge-on-write Uniqueテーブルでの同時インポート | <3.0.4 | >=3.0.4 | Compute-storage分離モード | #46039 |
| テーブル内の重複キーデータ | Compute-storage分離モードのmerge-on-write Uniqueテーブルでのインポート間およびインポートとcompaction間での同時インポート | <3.0.4 | >=3.0.4 | Compute-storage分離モード | #44975 |
| auto-incrementカラムのシステム生成値が0または重複 | BEとFE間のネットワーク異常 | <2.1.8, <3.0.3 | >=2.1.8, >=3.0.3 | Compute-storage結合モード、compute-storage分離モード、auto-incrementカラム | #43774 |
Stream Loadインポートがmerge-on-write Uniqueテーブルでdelete条件を満たすデータを削除しない | merge_type: MERGE、partial_columns: true、およびdeleteパラメータを使用したStream Loadインポート | <2.0.15, <2.17, <3.0.3 | >=2.0.15, >=2.17, >=3.0.3 | Compute-storage結合モード、compute-storage分離モード、部分カラム更新 | #40730 |
| 部分カラム更新によってauto-incrementカラム値が意図せず更新される | テーブルのValueカラムにauto-incrementカラムがあり、部分カラム更新インポートでそれらのauto-incrementカラムの値が指定されていない | <2.1.6, <3.0.2 | >=2.1.6, >=3.0.2 | Compute-storage結合モード、compute-storage分離モード、auto-incrementカラム | #39996 |
| テーブル内の重複キーデータ | sequenceカラムをサポートしないmerge-on-write Uniqueテーブルに対して、ユーザーがALTER TABLE tbl ENABLE FEATURE "SEQUENCE_LOAD" WITH ...を使用してsequenceカラム機能を追加し、その後新しいインポートを実行 | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | Compute-storage結合モード、compute-storage分離モード | #39958 |
| テーブル内の重複キーデータ | Compute-storage分離モードのmerge-on-write Uniqueテーブルでの同時インポートまたは同時インポートとcompaction | <3.0.1 | >=3.0.1 | Compute-storage分離モード | #39018 |
| 部分カラム更新インポートによってmerge-on-write Uniqueテーブルでデータ破損が発生 | merge-on-write Uniqueテーブルでの同時部分カラム更新で、インポートプロセス中のBE再起動 | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | Compute-storage結合モード、compute-storage分離モード、部分カラム更新 | #38331 |
| テーブル内の重複キーデータ | Compute-storage分離モードのmerge-on-write Uniqueテーブルでの同時インポートとcompaction | <3.0.2 | >=3.0.2 | Compute-storage分離モード | #37670, #41309, #39791 |
| テーブル内の重複キーデータ | sequenceカラムを持つmerge-on-write Uniqueテーブルでの大規模な単一インポートがsegment compactionをトリガー | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | Compute-storage結合モード、compute-storage分離モード | #38369 |
| テーブル内の重複キーデータ | Compute-storage結合モードのmerge-on-write Uniqueテーブルでのfull clone失敗 | <2.0.13, <2.1.5, <3.0.0 | >=2.0.13, >=2.1.5, >=3.0.0 | Compute-storage結合モード | #37001 |
| テーブル内の重複キーデータ | Compute-storage分離モードのmerge-on-write Uniqueテーブルでの内部リトライプロセスを伴うStream Loadインポート | <3.0.0 | >=3.0.0 | Compute-storage分離モード | #36670 |
| merge-on-write Uniqueテーブルでのマルチレプリカデータの不整合 | merge-on-write Uniqueテーブルで__DORIS_DELETE_SIGN__カラムを使用した部分カラム更新インポートで、インポート中にレプリカ間でBase Compactionの進行状況が不整合 | <2.0.15, <2.1.5, <3.0.0 | >=2.0.15, >=2.1.5, >=3.0.0 | Compute-storage結合モード、compute-storage分離モード、部分カラム更新 | #36210 |
| テーブル内の重複キーデータ | merge-on-write Uniqueテーブルでの同時部分カラム更新とインポート中のBE再起動 | <2.0.11, <2.1.4, <3.0.0 | >=2.0.11, >=2.1.4, >=3.0.0 | Compute-storage結合モード、compute-storage分離モード、部分カラム更新 | #35739 |