データ整合性の問題
この文書は主にDorisの使用中に遭遇する一般的なデータ整合性の問題を記録するために使用されます。定期的に更新されます。
| 問題の説明 | 発生条件 | 影響バージョン | 修正バージョン | 影響範囲 | 修正PR |
|---|---|---|---|---|---|
| merge-on-write Uniqueテーブルでの部分カラム更新が以前に削除されたデータを再導入する | 部分カラム更新中に__DORIS_DELETE_SIGN__カラムが指定され、履歴データに__DORIS_DELETE_SIGN__カラムによって削除とマークされた行が含まれている | <2.1.8, <3.0.4 | >=2.1.8, >=3.0.4 | Compute-storage結合モード、Compute-storage分離モード、部分カラム更新 | #46194 |
| テーブル内の重複キーデータ | Compute-storage分離モードのmerge-on-write Uniqueテーブルでの同時インポート | <3.0.4 | >=3.0.4 | Compute-storage分離モード | #46039 |
| テーブル内の重複キーデータ | Compute-storage分離モードのmerge-on-write Uniqueテーブルでインポート間および、インポートとcompaction間の同時インポート | <3.0.4 | >=3.0.4 | Compute-storage分離モード | #44975 |
| auto-incrementカラムのシステム生成値が0または重複する | BEとFE間のネットワーク異常 | <2.1.8, <3.0.3 | >=2.1.8, >=3.0.3 | Compute-storage結合モード、Compute-storage分離モード、auto-incrementカラム | #43774 |
Stream Loadインポートがmerge-on-write Uniqueテーブルでdelete条件に一致するデータを削除しない | merge_type: MERGE、partial_columns: true、deleteパラメータを使用したStream Loadインポート | <2.0.15, <2.17, <3.0.3 | >=2.0.15, >=2.17, >=3.0.3 | Compute-storage結合モード、Compute-storage分離モード、部分カラム更新 | #40730 |
| 部分カラム更新がauto-incrementカラム値の意図しない更新を引き起こす | テーブルのValueカラムにauto-incrementカラムがあり、部分カラム更新インポートでそれらのauto-incrementカラムの値を指定しない | <2.1.6, <3.0.2 | >=2.1.6, >=3.0.2 | Compute-storage結合モード、Compute-storage分離モード、auto-incrementカラム | #39996 |
| テーブル内の重複キーデータ | ユーザーがALTER TABLE tbl ENABLE FEATURE "SEQUENCE_LOAD" WITH ...を使用してsequenceカラムをサポートしないmerge-on-write Uniqueテーブルにsequenceカラム機能を追加し、その後新規インポートを実行 | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | Compute-storage結合モード、Compute-storage分離モード | #39958 |
| テーブル内の重複キーデータ | Compute-storage分離モードのmerge-on-write Uniqueテーブルでの同時インポートまたは同時インポートとcompaction | <3.0.1 | >=3.0.1 | Compute-storage分離モード | #39018 |
| 部分カラム更新インポートがmerge-on-write Uniqueテーブルでデータ破損を引き起こす | merge-on-write Uniqueテーブルでの同時部分カラム更新で、インポートプロセス中にBEが再起動 | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | Compute-storage結合モード、Compute-storage分離モード、部分カラム更新 | #38331 |
| テーブル内の重複キーデータ | Compute-storage分離モードのmerge-on-write Uniqueテーブルでの同時インポートとcompaction | <3.0.2 | >=3.0.2 | Compute-storage分離モード | #37670, #41309, #39791 |
| テーブル内の重複キーデータ | sequenceカラム付きmerge-on-write Uniqueテーブルでの大規模な単一インポートがsegment compactionをトリガー | <2.0.15, <2.1.6, <3.0.2 | >=2.0.15, >=2.1.6, >=3.0.2 | Compute-storage結合モード、Compute-storage分離モード | #38369 |
| テーブル内の重複キーデータ | Compute-storage結合モードのmerge-on-write Uniqueテーブルでのfull clone失敗 | <2.0.13, <2.1.5, <3.0.0 | >=2.0.13, >=2.1.5, >=3.0.0 | Compute-storage結合モード | #37001 |
| テーブル内の重複キーデータ | Compute-storage分離モードのmerge-on-write Uniqueテーブルでの内部リトライプロセス付きStream Loadインポート | <3.0.0 | >=3.0.0 | Compute-storage分離モード | #36670 |
| merge-on-write Uniqueテーブルでのマルチレプリカデータの不整合 | merge-on-write Uniqueテーブルでの__DORIS_DELETE_SIGN__カラム付き部分カラム更新インポートで、インポート中にレプリカ間でBase Compactionの進行が不整合 | <2.0.15, <2.1.5, <3.0.0 | >=2.0.15, >=2.1.5, >=3.0.0 | Compute-storage結合モード、Compute-storage分離モード、部分カラム更新 | #36210 |
| テーブル内の重複キーデータ | merge-on-write Uniqueテーブルでの同時部分カラム更新とインポート中のBE再起動 | <2.0.11, <2.1.4, <3.0.0 | >=2.0.11, >=2.1.4, >=3.0.0 | Compute-storage結合モード、Compute-storage分離モード、部分カラム更新 | #35739 |