From ea89d79354b3b046ccc44ca19529dcf3e50986f4 Mon Sep 17 00:00:00 2001 From: D3Hunter Date: Sat, 14 Sep 2024 14:51:06 +0800 Subject: [PATCH 1/4] This is an automated cherry-pick of #18641 Signed-off-by: ti-chi-bot --- .../tidb-lightning-logical-import-mode-usage.md | 9 +++++++++ 1 file changed, 9 insertions(+) diff --git a/tidb-lightning/tidb-lightning-logical-import-mode-usage.md b/tidb-lightning/tidb-lightning-logical-import-mode-usage.md index 54a2b3cbca1d..59246d6f7402 100644 --- a/tidb-lightning/tidb-lightning-logical-import-mode-usage.md +++ b/tidb-lightning/tidb-lightning-logical-import-mode-usage.md @@ -49,12 +49,21 @@ TiDB Lightning 的完整配置文件可参考[完整配置及命令行参数](/t 冲突数据是指两条或两条以上记录中存在主键或唯一键列数据重复。TiDB Lightning 的逻辑导入模式通过 [`conflict.strategy`](/tidb-lightning/tidb-lightning-configuration.md#tidb-lightning-任务配置) 配置冲突数据的处理行为，使用不同的 SQL 语句进行导入。 +<<<<<<< HEAD | 策略 | 冲突时默认行为 | 对应 SQL 语句 | |:---|:---|:---| | `"replace"` | 新数据替代旧数据 | `REPLACE INTO ...` | | `"ignore"` | 保留旧数据，忽略新数据 | `INSERT IGNORE INTO ...` | | `"error"` | 终止导入 | `INSERT INTO ...` | | `""` | 不进行冲突检查和处理，但如果存在有主键和唯一键冲突的数据，会在后续步骤报错 | 无 | +======= +| 策略 | 冲突时默认行为 | 对应 SQL 语句 | +|:---|:----------------------------|:---| +| `"replace"` | 新数据替代旧数据 | `REPLACE INTO ...` | +| `"ignore"` | 保留旧数据，忽略新数据 | 如果 `conflict.threshold` 大于 `0`，则为 `INSERT INTO ...`；如果 `conflict.threshold` 为 `0`，则为 `INSERT IGNORE INTO ...` | +| `"error"` | 遇到冲突数据时终止导入 | `INSERT INTO ...` | +| `""` | 会被转换为 `"error"`，遇到冲突数据时终止导入 | 无 | +>>>>>>> b7f5e9dc38 (change lightning conflict resolution `ignore` (#18641)) 配置为 `"error"` 时，由冲突数据引发的错误将直接导致导入任务终止。配置为 `"replace"` 或 `"ignore"` 时，可以通过进一步配置 [`conflict.threshold`](/tidb-lightning/tidb-lightning-configuration.md#tidb-lightning-任务配置) 控制冲突数据的上限。默认值为 `9223372036854775807`，意味着几乎能容忍全部错误。 From 02be47bbec6268dd7e5e7abad431c812962b6c24 Mon Sep 17 00:00:00 2001 From: D3Hunter Date: Sat, 14 Sep 2024 15:22:38 +0800 Subject: [PATCH 2/4] Update tidb-lightning/tidb-lightning-logical-import-mode-usage.md --- .../tidb-lightning-logical-import-mode-usage.md | 10 +--------- 1 file changed, 1 insertion(+), 9 deletions(-) diff --git a/tidb-lightning/tidb-lightning-logical-import-mode-usage.md b/tidb-lightning/tidb-lightning-logical-import-mode-usage.md index 59246d6f7402..a0be7fd68dea 100644 --- a/tidb-lightning/tidb-lightning-logical-import-mode-usage.md +++ b/tidb-lightning/tidb-lightning-logical-import-mode-usage.md @@ -53,17 +53,9 @@ TiDB Lightning 的完整配置文件可参考[完整配置及命令行参数](/t | 策略 | 冲突时默认行为 | 对应 SQL 语句 | |:---|:---|:---| | `"replace"` | 新数据替代旧数据 | `REPLACE INTO ...` | -| `"ignore"` | 保留旧数据，忽略新数据 | `INSERT IGNORE INTO ...` | +| `"ignore"` | 保留旧数据，忽略新数据 | 如果 `conflict.threshold` 大于 `0`，则为 `INSERT INTO ...`；如果 `conflict.threshold` 为 `0`，则为 `INSERT IGNORE INTO ...` | | `"error"` | 终止导入 | `INSERT INTO ...` | | `""` | 不进行冲突检查和处理，但如果存在有主键和唯一键冲突的数据，会在后续步骤报错 | 无 | -======= -| 策略 | 冲突时默认行为 | 对应 SQL 语句 | -|:---|:----------------------------|:---| -| `"replace"` | 新数据替代旧数据 | `REPLACE INTO ...` | -| `"ignore"` | 保留旧数据，忽略新数据 | 如果 `conflict.threshold` 大于 `0`，则为 `INSERT INTO ...`；如果 `conflict.threshold` 为 `0`，则为 `INSERT IGNORE INTO ...` | -| `"error"` | 遇到冲突数据时终止导入 | `INSERT INTO ...` | -| `""` | 会被转换为 `"error"`，遇到冲突数据时终止导入 | 无 | ->>>>>>> b7f5e9dc38 (change lightning conflict resolution `ignore` (#18641)) 配置为 `"error"` 时，由冲突数据引发的错误将直接导致导入任务终止。配置为 `"replace"` 或 `"ignore"` 时，可以通过进一步配置 [`conflict.threshold`](/tidb-lightning/tidb-lightning-configuration.md#tidb-lightning-任务配置) 控制冲突数据的上限。默认值为 `9223372036854775807`，意味着几乎能容忍全部错误。 From ff9bcb265ff7e1594574d6026a0c3c909747a984 Mon Sep 17 00:00:00 2001 From: D3Hunter Date: Sat, 14 Sep 2024 15:22:58 +0800 Subject: [PATCH 3/4] Update tidb-lightning/tidb-lightning-logical-import-mode-usage.md --- tidb-lightning/tidb-lightning-logical-import-mode-usage.md | 1 - 1 file changed, 1 deletion(-) diff --git a/tidb-lightning/tidb-lightning-logical-import-mode-usage.md b/tidb-lightning/tidb-lightning-logical-import-mode-usage.md index a0be7fd68dea..b9c1b36af1c1 100644 --- a/tidb-lightning/tidb-lightning-logical-import-mode-usage.md +++ b/tidb-lightning/tidb-lightning-logical-import-mode-usage.md @@ -49,7 +49,6 @@ TiDB Lightning 的完整配置文件可参考[完整配置及命令行参数](/t 冲突数据是指两条或两条以上记录中存在主键或唯一键列数据重复。TiDB Lightning 的逻辑导入模式通过 [`conflict.strategy`](/tidb-lightning/tidb-lightning-configuration.md#tidb-lightning-任务配置) 配置冲突数据的处理行为，使用不同的 SQL 语句进行导入。 -<<<<<<< HEAD | 策略 | 冲突时默认行为 | 对应 SQL 语句 | |:---|:---|:---| | `"replace"` | 新数据替代旧数据 | `REPLACE INTO ...` | From b58d5035b6ca8bc760434c1eb62f5c5e2da1026e Mon Sep 17 00:00:00 2001 From: D3Hunter Date: Sat, 14 Sep 2024 15:26:52 +0800 Subject: [PATCH 4/4] Update tidb-lightning/tidb-lightning-logical-import-mode-usage.md --- tidb-lightning/tidb-lightning-logical-import-mode-usage.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/tidb-lightning/tidb-lightning-logical-import-mode-usage.md b/tidb-lightning/tidb-lightning-logical-import-mode-usage.md index b9c1b36af1c1..d08bea13ac3f 100644 --- a/tidb-lightning/tidb-lightning-logical-import-mode-usage.md +++ b/tidb-lightning/tidb-lightning-logical-import-mode-usage.md @@ -52,7 +52,7 @@ TiDB Lightning 的完整配置文件可参考[完整配置及命令行参数](/t | 策略 | 冲突时默认行为 | 对应 SQL 语句 | |:---|:---|:---| | `"replace"` | 新数据替代旧数据 | `REPLACE INTO ...` | -| `"ignore"` | 保留旧数据，忽略新数据 | 如果 `conflict.threshold` 大于 `0`，则为 `INSERT INTO ...`；如果 `conflict.threshold` 为 `0`，则为 `INSERT IGNORE INTO ...` | +| `"ignore"` | 保留旧数据，忽略新数据 | 如果 `conflict.max-record-rows` 大于 `0`，则为 `INSERT INTO ...`；如果 `conflict.max-record-rows` 为 `0`，则为 `INSERT IGNORE INTO ...` | | `"error"` | 终止导入 | `INSERT INTO ...` | | `""` | 不进行冲突检查和处理，但如果存在有主键和唯一键冲突的数据，会在后续步骤报错 | 无 |