From 37a0ac8c387502a6622ff2b0449c8bee2980ac26 Mon Sep 17 00:00:00 2001 From: xixirangrang Date: Fri, 18 Aug 2023 18:11:01 +0800 Subject: [PATCH] lightning: delete content about tpcc (#14798) --- ...db-lightning-physical-import-mode-usage.md | 24 +++---------------- .../tidb-lightning-physical-import-mode.md | 4 +++- 2 files changed, 6 insertions(+), 22 deletions(-) diff --git a/tidb-lightning/tidb-lightning-physical-import-mode-usage.md b/tidb-lightning/tidb-lightning-physical-import-mode-usage.md index 9021f7cabceb..9f309eb5c577 100644 --- a/tidb-lightning/tidb-lightning-physical-import-mode-usage.md +++ b/tidb-lightning/tidb-lightning-physical-import-mode-usage.md @@ -7,6 +7,8 @@ summary: 了解如何使用 TiDB Lightning 的物理导入模式。 本文档介绍如何编写[物理导入模式](/tidb-lightning/tidb-lightning-physical-import-mode.md) 的配置文件，如何进行性能调优、使用磁盘资源配额等内容。 +使用物理导入模式有一些限制，使用前请务必阅读[必要条件及限制](/tidb-lightning/tidb-lightning-physical-import-mode.md#必要条件及限制)。 + ## 配置及使用 可以通过以下配置文件使用物理导入模式执行数据导入： @@ -193,28 +195,8 @@ store-write-bwlimit = "128MiB" [tidb] # 使用更小的并发以降低计算 checksum 和执行 analyze 对事务延迟的影响。 distsql-scan-concurrency = 3 - -[cron] -# 避免将 TiKV 切换到 import 模式。 -switch-mode = '0' ``` -在测试中用 TPCC 测试模拟在线业务，同时用 TiDB Lightning 向 TiDB 集群导入数据，测试导入数据对 TPCC 测试结果的影响。测试结果如下： - -| 线程数 | TPM | P99 | P90 | AVG | -| ----- | --- | --- | --- | --- | -| 1 | 20%~30% | 60%~80% | 30%~50% | 30%~40% | -| 8 | 15%~25% | 70%~80% | 35%~45% | 20%~35% | -| 16 | 20%~25% | 55%~85% | 35%~40% | 20%~30% | -| 64 | 无显著影响 | -| 256 | 无显著影响 | - -表格中的百分比含义为 TiDB Lightning 导入对 TPCC 结果的影响大小。对于 TPM，数值表示 TPM 下降的百分比；对于延迟 P99、P90、AVG，数值表示延迟上升的百分比。 - -测试结果表明，TPCC 并发越小，TiDB Lightning 导入对 TPCC 结果影响越大。当 TPCC 并发达到 64 或以上时，Lightning 导入对 TPCC 结果无显著影响。 - -因此，如果你的 TiDB 生产集群上有延迟敏感型业务，并且并发较小，**强烈建议**不使用 TiDB Lightning 导入数据到该集群，这会给在线业务带来较大影响。 - ## 性能调优 **提高 Lightning 物理导入模式导入性能最直接有效的方法：** @@ -224,7 +206,7 @@ switch-mode = '0' 当然，Lightning 也提供了部分并发相关配置以影响物理导入模式的导入性能。但是从长期实践的经验总结来看，以下四个配置项一般保持默认值即可，调整其数值并不会带来显著的性能提升，可作为了解内容阅读。 -``` +```toml [lightning] # 引擎文件的最大并行数。 # 每张表被切分成一个用于存储索引的“索引引擎”和若干存储行数据的“数据引擎”。 diff --git a/tidb-lightning/tidb-lightning-physical-import-mode.md b/tidb-lightning/tidb-lightning-physical-import-mode.md index 3211c2029e4e..e0ffac91b652 100644 --- a/tidb-lightning/tidb-lightning-physical-import-mode.md +++ b/tidb-lightning/tidb-lightning-physical-import-mode.md @@ -73,13 +73,15 @@ backend = "local" - 请勿直接使用物理导入模式向已经投入生产的 TiDB 集群导入数据，这将对在线业务产生严重影响。如需向生产集群导入数据，请参考[导入时限制调度范围从集群降低到表级别](/tidb-lightning/tidb-lightning-physical-import-mode-usage.md#导入时暂停-pd-调度的范围)。 +- 如果你的 TiDB 生产集群上有延迟敏感型业务，并且并发较小，**不建议**使用 TiDB Lightning 物理导入模式导入数据到该集群，因为可能会影响在线业务。 + - 默认情况下，不应同时启动多个 TiDB Lightning 实例向同一 TiDB 集群导入数据，而应考虑使用[并行导入](/tidb-lightning/tidb-lightning-distributed-import.md)特性。 - 使用多个 TiDB Lightning 向同一目标导入时，请勿混用不同的 backend，即不可同时使用物理导入模式和逻辑导入模式导入同一 TiDB 集群。 - 在导入数据的过程中，请勿在目标表进行 DDL 和 DML 操作，否则会导致导入失败或数据不一致。导入期间也不建议进行读操作，因为读取的数据可能不一致。请在导入操作完成后再进行读写操作。 -- 单个 Lightning 进程导入单表不应超过 10 TB。使用并行导入时，Lightning 实例不应超过 10 个。 +- 单个 TiDB Lightning 进程导入单表不应超过 10 TB。使用并行导入时，TiDB Lightning 实例不应超过 10 个。 ### 与其他组件一同使用的注意事项