Skip to content

Commit

Permalink
remove redundant lightning command line flags doc (#17484)
Browse files Browse the repository at this point in the history
  • Loading branch information
qiancai authored Jun 7, 2024
1 parent 82c4216 commit 3402157
Show file tree
Hide file tree
Showing 2 changed files with 1 addition and 55 deletions.
54 changes: 0 additions & 54 deletions tidb-lightning/tidb-lightning-configuration.md
Original file line number Diff line number Diff line change
Expand Up @@ -398,7 +398,6 @@ checksum-via-sql = "false"
# 此配置的可选配置项与 `checksum` 相同,但默认值为 "optional"。
analyze = "optional"


# 设置周期性后台操作。
# 支持的单位:h(时)、m(分)、s(秒)。
[cron]
Expand All @@ -410,56 +409,3 @@ log-progress = "5m"
# 使用物理导入模式时,检查本地磁盘配额的时间间隔,默认为 60 秒。
# check-disk-quota = "60s"
```

## 命令行参数

### `tidb-lightning`

使用 `tidb-lightning` 可以对下列参数进行配置:

| 参数 | 描述 | 对应配置项 |
|:----|:----|:----|
| --config *file* |*file* 读取全局设置。如果没有指定则使用默认设置。 | |
| -V | 输出程序的版本 | |
| -d *directory* | 读取数据的本地目录或[外部存储服务的 URI](/external-storage-uri.md) | `mydumper.data-source-dir` |
| -L *level* | 日志的等级: debug、info、warn、error 或 fatal (默认为 info) | `lightning.log-level` |
| -f *rule* | [表库过滤的规则](/table-filter.md) (可多次指定) | `mydumper.filter` |
| --backend [*backend*](/tidb-lightning/tidb-lightning-overview.md) | 选择导入的模式:`local` 为物理导入模式,`tidb` 为逻辑导入模式 | `local` |
| --log-file *file* | 日志文件路径(默认值为 `/tmp/lightning.log.{timestamp}`,设置为 '-' 表示日志输出到终端) | `lightning.log-file` |
| --status-addr *ip:port* | TiDB Lightning 服务器的监听地址 | `lightning.status-port` |
| --pd-urls *host:port* | PD endpoint 的地址 | `tidb.pd-addr` |
| --tidb-host *host* | TiDB Server 的 host | `tidb.host` |
| --tidb-port *port* | TiDB Server 的端口(默认为 4000) | `tidb.port` |
| --tidb-status *port* | TiDB Server 的状态端口的(默认为 10080) | `tidb.status-port` |
| --tidb-user *user* | 连接到 TiDB 的用户名 | `tidb.user` |
| --tidb-password *password* | 连接到 TiDB 的密码,可为明文或 Base64 编码 | `tidb.password` |
| --enable-checkpoint *bool* | 是否启用断点 (默认值为 true) | `checkpoint.enable` |
| --analyze *level* | 导入后分析表信息,可选值为 required、optional(默认值)、off | `post-restore.analyze` |
| --checksum *level* | 导入后比较校验和,可选值为 required(默认值)、optional、off | `post-restore.checksum` |
| --check-requirements *bool* | 开始任务之前检查集群版本兼容性,以及运行过程中检查 TiKV 的可用存储空间是否大于 10%(默认值为 true)| `lightning.check-requirements` |
| --ca *file* | TLS 连接的 CA 证书路径 | `security.ca-path` |
| --cert *file* | TLS 连接的证书路径 | `security.cert-path` |
| --key *file* | TLS 连接的私钥路径 | `security.key-path` |
| --server-mode | 在服务器模式下启动 TiDB Lightning | `lightning.server-mode` |

如果同时对命令行参数和配置文件中的对应参数进行更改,命令行参数将优先生效。例如,在 `cfg.toml` 文件中,不管对日志等级做出什么修改,运行 `tiup tidb-lightning -L debug --config cfg.toml` 命令总是将日志级别设置为 “debug”。

### `tidb-lightning-ctl`

使用 `tidb-lightning-ctl` 可以对下列参数进行配置:

| 参数 | 描述 |
|:----|:----------|
| --compact | 执行 full compact |
| --switch-mode *mode* | 将每个 TiKV Store 切换到指定模式(normal 或 import) |
| --fetch-mode | 打印每个 TiKV Store 的当前模式 |
| --import-engine *uuid* | 将 TiKV Importer 上关闭的引擎文件导入到 TiKV 集群 |
| --cleanup-engine *uuid* | 删除 TiKV Importer 上的引擎文件 |
| --checkpoint-dump *folder* | 将当前的断点以 CSV 格式存储到文件夹中 |
| --checkpoint-error-destroy *tablename* | 删除断点,如果报错则删除该表 |
| --checkpoint-error-ignore *tablename* | 忽略指定表中断点的报错 |
| --checkpoint-remove *tablename* | 无条件删除表的断点 |

*tablename* 必须是`` `db`.`tbl` `` 中的限定表名(包括反引号),或关键词 `all`

此外,上表中所有 `tidb-lightning` 的参数也适用于 `tidb-lightning-ctl`
2 changes: 1 addition & 1 deletion tidb-lightning/tidb-lightning-prechecks.md
Original file line number Diff line number Diff line change
Expand Up @@ -14,7 +14,7 @@ summary: 本文档介绍了 TiDB Lightning 前置检查功能,确保 TiDB Ligh
| 集群版本/状态是否正常| >= 5.3.0 | 检查配置中集群是否可以连接,物理导入模式还会检查 TiKV/PD/TiFlash 版本是否支持。|
| 是否有权限读取数据 | >= 5.3.0 | 检查当从云存储(Amazon S3)读取数据的时候,是否有对应的权限,确保不会因权限缺失导致导入中断。|
| 导入空间是否足够 | >= 5.3.0 | 检查 TiKV 集群是否有足够空间导入数据。检查时会对数据源进行采样,通过采样结果预估索引大小占比。由于估算中考虑了索引,因此可能会出现尽管数据源大小低于本地盘可用空间,但依然无法通过检测的情况。物理导入模式因为需要在本地进行外部排序,所以还会检查本地存储是否足够。有关 TiKV 集群空间和本地存储(即 `sort-kv-dir` 配置)空间大小的详细说明,参考 [TiDB Lightning 下游数据库所需空间](/tidb-lightning/tidb-lightning-requirements.md#目标数据库所需空间)[TiDB Lightning 运行时资源要求](/tidb-lightning/tidb-lightning-physical-import-mode.md#运行环境需求)|
| Region 分布状态 | >= 5.3.0 | 检查 TiKV 集群的 Region 分布是否均匀,以及是否存在大量空 region,如果空 Region 的数量大于 `max(1000, 表的数量 * 3)`,即大于 "1000" 和 "3 倍表数量"二者中的较大者,TiDB Lightning 无法执行导入。 |
| Region 分布状态 | >= 5.3.0 | 检查 TiKV 集群的 Region 分布是否均匀,以及是否存在大量空 Region,如果空 Region 的数量大于 `max(1000, 表的数量 * 3)`,即大于 "1000" 和 "3 倍表数量"二者中的较大者,TiDB Lightning 无法执行导入。 |
| 数据文件是否有大 CSV 文件 | >= 5.3.0 | 当备份文件中出现大于 10 GiB 的 CSV 文件且无法进行自动切分 (StrictFormat=false) 的时候,会导致导入性能下降。该检查的目的是提醒用户确保数据格式的情况下,开启自动切分 CSV 功能。 |
| 是否可以从断点恢复 | >= 5.3.0 | 该检查是确保断点恢复过程中,不会出现对源文件和数据库中 schema 进行修改,导致导入错误数据的情况。|
| 是否可以导入数据到已存在的数据表中 | >= 5.3.0 | 当导入到已创建好的数据表中时,该检查尽可能的检查此次导入的源文件是否和已存在的数据表匹配。检查列数是否匹配,如果源文件存在列名,则检查列名是否匹配。当源文件存在缺省列,则检查缺省列在数据表中是否存在 Default Value,如果存在,则检查通过。|
Expand Down

0 comments on commit 3402157

Please sign in to comment.