Skip to content

Latest commit

 

History

History
142 lines (106 loc) · 8.26 KB

auto-random.md

File metadata and controls

142 lines (106 loc) · 8.26 KB
Raw
title summary aliases
AUTO_RANDOM
本文介绍了 TiDB 的 `AUTO_RANDOM` 列属性。
/docs-cn/dev/auto-random/
/docs-cn/dev/reference/sql/attributes/auto-random/

AUTO_RANDOM 从 v3.1.0 版本开始引入

使用场景

由于 AUTO_RANDOM 的值具有随机性和唯一性，因此 AUTO_RANDOM 通常用于代替 AUTO_INCREMENT，以避免 TiDB 分配连续的 ID 值造成单个存储节点的写热点问题。如果当前表的 AUTO_INCREMENT 列是主键列，且列类型为 BIGINT，可以通过 ALTER TABLE t MODIFY COLUMN id BIGINT AUTO_RANDOM(5); 从 AUTO_INCREMENT 切换成 AUTO_RANDOM。

关于如何在高并发写入场景下调优 TiDB，请参阅 TiDB 高并发写入场景最佳实践。

在 CREATE TABLE 语句中的 AUTO_RANDOM_BASE 参数，也可以用来指定 AUTO_RANDOM 自增部分的初始值，该参数可以被认为属于内部接口的一部分，对于用户而言请忽略。

基本概念

AUTO_RANDOM 是应用在 BIGINT 类型列的属性，用于列值的自动分配。其自动分配的值满足随机性和唯一性。

以下语句均可创建包含 AUTO_RANDOM 列的表，其中 AUTO_RANDOM 列必须被包含在主键中，并且是主键的第一列。

CREATE TABLE t (a BIGINT AUTO_RANDOM, b VARCHAR(255), PRIMARY KEY (a));
CREATE TABLE t (a BIGINT PRIMARY KEY AUTO_RANDOM, b VARCHAR(255));
CREATE TABLE t (a BIGINT AUTO_RANDOM(6), b VARCHAR(255), PRIMARY KEY (a));
CREATE TABLE t (a BIGINT AUTO_RANDOM(5, 54), b VARCHAR(255), PRIMARY KEY (a));
CREATE TABLE t (a BIGINT AUTO_RANDOM(5, 54), b VARCHAR(255), PRIMARY KEY (a, b));

AUTO_RANDOM 关键字可以被包裹在 TiDB 可执行注释中，注释语法请参考 TiDB 可执行注释。

CREATE TABLE t (a bigint /*T![auto_rand] AUTO_RANDOM */, b VARCHAR(255), PRIMARY KEY (a));
CREATE TABLE t (a bigint PRIMARY KEY /*T![auto_rand] AUTO_RANDOM */, b VARCHAR(255));
CREATE TABLE t (a BIGINT /*T![auto_rand] AUTO_RANDOM(6) */, b VARCHAR(255), PRIMARY KEY (a));
CREATE TABLE t (a BIGINT  /*T![auto_rand] AUTO_RANDOM(5, 54) */, b VARCHAR(255), PRIMARY KEY (a));

在用户执行 INSERT 语句时：

  • 如果语句中显式指定了 AUTO_RANDOM 列的值，则该值会被正常插入到表中。
  • 如果语句中没有显式指定 AUTO_RANDOM 列的值，TiDB 会自动生成一个随机的值插入到表中。
tidb> CREATE TABLE t (a BIGINT PRIMARY KEY AUTO_RANDOM, b VARCHAR(255));
Query OK, 0 rows affected, 1 warning (0.01 sec)

tidb> INSERT INTO t(a, b) VALUES (1, 'string');
Query OK, 1 row affected (0.00 sec)

tidb> SELECT * FROM t;
+---+--------+
| a | b      |
+---+--------+
| 1 | string |
+---+--------+
1 row in set (0.01 sec)

tidb> INSERT INTO t(b) VALUES ('string2');
Query OK, 1 row affected (0.00 sec)

tidb> INSERT INTO t(b) VALUES ('string3');
Query OK, 1 row affected (0.00 sec)

tidb> SELECT * FROM t;
+---------------------+---------+
| a                   | b       |
+---------------------+---------+
|                   1 | string  |
| 1152921504606846978 | string2 |
| 4899916394579099651 | string3 |
+---------------------+---------+
3 rows in set (0.00 sec)

TiDB 自动分配的 AUTO_RANDOM(S, R) 列值共有 64 位：

  • S 表示分片位的数量，取值范围是 1 到 15。默认为 5。
  • R 表示自动分配值域的总长度，取值范围是 32 到 64。默认为 64。

AUTO_RANDOM 列值的具体结构如下：

总位数 符号位 保留位 分片位 自增位
64 bits 0/1 bit (64-R) bits S bits (R-1-S) bits
  • 符号位的长度由该列是否存在 UNSIGNED 属性决定：存在则为 0，否则为 1。
  • 保留位的长度为 64-R，保留位的内容始终为 0。
  • 分片位的内容通过计算当前事务的开始时间的哈希值而得。要使用不同的分片位数量（例如 10），可以在建表时指定 AUTO_RANDOM(10)。
  • 自增位的值保存在存储引擎中，按顺序分配，每次分配完值后会自增 1。自增位保证了 AUTO_RANDOM 列值全局唯一。当自增位耗尽后，再次自动分配时会报 Failed to read auto-increment value from storage engine 的错误。

注意：

分片位长度 (S) 的选取：

  • 由于总位数固定为 64 位，分片位的数量会影响到自增位的数量：当分片位数增加时，自增位数会减少，反之亦然。因此，你需要权衡“自动分配值的随机性”以及“可用空间”。
  • 最佳实践是将分片位设置为 log(2, x)，其中 x 为当前集群存储引擎的数量。例如，一个 TiDB 集群中存在 16 个 TiKV，分片位可以设置为 log(2, 16)，即 4。在所有 Region 被均匀调度到各个 TiKV 上以后，此时大批量写入的负载可被均匀分布到不同 TiKV 节点，以实现资源最大化利用。

值域长度 (R) 的选取：

  • 通常，在应用程序的数值类型无法表示完整的 64 位整数时需要设置 R 参数。
  • 例如：JSON number 类型的取值范围为 [-(2^53)+1, (2^53)-1]，而 TiDB 很容易会为 AUTO_RANDOM(5) 的列分配超出该范围的整数，导致应用程序读取该列的值时出现异常。此时，你可以用 AUTO_RANDOM(5, 54) 代替 AUTO_RANDOM(5)，使得 TiDB 不会分配出大于 9007199254740991 (2^53-1) 的整数。

AUTO RANDOM 列隐式分配的值会影响 last_insert_id()。可以使用 SELECT last_insert_id() 获取上一次 TiDB 隐式分配的 ID。

要查看某张含有 AUTO_RANDOM 属性的表的分片位数量，除了 SHOW CREATE TABLE 以外，还可以在系统表 INFORMATION_SCHEMA.TABLES 中 TIDB_ROW_ID_SHARDING_INFO 一列中查到模式为 PK_AUTO_RANDOM_BITS=x 的值，其中 x 为分片位的数量。

创建完一张含有 AUTO_RANDOM 属性的表后，可以使用 SHOW WARNINGS 查看当前表可支持的最大隐式分配的次数：

CREATE TABLE t (a BIGINT AUTO_RANDOM, b VARCHAR(255), PRIMARY KEY (a));
SHOW WARNINGS;

输出结果如下：

+-------+------+---------------------------------------------------------+
| Level | Code | Message                                                 |
+-------+------+---------------------------------------------------------+
| Note  | 1105 | Available implicit allocation times: 288230376151711743 |
+-------+------+---------------------------------------------------------+
1 row in set (0.00 sec)

ID 隐式分配规则

AUTO_RANDOM 列隐式分配的值和自增列类似，也遵循 session 变量 auto_increment_increment 和 auto_increment_offset 的控制，其中隐式分配值的自增位 (ID) 满足等式 (ID - auto_increment_offset) % auto_increment_increment == 0。

使用限制

目前在 TiDB 中使用 AUTO_RANDOM 有以下限制：

  • 要使用显式插入的功能，需要将系统变量 @@allow_auto_random_explicit_insert 的值设置为 1（默认值为 0）。不建议自行显式指定含有 AUTO_RANDOM 列的值。不恰当地显式赋值，可能会导致该表提前耗尽用于自动分配的数值。
  • 该属性必须指定在 BIGINT 类型的主键列上，否则会报错。此外，当主键属性为 NONCLUSTERED 时，即使是整型主键列，也不支持使用 AUTO_RANDOM。要了解关于 CLUSTERED 主键的详细信息，请参考聚簇索引。
  • 不支持使用 ALTER TABLE 来修改 AUTO_RANDOM 属性，包括添加或移除该属性。
  • 支持将 AUTO_INCREMENT 属性改为 AUTO_RANDOM 属性。但在 AUTO_INCREMENT 的列数据最大值已接近 BIGINT 类型最大值的情况下，修改可能会失败。
  • 不支持修改含有 AUTO_RANDOM 属性的主键列的列类型。
  • 不支持与 AUTO_INCREMENT 同时指定在同一列上。
  • 不支持与列的默认值 DEFAULT 同时指定在同一列上。
  • AUTO_RANDOM 列的数据很难迁移到 AUTO_INCREMENT 列上，因为 AUTO_RANDOM 列自动分配的值通常都很大。