Redis

[wxb]

Redis

The open source, in-memory data store used by millions of developers as a database, cache, streaming engine, and message broker.

[wxb]

Getting started

通过CLI探索Redis

• 外部程序通过TCP socket和Redis特定协议与Redis服务沟通
• redis-cli（redis command line interface）是一个命令行客户端，这个客户端实现了redis协议
• PING 命令用来检查Redis服务正确工作
• redis-cli 有两种模式：
  • REPL (Read Eval Print Loop) 交互模式

    $ redis-cli
    redis 127.0.0.1:6379> ping
    PONG
    redis 127.0.0.1:6379> set mykey somevalue
    OK
    redis 127.0.0.1:6379> get mykey
    "somevalue"

  • 命令行参数模式

    $ redis-cli INCR mycounter
    (integer) 7

Redis安全加固

• 默认情况下，Redis会绑定所有接口并且没有任何认证检查

• 如果redis服务所处环境不是100%安全，或者希望redis服务更加安全，可以检查下面这些步骤：

  • 确保Redis服务端口（默认6367；集群模式：16379；哨兵模式：26379）是在防火墙保护下的，这样就外网就无法连接到。

    一个没有任何安全措施的Redis实例暴露在互联网上是很容易利用的，所以确保你理解了上面的内容，并至少应用一个防火墙层。在设置好防火墙之后，尝试从外部主机连接redis-cli，以证明自己的实例实际上是不可访问的。

  • 利用bind指令在配置文件中设置Redis服务只监听在你使用到的网络接口，例如本地回路IP：127.0.0.1
  • 使用requirepass项添加额外的安全层，要求客户端通过AUTH命令进行认证
  • 使用spiped或SSL软件来加密Redis服务和客户端通信

在程序中使用Redis

使用Redis的真正目的是为了在程序中使用，而不仅仅是在命令行CLI中。可以在不同语言客户端列表找到程序语言对应的Redis客户端

Redis持久化

• Redis持久化工作原理
• 默认配置下启动Redis服务，Redis会不定时自动保存数据；如果您想要您的数据库持久化并在重新启动后重新加载，请确保每次您想强制执行数据集快照时手动调用SAVE命令，否则请确保使用shutdown命令关闭数据库

这样，Redis会确保在退出前将数据保存在磁盘上。

正确的安装Redis

• 使用初始化脚本在你的Linux机器中安装Redis，这样重启后一切都会正常启动。强烈建议

• 创建一个目录来存储Redis配置文件和数据:

    sudo mkdir /etc/redis
    sudo mkdir /var/redis

• 从Redis发行版的utils目录下复制初始化脚本redis_init_script到/etc/init.d;建议以Redis服务端口作为文件名后缀：

  sudo cp utils/redis_init_script /etc/init.d/redis_6379

• 编辑初始化脚本
  使用REDISPORT配置Redis服务端口

  sudo vi /etc/init.d/redis_6379

• 在/var/redi目录下以Redis监听端口号创建一个目录，用作Redis服务的数据和工作目录

   sudo mkdir /var/redis/6379

• 从Redis发行版的根目录下复制配置模板文件redis.conf到/etc/redis目录，并且使用Redis监听端口号命名配置文件

  sudo cp redis.conf /etc/redis/6379.conf

  • 编辑配置文件：
    • daemonize设置为 yes （默认：no）
    • pidfile设置为/var/run/redis_6379.pid（根据Redis端口号修改）
    • port设置端口号（在有需要的时候）（默认：6379）
    • loglevel设置日志级别
    • logfile设置为/var/log/redis_6379.log
    • dir设置为/var/redis/6379（非常重要步骤）
  • 建议仔细查阅redis.conf文件，里面有非常丰富的注释信息

• 使用以下命令将新的Redis初始化脚本添加到系统默认运行:

  sudo update-rc.d redis_6379 defaults

• 启动Redis服务

  sudo /etc/init.d/redis_6379 start

• 最后，通过redis-cli工具检查

  • PING一下Redis服务
  • SAVE保存数据持久化并检查/var/redis/6379/目录dump.rdb
  • 检查Redis服务日志文件
  • 如果是一台新的机器可以重启一下服务器检查Redis是否自启动

[wxb]

Manual/CLI

Redis命令行接口(Redis -cli)是一个终端程序，用于向Redis服务器发送命令，并读取服务器的回复。

redis-cli 有两种模式：

• REPL (Read Eval Print Loop) 交互模式

  $ redis-cli
  redis 127.0.0.1:6379> ping
  PONG
  redis 127.0.0.1:6379> set mykey somevalue
  OK
  redis 127.0.0.1:6379> get mykey
  "somevalue"

• 命令行参数模式

  $ redis-cli INCR mycounter
  (integer) 7

命令行参数模式

redis-cli [OPTIONS] [cmd [arg [arg ...]]]

• redis-cli会判断在终端输出应答时，输出额外的类型信息

  $ redis-cli INCR mycounter
  (integer) 7

• --raw强制原始输出

  $ redis-cli --raw INCR mycounter
  9

• redis-cli 在其他输出应答时，会自动以原始输出模式运行

  $ redis-cli INCR mycounter > /tmp/output.txt
  $ cat /tmp/output.txt
  8

字符串引号和转义

• 字符串值使用单引号（'）或者双引号（"）
• 使用反斜杠()标志转义紧跟的字符
• 双引号字符串支持下列转义：
  • \" - 转义双引号
  • \n - 换行
  • \r - 回车
  • \t - 制表符
  • \b - 回退
  • \a - 警告
  • \\ - 反斜杠
  • \xhh - 十六进制ASCII字符
• 单引号字符串支持下列转义：
  • \' - 单引号
  • \\ - 反斜杠

主机/端口/密码/数据库

• -h 主机域名或IP地址
• -p 端口号
• -a 如果你的实例受密码保护，-a <password>选项将执行身份验证，无需显式使用AUTH命令:

  $ redis-cli -a myUnguessablePazzzzzword123 PING
  PONG

• -n Redis默认0号数据库，可以使用 -n <dbnum>选项 指定特定数据库

  $ redis-cli -n 1 INCR a
  (integer) 1
  $ redis-cli -n 1 INCR a
  (integer) 2

• -u 使用-u <uri> 选项，指定上述连接信息; URI格式redis://user:password@host:port/dbnum：

  $ redis-cli -u redis://LJenkins:p%[email protected]:16379/0 PING
  PONG

SSL/TLS

• 默认情况下，redis-cli 使用普通TCP连接Redis服务。

  • --tls 启用SSL/TLS
  • --cacert 配置受信任的根证书包
  • --cacertdir 配置受信任的根证书目录

• 如果目标服务器要求使用客户端证书进行身份验证，

  • --cer 指定证书
  • --key 相应的私钥

从其他程序获取输入

• -x 从标准输入的内容昨晚最后一个参数

  $ redis-cli -x SET net_services < /etc/services
  OK
  $ redis-cli GETRANGE net_services 0 50
  "#\n# Network services, Internet style\n#\n# Note that "

• 文本命令序列

  $ cat /tmp/commands.txt
  SET item:3374 100
  INCR item:3374
  APPEND item:3374 xxx
  GET item:3374
  $ cat /tmp/commands.txt | redis-cli
  OK
  (integer) 101
  (integer) 6
  "101xxx"

持续运行相同命令

这在不同的环境中都是有用的，例如：当我们想要持续监视一些关键内容或INFO字段输出时，或者当我们想要模拟一些重复出现的写入事件时，例如每5秒将一个新条目推入列表中。

• -r <count> 可以对单个命令执行指定的次数；-1 表示无限次运行
• -i <delay> 并在执行之间使用用户选择的暂停时长（单位：秒；0.1=100毫秒）；缺省时默认为0

$ redis-cli -r 5 INCR counter_value
(integer) 1
(integer) 2
(integer) 3
(integer) 4
(integer) 5

CSV输出

• --csv 导出CSV (Comma Separated Values) 到外部程序
• --csv 只支持单个命令，不能导出整个数据库

$ redis-cli LPUSH mylist a b c d
(integer) 4
$ redis-cli --csv LRANGE mylist 0 -1
"d","c","b","a"

运行Lua脚本

$ cat /tmp/script.lua
return redis.call('SET',KEYS[1],ARGV[1])
$ redis-cli --eval /tmp/script.lua location:hastings:temp , 23
OK

• redis-cli使用--eval选项来调用Lua脚本
• 键和参数使用逗号,分隔；如上：location:hastings:temp填充KEYS数组，23填充ARGV数组

连接和重连

• CONNECT 交互模式下使用该命令链接到不同的Redis服务

127.0.0.1:6379> CONNECT metal 6379
metal:6379> PING
PONG

• 如果连接不成功，redis-cli会进入失联模式，并会在每次执行命令时重连

127.0.0.1:6379> CONNECT 127.0.0.1 9999
Could not connect to Redis at 127.0.0.1:9999: Connection refused
not connected> PING
Could not connect to Redis at 127.0.0.1:9999: Connection refused
not connected> PING
Could not connect to Redis at 127.0.0.1:9999: Connection refused

• redis-cli 重连成功后会重新现在断开前的最近的数据库号，其他状态都会丢失

编辑，历史，补全和提示

• CLI的命令历史记录保存在用户家目录（HOME环境变量）下的.rediscli_history文件（REDISCLI_HISTFILE环境变量指定文件名，/dev/null表示不保存历史记录）中
• redis-cli可以通过TAB键进行命令补全
• redis-cli 在输入完命令后会进行语法提示

首选项

• 有两种方式来自定义redis-cli的行为：

  • .redisclirc 家目录下的这个文件在CLI启动时载入（可以通过环境变量REDISCLI_RCFILE 设置），可以在这个文件中覆写默认配置
  • 也可以在CLI会话中设置

• :set命令在CLI或者.redisclirc文件中进行设置

  • :set hints - 开启语法提示
  • :set nohints - 关闭语法提示

Redis命令帮助信息

使用HELP命令获取命令的帮助信息，HELP有两种用法：

• HELP @<category> 输出给定分类下所有的命令帮助信息

  • @Generic
  • @string
  • @list
  • @set
  • @sorted_set
  • @hash
  • @PubSub
  • @Transactions
  • @connection
  • @server
  • @scripting
  • @hyperloglog
  • @cluster
  • @geo
  • @stream

• HELP <commandname> 输出指定命令的帮助信息

  127.0.0.1:6379> HELP PFADD
  
  PFADD key element [element ...]
  summary: Adds the specified elements to the specified HyperLogLog.
  since: 2.8.9

特殊操作模式

• Monitoring tool to show continuous stats about a Redis server.

  持续监控统计Redis服务工具

• Scanning a Redis database for very large keys.

  扫描Redis数据库非常大的键

• Key space scanner with pattern matching.

  键空间扫描

• Acting as a Pub/Sub client to subscribe to channels.

  作为一个主题通道订阅客户端

• Monitoring the commands executed into a Redis instance.

  监控Redis服务端执行的命令

[wxb]

Data types

教程

• Keys

  • Redis的键是二进制安全的；这意味着你可以使用任何二进制序列作为键
  • 太长的键不是个好主意； 查找键可能需要多次代价高昂的键比较,散列(例如使用SHA1)也是一个更好的主意
  • 非常短的键通常不是一个好主意；工作中找到 键的可读性和较小的空间使用 正确的平衡
  • 试着坚持一个模式；例如，“object-type:id”是一个好主意，比如“user:1000”
  • 允许的最大键大小是512 MB

• Strings

  • 使用SET和GET命令设置和获取字符串值
  • 值可以是任何形式的字符串，例如可以保存一个jpeg图像到value
  • value值大小最大不能超过512 MB

• 修改和查询键空间

  • EXISTS命令返回 1或0 表示给定的key是否存在数据库中
  • DEL命令删除key和value
  • TYPE命令返回存储在key中的value类型信息

• key过期

  • EXPIRE命令用来设置过期时间
  • TTL（“time to live”）命令用于检测给的key的剩余时间
  • 过期时间单位允许：秒和毫秒
  • 最新允许精度是1毫秒
  • 过期时间会被复制和持久化到磁盘上，这意味着Redis服务停止的时候，可能就会过了过期时间

• Lists

  • Redis列表是通过链表实现的, 在Redis列表头或尾插入一个元素和插入一百万个元素时间是相同的（链表的时间复杂度是O(1)）
  • Redis列表的底层链表实现导致访问元素没有数组索引方式快（时间复杂度O(n)）
  • Redis认为快速的向一个大列表中插入元素非常重要
  • Redis列表可以以常数时间（O(1)）取出固定长度数据
  • sorted sets：快速访问大量元素集合的中间部分很重要时，可以使用一种不同的数据结构，称为排序集
  • LPUSH命令向列表左侧（头部）添加新的元素（可变参数）
  • RPUSH命令向列表右侧（尾部）添加新的元素（可变参数）
  • LRANGE命令从列表中取出指定范围内的元素
  • LPOP命令从列表左侧（头部）取出元素
  • RPOPH命令从列表右侧（尾部）取出元素
  • 两种典型的列表使用案例：
    • 记住用户在社交网络上发布的最新信息。
    • 进程之间的通信，使用消费者-生产者模式，生产者将项目推入列表，消费者(通常是工作者)消费这些项目和执行的操作
  • LTRIM命令从列表左侧（头部）开始保留指定N项并丢弃其他项

    // 组合操作：向列表添加新元素，只保留最近1000条
    LPUSH mylist <some element>
    LTRIM mylist 0 999
    

  • LRANGE命令返回列表左侧（头部）开始指定N项
  • list阻塞操作（用作队列）
    • LPUSH生产者，向列表添加元素
    • RPOP消费者，从列表取出元素
    • RPOP有一些缺点：
      • 1. 强制Redis客户端处理无用的命令(当list为空时，只会返回NULL)。
      • 2. 增加list元素项处理的延迟时间，因为在worker接收到NULL后，它会等待一段时间。为了使延迟更小，我们可以减少对RPOP调用之间的等待，从而放大问题1，即更多无用的对Redis调用。
    • 基于RPOP的缺点，Redis实现RPOP和LPOP对应的空list阻塞命令：
      • BRPOP有新元素时返回给调用者，或者到达调用者指定的超时时间（0表示一直等待，超时后返回NULL）
      • BLPOP有新元素时返回给调用者，或者到达调用者指定的超时时间（0表示一直等待，超时后返回NULL）
  • Redis关于jian的自动创建和自动删除策略
    Redis会在list列表为空时删除该列表，Redis在向一个不存在的list添加元素时，实时创建这个list。这不是list的特性，Redis多元素的数据类型都是这种规则

• Hashes哈希

  • 哈希用来保存 键-值 对
  • 哈希很方便用来表示一个对象，哈希中保存的字段是没有限制的（除了内存因素）
  • 小散列(即一些具有小值的元素)在内存中以特殊的方式编码，这使得它们的内存效率非常高。

• 集合

  • Redis集合是由唯一的、非重复的字符串元素组成的无序集合
  • SADD命令用于向集合添加新元素，同时也可对集合执行其他操作：是否存在、交集、并集和差集等
  • SISMEMBER命令用于检测值是否在集合中
  • 集合很适合表示对象之间的关系，例如实现tag标记功能
  • SINTER命令用于返回不同集合的交集
  • SPOP命令用于从集合中弹出()一个或多个随机元素值（注意和SRANDMEMBER的区别）
  • SUNION命令返回给定集合的并集结果集
  • SUNIONSTORE命令功能等同于SUNION，但是它不是返回结果集，而是存储在destination中。
  • SCARD命令返回指定集合的元素数量

• 有序集合

  • 有序集合是一种数据类型，类似于集合和散列的混合；有序集合和无序集合一样：是由唯一的、非重复的字符串元素组成的
  • 有序集合中的每一个元素都与一个score（分数）的浮点值相关联，这也是有序集合类型类似于散列的原因，每个元素映射到一个值
  • 有序集合中的元素顺序并不是请求的顺序，而是一下规则：
    • 如果B和A是两个不同分数的元素，当A.score > B.score时，A > B
    • 如果B和A的分数完全相同,那么如果A字符串在字典上大于B字符串，则A > B。B和A字符串不能相等，因为排序集只有唯一的元素。
  • ZADD命令类似于SADD命令，不同的是ZADD多了一个分数score的参数（放在添加元素前）；同时，ZADD命令支持一次设置多个元素
  • 有序集合是通过一个双端口数据结构（跳表和哈希表）实现的：添加元素时Redis执行一个O(log(N))操作，请求排序元素时，Redis不需要做任何工作，它已经全部排序了
  • ZRANGE命令返回有序集合中指定范围的元素
  • ZREVRANGE命令类似于上面的ZRANGE命令相反顺序