Redis-最佳实践 | HoleLin's Blog

参考文献

黑马Redis

Redis键值设计

Redis的Key虽然可以自定义,但最好遵循下面的几个最佳实践约定：
- 遵循基本格式：[业务名称]:[数据名称]:[]
- 长度不超过44字节
- 不包含特殊字符
好处:
- 可读性强
- 避免key冲突
- 方便管理
- 更节省内存： key是string类型,底层编码包含int、embstr和raw三种。embstr在小于44字节使用,采用连续内存空间,内存占用更小。当字节数大于44字节时,会转为raw模式存储,在raw模式下,内存空间不是连续的,而是采用一个指针指向了另外一段内存空间,在这段空间里存储SDS内容,这样空间不连续,访问的时候性能也就会收到影响,还有可能产生内存碎片

拒绝BigKey

BigKey通常以Key的大小和Key中成员的数量来综合判定,例如：
- Key本身的数据量过大：一个String类型的Key,它的值为5 MB
- Key中的成员数过多：一个ZSET类型的Key,它的成员数量为10,000个
- Key中成员的数据量过大：一个Hash类型的Key,它的成员数量虽然只有1,000个但这些成员的Value（值）总大小为100 MB
可以使用指令MEMORY USAGE KEY
- 但一般不推荐使用MEMORY指令,因为该指令对CPU的使用率占用较高
推荐值：
- 单个key的value小于10KB
- 对于集合类型的key,建议元素数量小于1000

BigKey的危害

网络阻塞
- 对BigKey执行读请求时,少量的QPS就可能导致带宽使用率被占满,导致Redis实例,乃至所在物理机变慢
数据倾斜
- BigKey所在的Redis实例内存使用率远超其他实例,无法使数据分片的内存资源达到均衡
Redis阻塞
- 对元素较多的hash、list、zset等做运算会耗时较旧,使主线程被阻塞
CPU压力
- 对BigKey的数据序列化和反序列化会导致CPU的使用率飙升,影响Redis实例和本机其它应用

如何发现BigKey

利用redis-cli提供的–bigkeys参数,可以遍历分析所有key,并返回Key的整体统计信息与每个数据的Top1的big key

root@0d7fec387997:/data# redis-cli --bigkeys

# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type.  You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).

[00.00%] Biggest hash   found so far '"lmap"' with 2 fields
[00.00%] Biggest set    found so far '"list"' with 6 members
[00.00%] Biggest string found so far '"num"' with 3 bytes
[00.00%] Biggest string found so far '"key"' with 5 bytes

-------- summary -------

Sampled 6 keys in the keyspace!
Total key length in bytes is 21 (avg len 3.50)

Biggest   hash found '"lmap"' has 2 fields
Biggest string found '"key"' has 5 bytes
Biggest    set found '"list"' has 6 members

0 lists with 0 items (00.00% of keys, avg size 0.00)
2 hashs with 4 fields (33.33% of keys, avg size 2.00)
3 strings with 9 bytes (50.00% of keys, avg size 3.00)
0 streams with 0 entries (00.00% of keys, avg size 0.00)
1 sets with 6 members (16.67% of keys, avg size 6.00)
0 zsets with 0 members (00.00% of keys, avg size 0.00)

如何删除BigKey

BigKey内存占用较多,即便时删除这样的key也需要耗费很长时间,导致Redis主线程阻塞,引发一系列问题。
- redis 3.0 及以下版本
  - 如果是集合类型,则遍历BigKey的元素,先逐个删除子元素,最后删除BigKey
  - HSCAN/SCAN/SSCAN/ZSCAN
- Redis 4.0以后
  - Redis在4.0后提供了异步删除的命令：unlink

集合统计模式

聚合统计
排序统计
二值状态统计
基数统计

聚合统计

所谓的聚合统计,就是指统计多个集合元素的聚合结果,包括：
- 统计多个集合的共有元素（交集统计）；
- 把两个集合相⽐,统计其中⼀个集合独有的元素（差集统计）；
- 统计多个集合的所有元素（并集统计）
Set的差集、并集和交集的计算复杂度较⾼,在数据量较⼤的情况下,如果直接执⾏这些计算,会导致Redis实例阻塞。可以从主从集群中选择一个从库,让它专门负责聚合计算,或者是数据读取到客户端,在客户端来完成聚合统计.