目录一 面试题引入二 MoreKey案例2.1 大批量往Redis里面插入2000W测试数据key2.2 key *2.3 生产上如何限制keys*/flushdb/flushall等危险命令以防止误删误用?2.4 不用
2.1.1 linux Bash下执行,插入100W
for((i=1;i<=100*10000;i++)); do echo "set K$i V$i" >> /tmp/redisTest.txt ; done;
2.1.2 通过redis提供的管道 --pipe命令插入100W大批量数据
cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe
key * 这个指令有致命的弊端,在实际环境中最好不要使用
这个指令没有offset、limit参数,是要一次性吐出所有满足条件的key,由于redis是单线程的,其所有操作都是原子的,而keys算法是遍历算法,复杂度是O(n),如果实例中有千万级以上的key,这个指令就会导致Redis服务卡顿,所有读写Redis的其它的指令都会被延后甚至会超时报错,可能会引起缓存雪崩甚至数据库宕机。
通过配置设置禁用这些命令,redis.conf在SECURITY这一项中:
2.4.1 scan命令
类似Mysql limit ,但不完全相同。
Redis SCAN命令及其相关命令 SSCAN,HSCAN,ZSCAN命令都是用于增量遍历集合中的元素。
2.4.2 scan命令用于迭代数据库中的数据库键
redis SCAN 命令基本语法如下:
SCAN cousor [MATCH pattern] [COUNT count]
基于游标的迭代器,需要基于上一次的游标延续之前的迭代过程以0作为游标开始一次新的迭代,直到命令返回游标0完成一次遍历,不保证每次执行都返回某个给定数量的元素,支持模糊查询。一次返回的数量不可控,只能是大概率符合count参数。
SCAN的遍历顺序:非常特别,它不是从第一维数组的第零位一直遍历到末尾,而是采用了高位进位加法来遍历,之所以使用这样特殊的方式进行遍历,是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。
拒绝bigkey(防止网卡流量,慢查询)
string类型控制在10KB以内,hash、list、set、zset元素个数不要超过5000。
非字符串的bigkey,不要使用del删除,使用hscan、sscan、zscan方式渐进式删除,同时要注意防止bigkey过期时间自动删除问题(例如一个200万的zset设置1小时过期,会触发del操作,造成阻塞,而且该操作不会出现在慢查询中(latency可查))。
redis-cli --bigkeys
需要用到memory usage来计算每个键值的字节数
MOMROY USAGE :给出一个key和它的值在RAM中所占用的字节数(计算每个键值的字节数)。
非字符串的bigkey,不要使用del删除,使用hscan、sscan、zscan方式渐进式删除。
list:使用ltrim渐进式逐步删除,直到全部删除完成。
Ltrim对一个列表进行修剪(trim),就是说,让列表只保留指定区域内的元素,不在指定区间之内的元素都将被删除。下标0表示列表的第一个元素,以1表示列表的第二个元素,以此类推。也可以使用负数下标,以-1表示列表的最后一个元素,-2表示列表的倒数第二个元素,以此类推。
语法:LTRIM key_NAME START STOP
set:使用sscan每次获取部分元素,再使用srem命令删除每个元素
zset:使用zscan每次获取部分元素,再使用ZREMRANGEBYRANK命令删除每个元素
在redis.conf配置文件LAZY FREEING相关说明:
到此这篇关于Redis如何解决BigKey的文章就介绍到这了,更多相关Redis BigKey内容请搜索编程网(www.lsjlt.com)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网(www.lsjlt.com)!
--结束END--
本文标题: Redis如何解决BigKey
本文链接: https://www.lsjlt.com/news/559249.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-06-15
2024-06-15
2024-06-15
2024-06-15
2024-06-15
2024-06-15
2024-06-15
2024-06-15
2024-06-15
2024-06-15
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0