超大批量删除redis中无用key
目前线上一个单实例redis中无用的key太多,决定删除一部分。
1、删除指定用户的key,使用redis的pipeline
根据一定条件把需要删除的用户统计出来,放到一个表里面,表为 del_user(int user_id),rows大约在1千万。
要删除的key为 "login:%s" %s匹配 user_id .
写sql文如下:把sql文保存在一个文件里面,命名为 1.sql
SELECT CONCAT(
"*2\r\n",
'$3\r\n',
'DEL\r\n',
'$', LENGTH(redis_key), '\r\n',
redis_key, '\r'
)
FROM (
SELECT
CONCAT('login:',user_id) AS redis_key
FROM del_user
) AS t;
然后执行命令:
mysql --raw --skip-column-names --default-character-set utf8 -h2.6.3.101 -P1067 -uroot -p'123456' test -A < /data/sql/1.sql | /data/redis/bin/redis-cli -a "password" -n 0 -p 6379 --pipe
实际执行速度非常快,每分钟大概删除300多万个key。
这里需要reids协议的知识点,可以参考:http://redis.io/topics/protocol
2、删除模式匹配下的key,使用lua脚本
比如有个需求,需要删除以":login"结尾的所有key, 业务中key的设计是这样的 %s:login
第一种方式:
redis-cli -a "password" -n 0 -p 6379 keys "*:login" | xargs -i redis-cli -a "password" -n 0 -p 6379 del {}
这样一个坏处每次都要建立一个连接,量小的话还可以接受,量大的话,效率不行。
第二种方式:
redis-cli -a "password" -n 0 -p 6379 EVAL "return redis.call('del', unpack(redis.call('keys', ARGV[1])))" 0 *:login
这样的方式,通过内置的 Lua 解释器,可以使用 EVAL 命令对 Lua 脚本
但这种处理方式,量大的情况下,lua函数unpack会出现问题,会报错误
(error) ERR Error running script (call to f_e177a091510d969af3b388ee986dbe6658df6b57): user_script:1: too many results to unpack
第三种方式:
实际上是对第二种方式的改进,一次性unpack太多会出问题,那就干脆一次5000吧,这样就不会有问题了
redis-cli -a "password" -n 0 -p 6379 EVAL "local keys = redis.call('keys', ARGV[1]) for i=1,#keys,5000 do redis.call('del', unpack(keys, i, math.min(i+4999, #keys))) end return #keys" 0 *:login
这段脚本的意思,首先定义一个数组 keys,里面存储了模式匹配的所有的以 *:login结尾的key,然后for循环,每次处理5000个key,也就是说每次del 5000个key。
目前测试下来,1000万个key,也就需要2分30多秒,速度非常快。
这里需要redis命令EVAL的知识点,可以参考:http://redis.io/commands/eval
注意:以上是基于redis2.6.14来处理的,keys在线上是禁用的。
自从redis2.8以后就开始支持scan命令,模式匹配可以采取下面的形式来批删除大量的key
redis-cli -a "password" -n 0 -p 6379 --scan --pattern "*:login" | xargs -L 5000 redis-cli -a "password" -n 0 -p 6379 DEL
速度处理也是非常快的
评论
发表评论
|
|