redis学习记录上

前言

redis是一个nosql的存储系统，它是以key-value的形式存在内存中，所以性能非常高。提供了很多数据结构和多语言的api，所以玩法很多可以实现很多功能和需求，但是目前我在项目中接触功能到的非常有限。所以在b站看视频学习它的更多功能，希望有朝一日可以用到自己的项目当中。

这个帖子持续会更新学习的笔记，学习的视频来源是资料1中的B站视频，老师的PPT做的很好，而且言简意赅又出奇的全面，十分推荐。因为内容过多redis笔记分成两部分，此为上篇。

一、Redis常用指令

//启动容器
docker run -d -p 6379:6379 -it   --name="myredis"  redis
输入密码：
auth 密码
//进入redis容器
docker exec -it myredis  redis-cli
//退出
quit
exit
//清屏
clear
//获取帮助, 可以使用Tab键来切换
help 命令名称
help @组名Copy

二、数据类型

所有的key都为String类型，讨论数据类型是说的value的类型

1、String

基本操作

//设置String
set key value
mset key1 value1 key2 value2...
//设置生命周期
setex key seconds value 

//得到String
get key 
mget key1 key2...

//删除String
del key

//向字符串的后面追加字符，如果有就补在后面，如果没有就新建
append key valueCopy

string 类型数据的扩展操作

String作为数值的操作

//增长指令，只有当value为数字时才能增长
incr key  
incrby key increment  
incrbyfloat key increment 

//减少指令，有当value为数字时才能减少
decr key  
decrby key incrementCopy

string在redis内部存储默认就是一个字符串，当遇到增减类操作incr，decr时会转成数值型进行计算。
redis所有的操作都是原子性的，采用单线程处理所有业务，命令是一个一个执行的，因此无需考虑并发带来的数据影响。
注意：按数值进行操作的数据，如果原始数据不能转成数值，或超越了redis 数值上限范围，将报错。 9223372036854775807（java中long型数据最大值，Long.MAX_VALUE）

tips：

redis用于控制数据库表主键id，为数据库表主键提供生成策略，保障数据库表的主键唯一性
此方案适用于所有数据库，且支持数据库集群

指定生命周期

//设置数据的生命周期，单位 秒
setex key seconds value
//设置数据的生命周期，单位 毫秒
psetex key milliseconds valueCopy

tips

redis 控制数据的生命周期，通过数据是否失效控制业务行为，适用于所有具有时效性限定控制的操作

命名规范

2、Hash

基本操作

//插入（如果已存在同名的field，会被覆盖）
hset key field value
hmset key field1 value1 field2 value2...
//插入（如果已存在同名的field，不会被覆盖）
hsetnx key field value

//取出
hget key field
hgetall key

//删除
hdel key field1 field2...

//获取field数量
hlen key

//查看是否存在
hexists key field

//获取哈希表中所有的字段名或字段值 
hkeys key
hvals key

//设置指定字段的数值数据增加指定范围的值 
hincrby key field increment 
hdecrby key field incrementCopy

hash 类型数据操作的注意事项

hash类型下的value只能存储字符串，不允许存储其他数据类型，不存在嵌套现象。如果数据未获取到，对应的值为（nil）
每个 hash 可以存储 2^32 - 1 个键值
hash类型十分贴近对象的数据存储形式，并且可以灵活添加删除对象属性。但hash设计初衷不是为了存储大量对象而设计的，切记不可滥用，更不可以将hash作为对象列表使用
hgetall 操作可以获取全部属性，如果内部field过多，遍历整体数据效率就很会低，有可能成为数据访问瓶颈

3、List

数据存储需求：存储多个数据，并对数据进入存储空间的顺序进行区分
需要的存储结构：一个存储空间保存多个数据，且通过数据可以体现进入顺序
list类型：保存多个数据，底层使用双向链表存储结构实现
元素有序，且可重

基本操作

//添加修改数据,lpush为从左边添加，rpush为从右边添加
lpush key value1 value2 value3...
rpush key value1 value2 value3...

//查看数据, 从左边开始向右查看. 如果不知道list有多少个元素，end的值可以为-1,代表倒数第一个元素
//lpush先进的元素放在最后,rpush先进的元素放在最前面
lrange key start end
//得到长度
llen key
//取出对应索引的元素
lindex key index

//获取并移除元素（从list左边或者右边移除）
lpop key
rpop keyCopy

拓展操作

//规定时间内获取并移除数据,b=block,给定一个时间，如果在指定时间内放入了元素，就移除
blpop key1 key2... timeout
brpop key1 key2... timeout

//移除指定元素 count:移除的个数 value:移除的值。 移除多个相同元素时，从左边开始移除
lrem key count valueCopy

注意事项

list中保存的数据都是string类型的，数据总容量是有限的，最多2^32 - 1 个元素 (4294967295)。
list具有索引的概念，但是操作数据时通常以队列的形式进行入队出队(rpush, rpop)操作，或以栈的形式进行入栈出栈(lpush, lpop)操作
获取全部数据操作结束索引设置为-1 (倒数第一个元素)
list可以对数据进行分页操作，通常第一页的信息来自于list，第2页及更多的信息通过数据库的形式加载

4、Set

不重复且无需

基本操作

//添加元素
sadd key member1 member2...

//查看元素
smembers key

//移除元素
srem key member

//查看元素个数
scard key

//查看某个元素是否存在
sismember key memberCopy

扩展操作

//从set中任意选出count个元素
srandmember key count

//从set中任意选出count个元素并移除
spop key count

//求两个集合的交集、并集、差集
sinter key1 key2...
sunion key1 key2...
sdiff key1 key2...

//求两个set的交集、并集、差集，并放入另一个set中
sinterstore destination key1 key2...
sunionstore destination key1 key2...
sdiffstore destination key1 key2...

//求指定元素从原集合放入目标集合中
smove source destination keyCopy

5、sorted_set

不重但有序（score）
新的存储需求：数据排序有利于数据的有效展示，需要提供一种可以根据自身特征进行排序的方式
需要的存储结构：新的存储模型，可以保存可排序的数据
sorted_set类型：在set的存储结构基础上添加可排序字段

基本操作

//插入元素, 需要指定score(用于排序)
zadd key score1 member1 score2 member2

//查看元素(score升序), 当末尾添加withscore时，会将元素的score一起打印出来
zrange key start end (withscore)
//查看元素(score降序), 当末尾添加withscore时，会将元素的score一起打印出来
zrevrange key start end (withscore)

//移除元素
zrem key member1 member2...

//按条件获取数据, 其中offset为索引开始位置，count为获取的数目
zrangebyscore key min max [withscore] [limit offset count]
zrevrangebyscore key max min [withscore] [limit offset count]

//按条件移除元素
zremrangebyrank key start end
zremrangebysocre key min max
//按照从大到小的顺序移除count个值
zpopmax key [count]
//按照从小到大的顺序移除count个值
zpopmin key [count]

//获得元素个数
zcard key

//获得元素在范围内的个数
zcount min max

//求交集、并集并放入destination中, 其中numkey1为要去交集或并集集合的数目
zinterstore destination numkeys key1 key2...
zunionstore destination numkeys key1 key2...Copy

注意

min与max用于限定搜索查询的条件
start与stop用于限定查询范围，作用于索引，表示开始和结束索引
offset与count用于限定查询范围，作用于查询结果，表示开始位置和数据总量

拓展操作

//查看某个元素的索引(排名)
zrank key member
zrevrank key member

//查看某个元素索引的值
zscore key member
//增加某个元素索引的值
zincrby key increment memberCopy

####

注意事项

score保存的数据存储空间是64位，如果是整数范围是-9007199254740992~9007199254740992
score保存的数据也可以是一个双精度的double值，基于双精度浮点数的特征，可能会丢失精度，使用时候要慎重
sorted_set 底层存储还是基于set结构的，因此数据不能重复，如果重复添加相同的数据，score值将被反复覆盖，保留最后一次修改的结果

三、通用指令

1、Key的特征

key是一个字符串，通过key获取redis中保存的数据

2、Key的操作

基本操作

//查看key是否存在
exists key

//删除key
del key

//查看key的类型
type keyCopy

拓展操作（时效性操作）

//设置生命周期
expire key seconds
pexpire key milliseconds

//查看有效时间, 如果有有效时间则返回剩余有效时间, 如果为永久有效，则返回-1, 如果Key不存在则返回-2
ttl key
pttl key

//将有时限的数据设置为永久有效
persist keyCopy

拓展操作（查询操作）

//根据key查询符合条件的数据
keys patternCopy

查询规则

拓展操作（其他操作）

//重命名key，为了避免覆盖已有数据，尽量少去修改已有key的名字，如果要使用最好使用renamenx
rename key newKey
renamenx key newKey

//查看所有关于key的操作, 可以使用Tab快速切换
help @genericCopy

3、数据库通用操作

数据库

Redis为每个服务提供有16个数据库，编号从0到15
每个数据库之间的数据相互独立

基本操作

//切换数据库 0~15
select index

//其他操作
quit
ping
echo massageCopy

拓展操作

//移动数据, 必须保证目的数据库中没有该数据
mov key db

//查看该库中数据总量
dbsizeCopy

三、Jedis

JAVA操作Redis需要导入jar或引入Maven依赖

1、Java操作redis的步骤

连接Redis

//参数为Redis所在的ip地址和端口号
Jedis jedis = new Jedis(String host, int port)Copy

操作Redis

//操作redis的指令和redis本身的指令几乎一致
jedis.set(String key, String value);Copy

断开连接

jedis.close();Copy

2、配置工具

配置文件

redis.host=47.103.10.63
redis.port=6379
redis.maxTotal=30
redis.maxIdle=10Copy

工具类

import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;
import java.util.ResourceBundle;

/**
 * @author Chen Panwen
 * @data 2020/4/6 16:24
 */
public class JedisUtil {
	private static Jedis jedis = null;
	private static String host = null;
	private static int port;
	private static int maxTotal;
	private static int maxIdle;

	//使用静态代码块，只加载一次
	static {
		//读取配置文件
		ResourceBundle resourceBundle = ResourceBundle.getBundle("redis");
		//获取配置文件中的数据
		host = resourceBundle.getString("redis.host");
		port = Integer.parseInt(resourceBundle.getString("redis.port"));
		//读取最大连接数
		maxTotal = Integer.parseInt(resourceBundle.getString("redis.maxTotal"));
		//读取最大活跃数
		maxIdle = Integer.parseInt(resourceBundle.getString("redis.maxIdle"));
		JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
		jedisPoolConfig.setMaxTotal(maxTotal);
		jedisPoolConfig.setMaxIdle(maxIdle);
		//获取连接池
		JedisPool jedisPool = new JedisPool(jedisPoolConfig, host, port);
		jedis = jedisPool.getResource();
	}

	public Jedis getJedis() {
		return jedis;
	}
}Copy

四、持久化

Redis容器配置redis.conf

redis容器里边的配置文件是需要在创建容器时映射进来的

停止容器：docker container stop myredis
删除容器：docker container rm myredisCopy

重新开始创建容器

1. 创建docker统一的外部配置文件
  
mkdir -p docker/redis/{conf,data}
  
2. 在conf目录创建redis.conf的配置文件
  
touch /docker/redis/conf/redis.conf
  
3. redis.conf文件的内容需要自行去下载，网上很多
  
4. 创建启动容器，加载配置文件并持久化数据
  
docker run -d --privileged=true -p 6379:6379 -v /docker/redis/conf/redis.conf:/etc/redis/redis.conf -v /docker/redis/data:/data --name myredis redis redis-server /etc/redis/redis.conf --appendonly yesCopy

文件目录
```
/docker/redisCopy
```

1、简介

什么是持久化？

利用永久性存储介质将数据进行保存，在特定的时间将保存的数据进行恢复的工作机制称为持久化。

为什么要持久化

防止数据的意外丢失，确保数据安全性

持久化过程保存什么

将当前数据状态进行保存，快照形式，存储数据结果，存储格式简单，关注点在数据
将数据的操作过程进行保存，日志形式，存储操作过程，存储格式复杂，关注点在数据的操作过程

2、RDB

RDB启动方式——save

命令
```
saveCopy
```
作用

手动执行一次保存操作

RDB配置相关命令

dbfilename dump.rdb
- 说明：设置本地数据库文件名，默认值为 dump.rdb
- 经验：通常设置为dump-端口号.rdb
dir
- 说明：设置存储.rdb文件的路径
- 经验：通常设置成存储空间较大的目录中，目录名称data
rdbcompression yes
- 说明：设置存储至本地数据库时是否压缩数据，默认为 yes，采用 LZF 压缩
- 经验：通常默认为开启状态，如果设置为no，可以节省 CPU 运行时间，但会使存储的文件变大（巨大）
rdbchecksum yes
- 说明：设置是否进行RDB文件格式校验，该校验过程在写文件和读文件过程均进行
- 经验：通常默认为开启状态，如果设置为no，可以节约读写性过程约10%时间消耗，但是存储一定的数据损坏风险

RDB启动方式——save指令工作原理

注意：save指令的执行会阻塞当前Redis服务器，直到当前RDB过程完成为止，有可能会造成长时间阻塞，线上环境不建议使用。

RDB启动方式——bgsave

命令
```
bgsaveCopy
```
作用

手动启动后台保存操作，但不是立即执行

RDB启动方式 —— bgsave指令工作原理

注意： bgsave命令是针对save阻塞问题做的优化。Redis内部所有涉及到RDB操作都采用bgsave的方式，save命令可以放弃使用，推荐使用bgsave

bgsave的保存操作可以通过redis的日志查看

docker logs myredisCopy

RDB启动方式 ——save配置

配置
```
save second changesCopy
```
作用

满足限定时间范围内key的变化数量达到指定数量即进行持久化
参数
- second：监控时间范围
- changes：监控key的变化量
配置位置

在conf文件中进行配置

RDB启动方式 ——save配置原理

注意：

save配置要根据实际业务情况进行设置，频度过高或过低都会出现性能问题，结果可能是灾难性的
save配置中对于second与changes设置通常具有互补对应关系（一个大一个小），尽量不要设置成包含性关系
save配置启动后执行的是bgsave操作

RDB启动方式对比

RDB优缺点

优点
- RDB是一个紧凑压缩的二进制文件，存储效率较高
- RDB内部存储的是redis在某个时间点的数据快照，非常适合用于数据备份，全量复制等场景
- RDB恢复数据的速度要比AOF快很多
- 应用：服务器中每X小时执行bgsave备份，并将RDB文件拷贝到远程机器中，用于灾难恢复
缺点
- RDB方式无论是执行指令还是利用配置，无法做到实时持久化，具有较大的可能性丢失数据
- bgsave指令每次运行要执行fork操作创建子进程，要牺牲掉一些性能
- Redis的众多版本中未进行RDB文件格式的版本统一，有可能出现各版本服务之间数据格式无法兼容现象

3、AOF

AOF概念

AOF(append only file)持久化：以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中命令，以达到恢复数据的目的。与RDB相比可以简单描述为改记录数据为记录数据产生的过程
AOF的主要作用是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式

AOF写数据过程

AOF写数据三种策略(appendfsync)

always
- 每次写入操作均同步到AOF文件中，数据零误差，性能较低,不建议使用
everysec
- 每秒将缓冲区中的指令同步到AOF文件中，数据准确性较高，性能较高 ，建议使用，也是默认配置
- 在系统突然宕机的情况下丢失1秒内的数据
no
- 由操作系统控制每次同步到AOF文件的周期，整体过程不可控

AOF功能开启

配置
```
appendonly yes|noCopy
```
- 作用
- 是否开启AOF持久化功能，默认为不开启状态
配置
```
appendfsync always|everysec|noCopy
```
- 作用
  - AOF写数据策略

AOF重写

作用

降低磁盘占用量，提高磁盘利用率
提高持久化效率，降低持久化写时间，提高IO性能
降低数据恢复用时，提高数据恢复效率

规则

进程内已超时的数据不再写入文件
忽略

无效指令

，重写时使用进程内数据直接生成，这样新的AOF文件

只保留最终数据的写入命令
- 如del key1、 hdel key2、srem key3、set key4 111、set key4 222等
对同一数据的多条写命令合并为一条命令
- 如lpush list1 a、lpush list1 b、 lpush list1 c 可以转化为：lpush list1 a b c
- 为防止数据量过大造成客户端缓冲区溢出，对list、set、hash、zset等类型，每条指令最多写入64个元素

如何使用

手动重写
```
bgrewriteaofCopy
```

自动重写

auto-aof-rewrite-min-size size 
auto-aof-rewrite-percentage percentageCopy

工作原理

AOF自动重写

自动重写触发条件设置

//触发重写的最小大小
auto-aof-rewrite-min-size size 
//触发重写须达到的最小百分比
auto-aof-rewrite-percentage percentCopy

自动重写触发比对参数（运行指令info Persistence获取具体信息）

//当前.aof的文件大小
aof_current_size 
//基础文件大小
aof_base_sizeCopy

自动重写触发条件

工作原理

缓冲策略

AOF缓冲区同步文件策略，由参数appendfsync控制

write操作会触发延迟写（delayed write）机制，Linux在内核提供页缓冲区用来提高硬盘IO性能。write操作在写入系统缓冲区后直接返回。同步硬盘操作依赖于系统调度机制，列如：缓冲区页空间写满或达到特定时间周期。同步文件之前，如果此时系统故障宕机，缓冲区内数据将丢失。
fsync针对单个文件操作（比如AOF文件），做强制硬盘同步，fsync将阻塞知道写入硬盘完成后返回，保证了数据持久化。

4、RDB VS AOF

RDB与AOF的选择之惑

对数据非常

敏感

，建议使用默认的

AOF

持久化方案
- AOF持久化策略使用everysecond，每秒钟fsync一次。该策略redis仍可以保持很好的处理性能，当出现问题时，最多丢失0-1秒内的数据。
- 注意：由于AOF文件存储体积较大，且恢复速度较慢
数据呈现

阶段有效性

，建议使用RDB持久化方案
- 数据可以良好的做到阶段内无丢失（该阶段是开发者或运维人员手工维护的），且恢复速度较快，阶段点数据恢复通常采用RDB方案
- 注意：利用RDB实现紧凑的数据持久化会使Redis降的很低
综合比对
- RDB与AOF的选择实际上是在做一种权衡，每种都有利有弊
- 如不能承受数分钟以内的数据丢失，对业务数据非常敏感，选用AOF
- 如能承受数分钟以内的数据丢失，且追求大数据集的恢复速度，选用RDB
- 灾难恢复选用RDB
- 双保险策略，同时开启 RDB 和 AOF，重启后，Redis优先使用 AOF 来恢复数据，降低丢失数据

五、Redis事务

1、Redis事务的定义

redis事务就是一个命令执行的队列，将一系列预定义命令包装成一个整体（一个队列）。当执行时，一次性按照添加顺序依次执行，中间不会被打断或者干扰

2、事务的基本操作

开启事务
```
multiCopy
```
- 作用
  - 作设定事务的开启位置，此指令执行后，后续的所有指令均加入到事务中
取消事务
```
discardCopy
```
- 作用
  - 终止当前事务的定义，发生在multi之后，exec之前
执行事务
```
execCopy
```
- 作用
  - 设定事务的结束位置，同时执行事务。与multi成对出现，成对使用

3、事务操作的基本流程

4、事务操作的注意事项

定义事务的过程中，命令格式输入错误怎么办？

语法错误
- 指命令书写格式有误例如执行了一条不存在的指令
处理结果
- 如果定义的事务中所包含的命令存在语法错误，整体事务中所有命令均不会执行。包括那些语法正确的命令

定义事务的过程中，命令执行出现错误怎么办？

运行错误
- 指命令格式正确，但是无法正确的执行。例如对list进行incr操作
处理结果
- 能够正确运行的命令会执行，运行错误的命令不会被执行

注意：已经执行完毕的命令对应的数据不会自动回滚，需要程序员自己在代码中实现回滚。

5、基于特定条件的事务执行

锁

对 key 添加监视锁，在执行exec前如果key发生了变化，终止事务执行
```
watch key1, key2....Copy
```
取消对所有key的监视
```
unwatchCopy
```

分布式锁

使用 setnx 设置一个公共锁
```
//上锁
setnx lock-key value
//释放锁
del lock-keyCopy
```
- 利用setnx命令的返回值特征，有值（被上锁了）则返回设置失败，无值（没被上锁）则返回设置成功
- 操作完毕通过del操作释放锁

注意：上述解决方案是一种设计概念，依赖规范保障，具有风险性

分布式锁加强

使用 expire 为锁key添加时间限定，到时不释放，放弃锁
```
expire lock-key seconds
pexpire lock-key millisecondsCopy
```
由于操作通常都是微秒或毫秒级，因此该锁定时间不宜设置过大。具体时间需要业务测试后确认。
- 例如：持有锁的操作最长执行时间127ms，最短执行时间7ms。
- 测试百万次最长执行时间对应命令的最大耗时，测试百万次网络延迟平均耗时
- 锁时间设定推荐：最大耗时120%+平均网络延迟110%
- 如果业务最大耗时«网络平均延迟，通常为2个数量级，取其中单个耗时较长即可

资料

b站-【java基础教程】112节Redis入门到精通

（转载本站文章请注明作者和出处没有气的汽水）

┌┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┬┐
├ 文章已经完啦, 想要第一时间收到文章更新可以关注↓ ┤
└┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┴┘

前言

一、Redis常用指令

二、数据类型

1、String

基本操作

string 类型数据的扩展操作

命名规范

2、Hash

基本操作

hash 类型数据操作的注意事项

3、List

基本操作

拓展操作

注意事项

4、Set

基本操作

扩展操作

5、sorted_set

基本操作

拓展操作

注意事项

三、通用指令

1、Key的特征

2、Key的操作

基本操作

拓展操作（时效性操作）

拓展操作（查询操作）

拓展操作（其他操作）

3、数据库通用操作

数据库

基本操作

拓展操作

三、Jedis

1、Java操作redis的步骤

2、配置工具

四、持久化

Redis容器配置redis.conf

1、简介

什么是持久化？

为什么要持久化

持久化过程保存什么

2、RDB

RDB启动方式——save

RDB配置相关命令

RDB启动方式——save指令工作原理

RDB启动方式——bgsave

RDB启动方式 —— bgsave指令工作原理

RDB启动方式 ——save配置

RDB启动方式 ——save配置原理

RDB启动方式对比

RDB优缺点

3、AOF

AOF概念

AOF写数据过程

AOF写数据三种策略(appendfsync)

AOF功能开启

AOF重写

作用

规则

如何使用

工作原理

AOF自动重写

工作原理

缓冲策略

4、RDB VS AOF

RDB与AOF的选择之惑

五、Redis事务

1、Redis事务的定义

2、事务的基本操作

3、事务操作的基本流程

4、事务操作的注意事项

5、基于特定条件的事务执行

锁

分布式锁

分布式锁加强

资料

Post Directory