本文目录:
- 1、Redis技法篇 - 1. Redis的安装与配置
- 2、Redis-Shake【一】简要介绍
- 3、Redis 6.0多线程介绍
- 4、redis常用数据结构介绍和业务应用场景分析
- 5、windows环境下Redis+Spring缓存实例
Redis技法篇 - 1. Redis的安装与配置
Redis可以说是除MySQL之外用的最多的一个数据库了!众所周知,它是一个种非关系型数据库(NoSQL),当然它的出现也绝不是为了取代MySQL。非关系型数据库有很多种类型:面向列的NoSQL、基于图的NoSQL、文档型NoSQL ...... Redis是一种Key-Value型的NoSQL。
使用Redis并不难,他和MySQL的关系也不大,甚至我觉得Redis的学习难度要小于MySQL。但是Redis在目前的技术架构中非常常见,它的作用也绝对不仅仅是缓存中间件,所以很显然这是Java从业者的必备技能。Redis在大厂面试中出现的频率非常的高,学好它能帮助你在面试中脱颖而出!
其实在写这份学习资料的时候,我才刚刚毕业,也谈不上多么精通Redis!但是我觉得学习任何一门数据库都是一个循序渐进的过程。先熟练掌握它的使用、然后了解它的底层原理、接着在实践中应用它、最后就是读源码完全吃透它!因为读者水平有限接下来我将推出 「《Java之禅 | Redis篇》」 ,希望能够给苦海中的同学一些指引,其实我觉得学完这两篇再背一下面经就可以和面试官侃侃而谈了!
最重要的事情说三遍: 「一定要多练、多练、多练!照着文档多敲多写,熟能生巧,切忌光看不动手!」
学习Redis一定逃不过黄健宏老师的这本 「《Redis设计与实现》」 ,这本书并不是教你怎么使用Redis的,而是带你深入了解Redis内部原理的!总结起来就是:通俗易懂、恍然大悟!
当然黄老师还有一本 「《Redis使用手册》」 ,这个的热度远远不如前一本,这本书更像是一本工具书,系统化介绍Redis命令和使用。
视频的话其实我觉得做的比较好的是 「尚硅谷的《Redis6入门到精通》和黑马程序员的《Redis入门到实战》」 。
「《Java之禅 | Redis篇》」 是我接下来要整理并开源的一份资料,我希望它能够以更加通俗易懂地方式教你使用和理解Redis。
写这个的初衷当然是希望后人能够更加顺畅的学习和使用它,我的学习之路其实挺艰难的,感觉很多教学视频讲的都不是太好,然后CSDN博客又有点乱,希望自己能够把我的理解与心得帮助其他人吧!
这份资料全篇分为 「《Redis技法》和《Redis基石》」 两部分。《Redis技法》主要是教你怎么使用,从简单的客户端到Java操作到高级应用,不涉及Redis的原理。《Redis基石》主要是学习Redis的设计思想和内部思路,希望能够窥探到一些Redis的底层实现,帮助大家更好地了解Redis。
作者:一壶漂泊难入喉
原文出处:
Redis-Shake【一】简要介绍
Redis-Shake【一】简要介绍
Redis-Shake【二】 Sync功能实现简介
Redis-shake是一个基于golang语言开发的,用于在两个redis之间同步数据的工具,满足用户非常灵活的同步、迁移需求。
github地址
支持redis standalone、cluster、sentinel、proxies(如:Codis、twemproxy、Aliyun Cluster Proxy, Tencent Cloud Proxy 等)之间的数据迁移,
redis版本支持2.x to 5.0
decode : 把Redis RDB文件解析成人类可读的文件格式.
restore : 把Rdis RDB文件作为数据源,恢复到目标Redis实例中.
dump : 对源Redis实例中的数据dump到RDB文件中.
sync : 基于Redis sync/psync命令从源redis实例同步到目标Redis实例,该模式包含全量同步和增量同步两个阶段。(通过默认Redis Slave来实现)
rump : 基于Redis scan命令的方式从源Redis同步到目标Redis实例。只支持全量同步,这种方式通常适用于源redis不支持sync/psync命令的场景
可以参考官网
启动命令:
redis-shake --conf={配置文件地址} --type={模式:sync/dump等} 模式需要与配置文件中的source target对应。如下是一个sync模式的配置文件示例:
下一节 介绍一下Redis-Shake Sync的实现原理
Redis 6.0多线程介绍
Redis作为一个基于内存的缓存系统,一直以高性能著称,
在单线程处理情况下,读速度可达到11万次/s,写速度达到8.1万次/s。
官方曾做过类似问题的回复:使用Redis时,几乎不存在CPU成为瓶颈的情况, Redis主要受限于内存和网络。
但是,单线程的设计也给Redis带来一些问题:
针对上面问题,Redis在4.0版本以及6.0版本分别引入了Lazy Free以及多线程IO,逐步向多线程过渡。
Redis服务器是一个事件驱动程序,服务器需要处理以下两类事件:
Redis服务器通过套接字与客户端(或者其他Redis服务器)进行连接。
文件事件就是服务器对套接字操作的抽象 。
服务器与客户端的通信会产生相应的文件事件,而服务器则通过监听并处理这些事件来完成一系列网络通信操作。
(eg: 连接accept,read,write,close等)
Redis服务器中的一些操作(eg: serverCron函数)需要在给定的时间点执行。
时间事件就是服务器对这类定时操作的抽象
(eg: 过期键清理,服务状态统计等)
Redis将文件事件和时间事件进行抽象,时间轮询器会监听I/O事件表:
一旦有文件事件就绪,Redis就会优先处理文件事件,
接着处理时间事件。
在上述所有事件处理上,Redis都是以单线程形式处理,所以说Redis是单线程的。
处理过程见下图
Redis基于Reactor模式开发了自己的I/O事件处理器,也就是文件事件处理器。
Redis在I/O事件处理上,采用了I/O多路复用技术,同时监听多个套接字,
并为套接字关联不同的事件处理函数,通过一个线程实现了多客户端并发处理。
处理过程见下图
上述的设计,在数据处理上避免了加锁操作,既使得实现上足够简洁,也保证了其高性能。
当然, Redis单线程只是指其在事件处理上 ,实际上,Redis也并不是单线程的,比如生成RDB文件,就会fork一个子进程来实现。
背景:
客户端向Redis发送一条耗时较长的命令,比如删除一个含有上百万对象的Set键,或者执行flushdb,flushall操作,
Redis服务器需要回收大量的内存空间,导致服务器卡住好几秒,对负载较高的缓存系统而言将会是个灾难。
为了解决这个问题,在Redis 4.0版本引入了Lazy Free, 将慢操作异步化 ,这也是在事件处理上向多线程迈进了一步。
将大键的删除操作异步化,采用非阻塞删除(对应命令UNLINK)。
大键的空间回收交由单独线程实现,主线程只做关系解除,可以快速返回,继续处理其他事件,避免服务器长时间阻塞。
意义:
Redis在4.0版本引入了Lazy Free,自此Redis有了一个 Lazy Free线程专门用于大键的回收 。
同时,也去掉了聚合类型的共享对象,这为多线程带来可能。
这为Redis在6.0版本实现了多线程I/O打下了基础。
Redis 6.0的多线程并未将事件处理改成多线程,而是在I/O上。
因为,如果把事件处理改成多线程,不但会导致锁竞争,而且会有频繁的上下文切换,
即使用分段锁来减少竞争,对Redis内核也会有较大改动,性能也不一定有明显提升。
流程简述如下:
见下图
Redis6.0的多线程默认是禁用的,只使用主线程。
如需开启需要修改redis.conf配置文件:
开启多线程后,还需要设置线程数,否则是不生效的。
同样修改redis.conf配置文件:
redis常用数据结构介绍和业务应用场景分析
redis内置了很多常用数据结构,了解这些数据结构的功能和应用场景能够让我们在需求开发时灵活运用来解决实际问题。
String是redis中最基础的数据结构,你可以把它用作缓存最基础的kv(key-value)类型的缓存(value最大为512MB),只需要把需要缓存的对象进行string的编解码即可。另外String也可以保存数值类型的数据,就可以来实现计数功能(redi提供了incr等原子操作)
常见应用场景
List列表更多的时候是把它当成队列使用(最大2^32 - 1个元素),使用入队出队功能,如果来使用它作为各种列表的话,很多时候不具备防重功能在使用的时候不是很方便。
常见应用场景
Set是一种无序不重复的集合,添加删除检查是否存在都是O(1)的时间复杂度。
常见应用场景
hash是一个map结构,可以像存储对象的多个字段一样存储一个key的多类数据。
常见应用场景
redis中的pub/sub可以实现广播功能,类似rocketmq中的broadcast
常见应用场景
除了上述最基本的数据结构外,redis还提供了一些其他的数据结构,有的是需要安装相关redis stack来使用的。
bitmap本质上还是使用的string字符串,不过可以通过bit来进行操作,把这个key的value值想象成bit组成的数组。
常见应用场景
bloomfilter(也叫布隆过滤器)可以理解成一种特殊的set集合,它可以用来判断一个值是否在这个集合中,不过不同于普通的set,它的判断存在一定误判的可能(假阳性),如果bloomfilter判断一个值不在这个集合中,那么一定不在,但是如果判断在,那么有可能不在。
常见应用场景
hyperloglog是一种概率性的去重计数数据结构,可以实现一定精度的去重计数
常见应用场景
geohash可以实现距离计算、距离查询等地理位置相关的功能
常见应用场景
windows环境下Redis+Spring缓存实例
一、Redis了解
1.1、Redis介绍:
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。
Redis数据库完全在内存中,使用磁盘仅用于持久性。相比许多键值数据存储,Redis拥有一套较为丰富的数据类型。Redis可以将数据复制到任意数量的从服务器。
1.2、Redis优点:
(1)异常快速:Redis的速度非常快,每秒能执行约11万集合,每秒约81000+条记录。
(2)支持丰富的数据类型:Redis支持最大多数开发人员已经知道像列表,集合,有序集合,散列数据类型。这使得它非常容易解决各种各样的问题,因为我们知道哪些问题是可以处理通过它的数据类型更好。
(3)操作都是原子性:所有Redis操作是原子的,这保证了如果两个客户端同时访问的Redis服务器将获得更新后的值。
(4)多功能实用工具:Redis是一个多实用的工具,可以在多个用例如缓存,消息,队列使用(Redis原生支持发布/订阅),任何短暂的数据,应用程序,如Web应用程序会话,网页命中计数等。
1.3、Redis缺点:
(1)单线程
(2)耗内存
二、64位windows下Redis安装
Redis官方是不支持windows的,但是Microsoft Open Tech group 在 GitHub上开发了一个Win64的版本,下载地址:。注意只支持64位哈。
小宝鸽是下载了Redis-x64-3.0.500.msi进行安装。安装过程中全部采取默认即可。
安装完成之后可能已经帮你开启了Redis对应的服务,博主的就是如此。查看资源管理如下,说明已经开启:
已经开启了对应服务的,我们让它保持,下面例子需要用到。如果没有开启的.,我们命令开启,进入Redis的安装目录(博主的是C:Program FilesRedis),然后如下命令开启:
redis-server redis.windows.conf
OK,下面我们进行实例。
三、详细实例
本工程采用的环境:Eclipse + maven + spring + junit
3.1、添加相关依赖(spring+junit+redis依赖),pom.xml:
4.0.0 com.luo redis_project 0.0.1-SNAPSHOT 3.2.8.RELEASE 4.10 org.springframework spring-core ${spring.version} org.springframework spring-webmvc ${spring.version} org.springframework spring-context ${spring.version} org.springframework spring-context-support ${spring.version} org.springframework spring-aop ${spring.version} org.springframework spring-aspects ${spring.version} org.springframework spring-tx ${spring.version} org.springframework spring-jdbc ${spring.version} org.springframework spring-web ${spring.version} junit junit ${junit.version} test org.springframework spring-test ${spring.version} test org.springframework.data spring-data-redis 1.6.1.RELEASE redis.clients jedis 2.7.3
3.2、spring配置文件application.xml:
"1.0" encoding="UTF-8" classpath:properties/*.properties
3.3、Redis配置参数,redis.properties:
#redis中心#绑定的主机地址redis.host=127.0.0.1#指定Redis监听端口,默认端口为6379redis.port=6379#授权密码(本例子没有使用)redis.password=123456 #最大空闲数:空闲链接数大于maxIdle时,将进行回收redis.maxIdle=100 #最大连接数:能够同时建立的“最大链接个数”redis.maxActive=300 #最大等待时间:单位msredis.maxWait=1000 #使用连接时,检测连接是否成功 redis.testOnBorrow=true#当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能redis.timeout=10000
3.4、添加接口及对应实现RedisTestService.Java和RedisTestServiceImpl.java:
package com.luo.service; public interface RedisTestService { public String getTimestamp(String param);}
package com.luo.service.impl; import org.springframework.stereotype.Service;import com.luo.service.RedisTestService; @Servicepublic class RedisTestServiceImpl implements RedisTestService { public String getTimestamp(String param) { Long timestamp = System.currentTimeMillis(); return timestamp.toString(); } }
3.5、本例采用spring aop切面方式进行缓存,配置已在上面spring配置文件中,对应实现为MethodCacheInterceptor.java:
package com.luo.redis.cache; import java.io.Serializable;import java.util.concurrent.TimeUnit;import org.aopalliance.intercept.MethodInterceptor;import org.aopalliance.intercept.MethodInvocation;import org.springframework.data.redis.core.RedisTemplate;import org.springframework.data.redis.core.ValueOperations; public class MethodCacheInterceptor implements MethodInterceptor { private RedisTemplate redisTemplate; private Long defaultCacheExpireTime = 10l; // 缓存默认的过期时间,这里设置了10秒 public Object invoke(MethodInvocation invocation) throws Throwable { Object value = null; String targetName = invocation.getThis().getClass().getName(); String methodName = invocation.getMethod().getName(); Object[] arguments = invocation.getArguments(); String key = getCacheKey(targetName, methodName, arguments); try { // 判断是否有缓存 if (exists(key)) { return getCache(key); } // 写入缓存 value = invocation.proceed(); if (value != null) { final String tkey = key; final Object tvalue = value; new Thread(new Runnable() { public void run() { setCache(tkey, tvalue, defaultCacheExpireTime); } }).start(); } } catch (Exception e) { e.printStackTrace(); if (value == null) { return invocation.proceed(); } } return value; } /** * 创建缓存key * * @param targetName * @param methodName * @param arguments */ private String getCacheKey(String targetName, String methodName, Object[] arguments) { StringBuffer sbu = new StringBuffer(); sbu.append(targetName).append("_").append(methodName); if ((arguments != null) (arguments.length != 0)) { for (int i = 0; i arguments.length; i++) { sbu.append("_").append(arguments[i]); } } return sbu.toString(); } /** * 判断缓存中是否有对应的value * * @param key * @return */ public boolean exists(final String key) { return redisTemplate.hasKey(key); } /** * 读取缓存 * * @param key * @return */ public Object getCache(final String key) { Object result = null; ValueOperations operations = redisTemplate .opsForValue(); result = operations.get(key); return result; } /** * 写入缓存 * * @param key * @param value * @return */ public boolean setCache(final String key, Object value, Long expireTime) { boolean result = false; try { ValueOperations operations = redisTemplate .opsForValue(); operations.set(key, value); redisTemplate.expire(key, expireTime, TimeUnit.SECONDS); result = true; } catch (Exception e) { e.printStackTrace(); } return result; } public void setRedisTemplate( RedisTemplate redisTemplate) { this.redisTemplate = redisTemplate; }}
3.6、单元测试相关类:
package com.luo.baseTest; import org.junit.runner.RunWith; import org.springframework.test.context.ContextConfiguration; import org.springframework.test.context.junit4.AbstractJUnit4SpringContextTests; import org.springframework.test.context.junit4.SpringJUnit4ClassRunner; //指定bean注入的配置文件 @ContextConfiguration(locations = { "classpath:application.xml" }) //使用标准的JUnit @RunWith注释来告诉JUnit使用Spring TestRunner @RunWith(SpringJUnit4ClassRunner.class) public class SpringTestCase extends AbstractJUnit4SpringContextTests { }
package com.luo.service; import org.junit.Test;import org.springframework.beans.factory.annotation.Autowired; import com.luo.baseTest.SpringTestCase; public class RedisTestServiceTest extends SpringTestCase { @Autowired private RedisTestService redisTestService; @Test public void getTimestampTest() throws InterruptedException{ System.out.println("第一次调用:" + redisTestService.getTimestamp("param")); Thread.sleep(2000); System.out.println("2秒之后调用:" + redisTestService.getTimestamp("param")); Thread.sleep(11000); System.out.println("再过11秒之后调用:" + redisTestService.getTimestamp("param")); } }
3.7、运行结果:
四、源码下载:redis-project().rar
以上就是本文的全部内容,希望对大家的学习有所帮助。
【redis介绍】的内容来源于互联网,如引用不当,请联系我们修改。
网友留言: