Redis分布式解决方案-Coids

Codis 是一个分布式Redis解决方案, 对于上层的应用来说, 连接到CodisProxy 和连接原生的Redis Server 没有明显的区别(不支持的命令列表), 上层应用可以像使用单机的Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的Redis 服务.

Codis 由四部分组成:

?Codis Proxy (codis-proxy) 实现redis协议，由于本身是无状态的，因此可以部署很多个节点

?Codis Manager (codis-config) 是codis的管理工具，包括添加/删除redis节点添加删除proxy节点，发起数据迁移等操作，自带httpserver，支持管理后台方式管理配置

?Codis Redis (codis-server) 是codis维护的redis分支，基于2.8.21分支，加入了slot的支持和原子的数据迁移命令;codis-proxy和codis-config只能和这个版本的redis交互才能正常运行

?ZooKeeper 用于codis集群元数据的存储,维护codis集群节点

Codis优缺点

–优点

?对客户端透明，与codis交互方式和redis本身交互一样

?支持在线数据迁移，迁移过程对客户端透明

?有简单的管理和监控界面

?支持高可用，无论是redis数据存储还是代理节点

?自动进行数据的均衡分配

?最大支持1024个redis实例，存储容量海量

?高性能

–缺点

?采用自有的redis分支，不能与原版的redis保持同?

?如果codis的proxy只有一个的情况下，redis的性能会下降20%左右?某些命令不支持，比如事务命令muti

?国内开源产品，活跃度相对弱一些

Codis架构

Codis的性能(代理+两个redis节点

1.wget https://www.wendangku.net/doc/cc14287839.html,/golang/go1.4.1.linux-amd64.tar.gz

1.tar -zxvf go1.4.1.linux-amd64.tar.gz

1.wget https://www.wendangku.net/doc/cc14287839.html,/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4

.6.tar.gz

1.vi ~/.bash_profile

配置go环境变量还有zk home

[html]view plain copy

1.vi ~/.bash_profile

1.PATH=$PATH:$HOME/bin

2.

3.export PATH

4.JAVA_HOME=/java/jdk1.7.0_76

5.PATH=$JAVA_HOME/bin:$PATH

6.CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

7.export JAVA_HOME

8.export CLASSPATH

9.

10.ZOOKEEPER_HOME=/java/zookeeper-3.4.6

11.

12.

13.GOROOT=/java/go

14.export GOPATH=/java/codis

15.PATH=$PATH:$GOROOT/bin:$GOPATH/bin:$ZOOKEEPER_HOME/bin

16.export PATH

1.source ~/.bash_profile

1.mkdir codis

1.go get -u -d https://www.wendangku.net/doc/cc14287839.html,/CodisLabs/codis

进入到coids里面执行make 编译代码

编译完成后会在bin目录下面产生3个可执行文件

修改config.ini文件

[html]view plain copy

1.vi config.ini

进入zk目录启动zk

[html]view plain copy

1.cd /java/zookeeper-3.4.6/bin

2../zkServer.sh start

通过jps命令查看zk是否启动

codis启动步骤

[html]view plain copy

1../codis-config -c ../config.ini dashboard 你也可以在后面加上&表示后台启动

可以查看zk里面的数据

然后初始化slots

[html]view plain copy

1../codis-config -c ../config.ini slot init

这些slot的信息都会保存在zk里面

首先可以启动一个codis-server

复制一份redis的配置文件过来,然后启动

[html]view plain copy

1../codis-server ./redis.6379.conf

然后添加一个group server

每一个Servicegroup 作为一个Redis服务器组存在,只允许有一个master,可以有多个slave,group id 仅支持大于1的整数

添加成功

分配slot

1../codis-proxy -c ../config.ini -L ./proxy.log --cpu=1--addr=19

2.168.247.103

:19000 --http-addr=192.168.247.103:11000

? Addr为代理绑定的ip和端口

? --cpu为代理使用的cpu核数，与虚拟机的配置有关，一般跟核数相同

? http-addr用于测试的地址

? -L 指定代理的日志文件

刚启动的时候,默认是offline状态,处于此状态不能对外提供服务

把代理状态修改为online

访问11000端口

申博官网https://www.wendangku.net/doc/cc14287839.html,澳门金沙导航https://www.wendangku.net/doc/cc14287839.html,宅男福利社www.zhainan.hk

1../codis-config -c ../config.ini proxy online proxy_1

也可以通过dashboard 查看

1../redis-cli -p 19000 -h 19

2.168.247.103

1.

2.redis.clients

3.jedis

4.2.8.0

5.jar

6.compile

7.

8.

9.io.codis.jodis

10.jodis

11.0.3.1

12.

13.

14.com.wandoulabs.jodis

15.jodis

16.0.2.2

17.

18.

19.junit

20.junit

21.4.11

22.jar

23.test

24.

1.JedisResourcePool jedisPool = RoundRobinJedisPool.create()

2. .curatorClient("192.168.247.103:2181", 30000).zkProx

yDir("/zk/codis/db_test/proxy").build();

3.try (Jedis jedis = jedisPool.getResource()) {

4. jedis.set("foo", "bar");

5. String value = jedis.get("foo");

6. System.out.println(value);

7. }

删除刚刚设置的key

运行程序查看结果

Codis高可用codis-ha

Codis-ha 需要单独安装codis-ha

[html]view plain copy

1.go get https://www.wendangku.net/doc/cc14287839.html,/ngaut/codis-ha

进入codis-ha目录

1.go build

1.nohup ./codis-ha --codis-config=19

2.168.247.103:18087 --productName=test

– codis-config:指定配置服务地址

– productName：产品名称

– nohup是把日志输出重定向到nohup文件

一共启动了2个codis

Kill掉其中一个codis [html]view plain copy

1.kill -9 16914

nohup.out 输出日志

刷新dashboard 页面

原来的master 的状态被改变为offine , slave 被提升为master 然后重新启动6379

日志信息

原来的6379变为了slave

虽然可以高可用是可以自动切换,但是在实际应用场景还是要注意下应用场景

因为redis本身的主从复制是异步方式, 异步方式就没有办法保证数据的完整性,数据没有最终的保证.

如果并发高了,每秒的操作多了,执行的很快,在master宕掉的话,slave可能跟不上,导致slave可能会抛弃一些数据.数据就会出现不一致

一般的话,我们使用redis来存储数据,如果出现这种情况,也会在redis中获取不到的时候重新在存储数据到redis里面,所以一般是不用担心主从复制导致数据不一致所产生的问题