Redis中文入门手册

Redis中文入门手册1.0

中国海事服务网(https://www.wendangku.net/doc/ab16437132.html,)

zhangli收集整理

目录

1)Redis简介 (3)

2)数据类型 (3)

2.1.Redis的Key (3)

2.1.1.key相关指令介绍 (3)

2.2.Redis的vaule (3)

2.2.1.string类型 (3)

2.2.2.hash类型 (4)

2.2.3.list类型 (5)

2.2.4.set类型 (5)

2.2.5.sorted set类型 (6)

3)持久化 (7)

3.1.快照方式：（默认持久化方式） (7)

3.2.日志追加方式： (7)

4)虚拟内存（适用于value比key大的情况） (8)

4.1.Redis虚拟内存简介 (8)

4.2.Redis虚拟内存相关配置 (8)

4.3.redis虚拟内存工作方式简介 (9)

4.3.1.当vm-max-threads设为0时（阻塞方式） (9)

4.3.2.当vm-max-threads大于0时(工作线程方式) (9)

5)主从同步 (9)

5.1.Redis主从复制简介 (9)

5.2.Redis主从复制的过程介绍 (10)

附录A：redis的安装与配置 (10)

1.1.安装 (10)

1.1.1.编译安装 (10)

1.1.2.配置 (11)

1.1.3.启动redis (11)

1.1.4.关闭redis (11)

1.1.5.更新安装redis (12)

1.1.6.redis系统管理相关指令简介 (12)

附录B：安装phpredis模块 (12)

参考资料与知识扩展 (13)

1)Redis简介

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。

2)数据类型

2.1.Redis的Key

Redis的key是字符串类型，但是key中不能包括边界字符，由于key不是binary safe 的字符串，所以像"my key"和"mykey\n"这样包含空格和换行的key是不允许的。

2.1.1.key相关指令介绍

exits key检测指定key是否存在，返回1表示存在，0不存在

del key1key2......keyN删除给定key,返回删除key的数目，0表示给定key都不存在

type key返回给定key值的类型。返回none表示key不存在,string字符类型，list链表类型set无序集合类型......

keys pattern返回匹配指定模式的所有key

randomkey返回从当前数据库中随机选择的一个key,如果当前数据库是空的，返回空串rename oldkey newkey重命名一个key,如果newkey存在，将会被覆盖，返回1表示成功，0失败。可能是oldkey不存在或者和newkey相同。

renamenx oldkey newkey同上，但是如果newkey存在返回失败。

expire key seconds为key指定过期时间，单位是秒。返回1成功，0表示key已经设置过过期时间或者不存在。

ttl key返回设置过过期时间key的剩余过期秒数。-1表示key不存在或者未设置过期时间。select db-index通过索引选择数据库，默认连接的数据库是0,默认数据库数是16个。返回1表示成功，0失败。

move key db-index将key从当前数据库移动到指定数据库。返回1表示成功。0表示key 不存在或者已经在指定数据库中。

2.2.Redis的vaule

redis提供五种数据类型：string,hash,list,set及sorted set。

2.2.1.string类型

string是最基本的类型，而且string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象。从内部实现来看其实string可以看作byte

数组，最大上限是1G字节。

string类型数据操作指令简介

s et key value设置key对应string类型的值，返回1表示成功，0失败。

setnx key value如果key不存在，设置key对应string类型的值。如果key已经存在，返回0。

get key获取key对应的string值,如果key不存在返回nil

getset key value先获取key的值，再设置key的值。如果key不存在返回nil。

mget key1key2......keyN一次获取多个key的值，如果对应key不存在，则对应返回nil。mset key1value1......keyN valueN一次设置多个key的值，成功返回1表示所有的值都设置了，失败返回0表示没有任何值被设置。

msetnx key1value1......keyN valueN一次设置多个key的值，但是不会覆盖已经存在的key incr key对key的值做++操作，并返回新的值。注意incr一个不是int的value会返回错误，incr一个不存在的key，则设置key值为1。

decr key对key的值做--操作，decr一个不存在key，则设置key值为-1。

incrby key integer对key加上指定值，key不存在时候会设置key，并认为原来的value 是0。

decrby key integer对key减去指定值。decrby完全是为了可读性，我们完全可以通过incrby 一个负值来实现同样效果，反之一样。

2.2.2.hash类型

hash是一个string类型的field和value的映射表。添加，删除操作都是O(1)（平均）。hash特别适合用于存储对象。相对于将对象的每个字段存成单个string类型。将一个对象存储在hash类型中会占用更少的内存，并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap（又称为small hash）来存储的。这个zipmap其实并不是hash table，但是zipmap相比正常的hash实现可以节省不少hash本身需要的一些元数据存储开销。尽管zipmap的添加，删除，查找都是O(n)，但是由于一般对象的field 数量都不太多。所以使用zipmap也是很快的,也就是说添加删除平均还是O(1)。如果field 或者value的大小超出一定限制后，redis会在内部自动将zipmap替换成正常的hash实现.这个限制可以在配置文件中指定。

hash-max-zipmap-entries64#配置字段最多64个

hash-max-zipmap-value512#配置value最大为512字节

hash类型数据操作指令简介

hset key field value设置hash field为指定值，如果key不存在，则创建

hget key field获取指定的hash field。

hmget key filed1....fieldN获取全部指定的hash filed。

hmset key filed1value1......filedN valueN同时设置hash的多个field。

hincrby key field integer将指定的hash filed加上指定值。成功返回hash filed变更后的值。

hexists key field检测指定field是否存在。

hdel key field删除指定的hash field。

hlen key返回指定hash的field数量。

hkeys key返回hash的所有field。

hvals key返回hash的所有value。

hgetall返回hash的所有filed和value

2.2.

3.list类型

list是一个链表结构，可以理解为一个每个子元素都是string类型的双向链表。主要功能是push、pop、获取一个范围的所有值等。操作中key理解为链表的名字。

List类型数据操作指令简介

lpush key string在key对应list的头部添加字符串元素，返回1表示成功，0表示key存在且不是list类型。

rpush key string在key对应list的尾部添加字符串元素。

llen key返回key对应list的长度，如果key不存在返回0，如果key对应类型不是list 返回错误。

lrange key start end返回指定区间内的元素，下标从0开始，负值表示从后面计算，-1表示倒数第一个元素，key不存在返回空列表。

ltrim key start end截取list指定区间内元素，成功返回1，key不存在返回错误。

lset key index value设置list中指定下标的元素值，成功返回1，key或者下标不存在返回错误。

lrem key count value从List的头部（count正数）或尾部（count负数）删除一定数量（count）匹配value的元素，返回删除的元素数量。count为0时候删除全部。

lpop key从list的头部删除并返回删除元素。如果key对应list不存在或者是空返回nil，如果key对应值不是list返回错误。

rpop key从list的尾部删除并返回删除元素。

blpop key1......keyN timeout从左到右扫描，返回对第一个非空list进行lpop操作并返回，比如blpop list1list2list30,如果list不存在list2,list3都是非空则对list2做lpop并返回从list2中删除的元素。如果所有的list都是空或不存在，则会阻塞timeout 秒，timeout为0表示一直阻塞。当阻塞时，如果有client对key1...keyN中的任意key 进行push操作，则第一在这个key上被阻塞的client会立即返回。如果超时发生，则返回nil。有点像unix的select或者poll。

brpop同blpop，一个是从头部删除一个是从尾部删除。

2.2.4.set类型

set是无序集合，最大可以包含(2的32次方-1)个元素。set的是通过hash table实现的，所以添加，删除，查找的复杂度都是O(1)。hash table会随着添加或者删除自动的调整大小。需要注意的是调整hash table大小时候需要同步（获取写锁）会阻塞其他读写操作。可能不久后就会改用跳表（skip list）来实现。跳表已经在sorted sets中使用了。关于set集合类型除了基本的添加删除操作，其它有用的操作还包含集合的取并集(union)，交集(intersection)，差集(difference)。通过这些操作可以很容易的实现SNS中的好友推荐和blog的tag功能。

set类型数据操作指令简介

sadd key member添加一个string元素到key对应set集合中，成功返回1,如果元素以及在集合中则返回0，key对应的set不存在则返回错误。

srem key member从key对应set中移除指定元素，成功返回1，如果member在集合中不存在或者key不存在返回0，如果key对应的不是set类型的值返回错误。

spop key删除并返回key对应set中随机的一个元素,如果set是空或者key不存在返回nil。

srandmember key同spop，随机取set中的一个元素，但是不删除元素。

smove srckey dstkey member从srckey对应set中移除member并添加到dstkey对应set中，整个操作是原子的。成功返回1,如果member在srckey中不存在返回0，如果key不是set 类型返回错误。

scard key返回set的元素个数，如果set是空或者key不存在返回0。

sismember key member判断member是否在set中，存在返回1，0表示不存在或者key不存在。

sinter key1key2……keyN返回所有给定key的交集。

sinterstore dstkey key1.......keyN返回所有给定key的交集，并保存交集存到dstkey下。sunion key1key2......keyN返回所有给定key的并集。

sunionstore dstkey key1......keyN返回所有给定key的并集，并保存并集到dstkey下。sdiff key1key2......keyN返回所有给定key的差集。

sdiffstore dstkey key1......keyN返回所有给定key的差集，并保存差集到dstkey下。smembers key返回key对应set的所有元素，结果是无序的。

2.2.5.sorted set类型

sorted set是有序集合，它在set的基础上增加了一个顺序属性，这一属性在添加修改元素的时候可以指定，每次指定后，会自动重新按新的值调整顺序。可以理解了有两列的mysql表，一列存value，一列存顺序。操作中key理解为sorted set的名字。

Sorted Set类型数据操作指令简介

add key score member添加元素到集合，元素在集合中存在则更新对应score。

zrem key member删除指定元素，1表示成功，如果元素不存在返回0。

zincrby key incr member增加对应member的score值，然后移动元素并保持skip list保持有序。返回更新后的score值。

zrank key member返回指定元素在集合中的排名（下标），集合中元素是按score从小到大排序的。

zrevrank key member同上,但是集合中元素是按score从大到小排序。

zrange key start end类似lrange操作从集合中去指定区间的元素。返回的是有序结果zrevrange key start end同上，返回结果是按score逆序的。

zrangebyscore key min max返回集合中score在给定区间的元素。

zcount key min max返回集合中score在给定区间的数量。

zcard key返回集合中元素个数。

zscore key element返回给定元素对应的score。

zremrangebyrank key min max删除集合中排名在给定区间的元素。

zremrangebyscore key min max删除集合中score在给定区间的元素

3)持久化

通常Redis将数据存储在内存中或虚拟内存中，它是通过以下两种方式实现对数据的持久化。

3.1.快照方式：（默认持久化方式）

这种方式就是将内存中数据以快照的方式写入到二进制文件中，默认的文件名为dump.rdb。

客户端也可以使用save或者bgsave命令通知redis做一次快照持久化。save操作是在主线程中保存快照的，由于redis是用一个主线程来处理所有客户端的请求，这种方式会阻塞所有客户端请求。所以不推荐使用。另一点需要注意的是，每次快照持久化都是将内存数据完整写入到磁盘一次，并不是增量的只同步增量数据。如果数据量大的话，写操作会比较多，必然会引起大量的磁盘IO操作，可能会严重影响性能。

注意：由于快照方式是在一定间隔时间做一次的，所以如果redis意外当机的话，就会丢失最后一次快照后的所有数据修改。

3.2.日志追加方式：

这种方式redis会将每一个收到的写命令都通过write函数追加到文件中(默认appendonly.aof)。当redis重启时会通过重新执行文件中保存的写命令来在内存中重建整个数据库的内容。当然由于操作系统会在内核中缓存write做的修改，所以可能不是立即写到磁盘上。这样的持久化还是有可能会丢失部分修改。不过我们可以通过配置文件告诉redis我们想要通过fsync函数强制操作系统写入到磁盘的时机。有三种方式如下（默认是：每秒fsync一次）

appendonly yes//启用日志追加持久化方式

#appendfsync always//每次收到写命令就立即强制写入磁盘，最慢的，但是保证完全的持久化，不推荐使用

appendfsync everysec//每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，推荐

#appendfsync no//完全依赖操作系统，性能最好,持久化没保证

日志追加方式同时带来了另一个问题。持久化文件会变的越来越大。例如我们调用incr test命令100次，文件中必须保存全部100条命令，其实有99条都是多余的。因为要恢复数据库状态其实文件中保存一条set test100就够了。为了压缩这种持久化方式的日志文件。redis提供了bgrewriteaof命令。收到此命令redis将使用与快照类似的方式将内存中的数据以命令的方式保存到临时文件中，最后替换原来的持久化日志文件。

4)虚拟内存（适用于value比key大的情况）

4.1.Redis虚拟内存简介

首先说明下redis的虚拟内存与操作系统虚拟内存不是一码事，但是思路和目的都是相同的。就是暂时把不经常访问的数据从内存交换到磁盘中，从而腾出宝贵的内存空间。对于redis这样的内存数据库，内存总是不够用的。除了可以将数据分割到多个redis服务器以外。另外的能够提高数据库容量的办法就是使用虚拟内存技术把那些不经常访问的数据交换到磁盘上。如果我们存储的数据总是有少部分数据被经常访问，大部分数据很少被访问，对于网站来说确实总是只有少量用户经常活跃。当少量数据被经常访问时，使用虚拟内存不但能提高单台redis数据库服务器的容量，而且也不会对性能造成太多影响。

redis没有使用操作系统提供的虚拟内存机制而是自己在用户态实现了自己的虚拟内存机制。

主要的理由有以下两点：

1.操作系统的虚拟内存是以4k/页为最小单位进行交换的。而redis的大多数对象都远小

于4k，所以一个操作系统页上可能有多个redis对象。另外redis的集合对象类型如list,set可能存在于多个操作系统页上。最终可能造成只有10%的key被经常访问，但是所有操作系统页都会被操作系统认为是活跃的，这样只有内存真正耗尽时操作系统才会进行页的交换。

2.相比操作系统的交换方式。redis可以将被交换到磁盘的对象进行压缩,保存到磁盘的对

象可以去除指针和对象元数据信息。一般压缩后的对象会比内存中的对象小10倍。这样redis的虚拟内存会比操作系统的虚拟内存少做很多IO操作。

4.2.Redis虚拟内存相关配置

vm-enabled yes#开启虚拟内存功能

vm-swap-file/tmp/redis.swap#交换出来value保存的文件路径/tmp/redis.swap vm-max-memory268435456#redis使用的最大内存上限（256MB），超过上限后redis开始交换value到磁盘swap文件中。建议设置为系统空闲内存的60%-80%

vm-page-size32#每个redis页的大小32个字节

vm-pages134217728#最多在文件中使用多少个页,交换文件的大小=（vm-page-size*vm-pages）4GB

vm-max-threads8#用于执行value对象换入换出的工作线程数量。0表示不使用工作线程（详情后面介绍)

redis的虚拟内存在设计上为了保证key的查询速度，只会将value交换到swap文件中。如果是由于太多key很小的value造成的内存问题，那么redis的虚拟内存并不能解决问题。和操作系统一样redis也是按页来交换对象的。redis规定同一个页只能保存一个对象。但是一个对象可以保存在多个页中。在redis使用的内存没超过vm-max-memory之前是不会交换任何value的。当超过最大内存限制后，redis会选择把较老的对象交换到swap 文件中去。如果两个对象一样老会优先交换比较大的对象，精确的交换计算公式swappability=age*log(size_in_memory)。对于vm-page-size的设置应该根据自己应用将页的大小设置为可以容纳大多数对象的尺寸。太大了会浪费磁盘空间，太小了会造成交换

文件出现过多碎片。对于交换文件中的每个页，redis会在内存中用一个1bit值来对应记录页的空闲状态。所以像上面配置中页数量(vm-pages134217728)会占用16MB内存用来记录页的空闲状态。vm-max-threads表示用做交换任务的工作线程数量。如果大于0推荐设为服务器的cpu的核心数。如果是0则交换过程在主线程进行。

4.3.redis虚拟内存工作方式简介

4.3.1.当vm-max-threads设为0时（阻塞方式）

换出

主线程定期检查发现内存超出最大上限后，会直接以阻塞的方式,将选中的对象保存到swap 文件中，并释放对象占用的内存空间，此过程会一直重复直到下面条件满足

1.内存使用降到最大限制以下

2.swap文件满了。

3.几乎全部的对象都被交换到磁盘了

换入

当有客户端请求已经被换出的value时，主线程会以阻塞的方式从swap文件中加载对应的value对象，加载时此时会阻塞所有客户端。然后处理该客户端的请求

4.3.2.当vm-max-threads大于0时(工作线程方式)

换出

当主线程检测到使用内存超过最大上限，会将选中要交换的对象信息放到一个队列中交给工作线程后台处理，主线程会继续处理客户端请求。

换入

如果有客户端请求的key已经被换出了，主线程会先阻塞发出命令的客户端，然后将加载对象的信息放到一个队列中，让工作线程去加载。加载完毕后工作线程通知主线程。主线程再执行客户端的命令。这种方式只阻塞请求的value是已经被换出key的客户端。

总的来说阻塞方式的性能会好一些，因为不需要线程同步、创建线程和恢复被阻塞的客户端等开销。但是也相应的牺牲了响应性。工作线程方式主线程不会阻塞在磁盘IO上，所以响应性更好。如果我们的应用不太经常发生换入换出，而且也不太在意有点延迟的话推荐使用阻塞方式。

关于redis虚拟内存更详细介绍可以参考下面链接

http://redis.io/topics/internals-vm

5)主从同步

5.1.Redis主从复制简介

Redis支持将数据同步到多台从库上，这种特性对提高读取性能非常有益。

1)master可以有多个slave。

2)除了多个slave连到相同的master外，slave也可以连接其它slave形成图状结构。

3)主从复制不会阻塞master。也就是说当一个或多个slave与master进行初次同步数据

时，master可以继续处理客户端发来的请求。相反slave在初次同步数据时则会阻塞不能处理客户端的请求。

4)主从复制可以用来提高系统的可伸缩性,我们可以用多个slave专门用于客户端的读

请求，比如sort操作可以使用slave来处理。也可以用来做简单的数据冗余。

5)可以在master禁用数据持久化，只需要注释掉master配置文件中的所有save配置，然

后只在slave上配置数据持久化。

5.2.Redis主从复制的过程介绍

当设置好slave服务器后，slave会建立和master的连接，然后发送sync命令。无论是第一次同步建立的连接还是连接断开后的重新连接，master都会启动一个后台进程，将数据库快照保存到文件中，同时master主进程会开始收集新的写命令并缓存起来。后台进程完成写文件后，master就发送文件给slave，slave将文件保存到磁盘上，然后加载到内存恢复数据库快照到slave上。接着master就会把缓存的命令转发给slave。而且后续master收到的写命令都会通过开始建立的连接发送给slave。从master到slave的同步数据的命令和从客户端发送的命令使用相同的协议格式。当master和slave的连接断开时slave可以自动重新建立连接。如果master同时收到多个slave发来的同步连接命令，只会启动一个进程来写数据库镜像，然后发送给所有slave。

配置slave服务器很简单，只需要在配置文件中加入如下配置

slaveof192.168.1.16379#指定master的ip和端口

附录A：redis的安装与配置

1.1.安装

1.1.1.编译安装

$wget https://www.wendangku.net/doc/ab16437132.html,/files/redis-2.2.7.tar.gz

$tar xzf redis-2.2.7.tar.gz

$cp-r redis-2.2.7/usr/local/redis

$cd/usr/local/redis

$make

$make install#编译好的文件将被复制到/usr/local/bin下

#redis-server：Redis服务器的daemon启动程序

#redis-cli：Redis命令行操作工具。当然，你也可以用telnet根据其纯文本协议来操作

#redis-benchmark：Redis性能测试工具，测试Redis在你的系统及你的配置下的读写性能$redis-benchmark-n100000–c50#模拟同时由50个客户端发送100000个SETs/GETs查

询

#redis-check-aof：更新日志检查

#redis-check-dump：本地数据库检查

1.1.

2.配置

修改配置文件，并将其复制到etc目录下

vi redis.conf

$cp redis.conf/etc/redis.conf

配置文件基本说明

daemonize：#是否以后台守护进程方式运行

pidfile：#pid文件位置

port：#监听的端口号

timeout：#请求超时时间

loglevel：#log信息级别，总共支持四个级别：debug、verbose、notice、warning，默认为verbose

logfile：#默认为标准输出（stdout），如果配置为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null

databases：#开启数据库的数量。使用“SELECT库ID”方式切换操作各个数据库save**：#保存快照的频率，第一个*表示多长时间，第二个*表示执行多少次写操作。在一定时间内执行一定数量的写操作时，自动保存快照。可设置多个条件。rdbcompression：#保存快照是否使用压缩

dbfilename：#数据快照文件名（只是文件名，不包括目录）。默认值为dump.rdb dir：#数据快照的保存目录（这个是目录）

requirepass：#设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH命令提供密码，默认关闭。

1.1.3.启动redis

$redis-server/etc/redis.conf

1.1.4.关闭redis

$redis-cli shutdown

#关闭指定端口的redis-server

$redis-cli-p6379shutdown

1.1.5.更新安装redis

其它同安装，只是最后make install之前需要把正在运行的老版本redis关闭。

1.1.6.redis系统管理相关指令简介

DBSIZE返回当前数据库key的数量。

INFO返回当前redis服务器状态和一些统计信息。

MONITOR实时监听并返回redis服务器接收到的所有请求信息。

SHUTDOWN把数据同步保存到磁盘上，并关闭redis服务。

CONFIG GET parameter获取一个redis配置参数信息。（个别参数可能无法获取）CONFIG SET parameter value设置一个redis配置参数信息。（个别参数可能无法获取）CONFIG RESETSTAT重置INFO命令的统计信息。（重置包括：Keyspace命中数、Keyspace错误数、处理命令数，接收连接数、过期key数）

DEBUG OBJECT key获取一个key的调试信息。

DEBUG SEGFAULT制造一次服务器当机。

FLUSHDB删除当前数据库中所有key,此方法不会失败。小心慎用

FLUSHALL删除全部数据库中所有key，此方法不会失败。小心慎用

附录B：安装phpredis模块

https://https://www.wendangku.net/doc/ab16437132.html,/nicolasff/phpredis

下载phpredis最新版本

解压

>cd phpredis

>/usr/local/php5/bin/phpize#这个phpize是安装php模块的

>./configure–with-php-config=/usr/local/php5/bin/php-config

>make

>cp modules/redis.so/usr/local/php5/etc/redis.so

接下来在php.ini中添加extension=redis.so.

重启apache

php代码测试

$redis=new Redis();

127.0.0.1′′,6379);

$redis->connect(‘‘127.0.0.1

$redis->connect(

test’’,'hello world!

world!’’);

$redis->set(‘‘test

$redis->set(

test’’);

$redis->get(‘‘test

echo$redis->get(

?>

phpredis方法说明：

https://https://www.wendangku.net/doc/ab16437132.html,/nicolasff/phpredis/blob/master/README.markdown#readme 参考资料与知识扩展

Redis指令大全：

http://redis.io/commands

Redis指令在线模拟练习：

https://www.wendangku.net/doc/ab16437132.html,/

SpringBoot企业级开发教程教学大纲

《Spring Boot企业级开发教程》课程教学大纲 （课程英文名称） 课程编号： XXXX 学分：5学分 学时：60学时（其中：讲课学时：38 上机学时：22） 先修课程：Java基础案例教程、Java Web程序设计任务教程、 Java EE企业级应用开发教程（Spring+Spring MVC+MyBatis）适用专业：信息及其计算机相关专业 开课部门：计算机系 一、课程的性质与目标 《Spring Boot企业级开发教程》是面向计算机相关专业开设的一门专业的Java 应用开发课程，主要讲解了当前主流的Spring Boot框架以及与第三方技术整合开发实战内容。通过本课程的学习，学生能够理解并掌握Spring Boot 框架的基础知识，同时能够掌握Spring Boot与常用第三方技术的整合实现实际开发中的业务需求，包括实现Web开发、数据访问、缓存管理、安全管理、消息服务、任务管理等。 二、课程的主要内容及基本要求 第1章 Spring Boot开发入门（4学时） [知识点] ?Spring Boot概述 ?环境准备 ?使用Maven方式构建Spring Boot项目 ?使用Spring Initializr方式构建Spring Boot项目 ?单元测试 ?热部署 ?Spring Boot依赖管理

?Spring Boot自动配置 ?Spring Boot执行流程 [重点] ?使用Maven方式构建Spring Boot项目 ?使用Spring Initializr方式构建Spring Boot项目 ?单元测试 ?Spring Boot依赖管理 ?Spring Boot自动配置 ?Spring Boot执行流程 [难点] ?Spring Boot自动配置 ?Spring Boot执行流程 [基本要求] ?了解Spring Boot的发展和优点 ?掌握Spring Boot项目的构建 ?掌握Spring Boot的单元测试和热部署 ?熟悉Spring Boot的自动化配置原理 ?熟悉Spring Boot的执行流程 [实践与练习] 建议完成相关测试题，并安排上机，重点考核如何编写Spring Boot入门程序，并参考教材进行Spring Boot源码分析。 第2章 Spring Boot核心配置与注解（6学时） [知识点] ?application.properties配置文件 ?application.yaml配置文件 ?使用注解@ConfigurationProperties和@Value注入属性 ?两种注解对比分析 ?使用@PropertySource加载配置文件 ?使用@ImportResource加载XML配置文件 ?使用@Configuration编写自定义配置类 ?使用Profile文件进行多环境配置 ?使用@Profile注解进行多环境配置 ?随机值设置以及参数间引用 [重点] ?application.properties配置文件

Redis面试题及复习资料

Redis 是一个基于内存的高性能key-value数据库。(有空再补充，有理解错误或不足欢迎指正) Reids的特点 Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。 因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过10万次读写操作，是已知性能最快的Key-Value DB。 Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此外单个value的最大限制是1GB，不像memcached只能保存1MB的数据，因此Redis可以用来实现很多有用的功能，比方说用他的List来做FIFO双向链表，实现一个轻量级的高性能消息队列服务，用他的Set可以做高性能的tag 系统等等。 另外Redis也可以对存入的Key-Value设置expire时间，因此也可以被当作一个功能加强版的memcached来用。 Redis的主要缺点是数据库容量受到物理内存的限制，不能用作海量数据的高性能读写，因此Redis适合的场景主要局限在较小数据量的高性能操作和运算上。 Redis支持的数据类型 Redis通过Key-Value的单值不同类型来区分, 以下是支持的类型: Strings Lists Sets 求交集、并集 Sorted Set hashes

为什么redis需要把所有数据放到内存中？ Redis为了达到最快的读写速度将数据都读到内存中，并通过异步的方式将数据写入磁盘。所以redis具有快速和数据持久化的特征。 如果不将数据放在内存中，磁盘I/O速度为严重影响redis的性能。在内存越来越便宜的今天，redis将会越来越受欢迎。 如果设置了最大使用的内存，则数据已有记录数达到内存限值后不能继续插入新值。 Redis是单进程单线程的 redis利用队列技术将并发访问变为串行访问，消除了传统数据库串行控制的开销 虚拟内存 当你的key很小而value很大时,使用VM的效果会比较好.因为这样节约的内存比较大. 当你的key不小时,可以考虑使用一些非常方法将很大的key变成很大的value,比如你可以考虑将key,value组合成一个新的value. vm-max-threads这个参数,可以设置访问swap文件的线程数,设置最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的. 可能会造成比较长时间的延迟,但是对数据完整性有很好的保证. 自己测试的时候发现用虚拟内存性能也不错。如果数据量很大，可以考虑分布式或者其他数据库 分布式 redis支持主从的模式。原则：Master会将数据同步到slave，而slave不会将数据同步到master。Slave启动时会连接master来同步数据。 这是一个典型的分布式读写分离模型。我们可以利用master来插入数据，slave 提供检索服务。这样可以有效减少单个机器的并发访问数量。

redis配置文件详解

redis 是一款开源的、高性能的键-值存储（key-value store），和 memcached 类似，redis 常被称作 是一款 key-value 内存存储系统或者内存数据库，同时由于它支持丰富的数据结构，又被称为一种数据结 构服务器（data structure server）。 编译完 redis，它的配置文件在源码目录下 redis.conf ，将其拷贝到工作目录下即可使用，下面具体解释redis.conf 中的各个参数： 1 daemonize no 默认情况下，redis 不是在后台运行的，如果需要在后台运行，把该项的值更改为 yes。 2 pidfile /var/run/redis.pid 当 Redis 在后台运行的时候，Redis 默认会把 pid 文件放在/var/run/redis.pid，你可以配置到其他地址。当运行多个 redis 服务时，需要指定不同的 pid 文件和端口 3 port 监听端口，默认为 6379 4 #bind 127.0.0.1 指定 Redis 只接收来自于该 IP 地址的请求，如果不进行设置，那么将处理所有请求，在生产环境中为了安全最好设置该项。默认注释掉，不开启 5 timeout 0 设置客户端连接时的超时时间，单位为秒。当客户端在这段时间内没有发出任何指令，那么关闭该连接

6 tcp-keepalive 0 指定 TCP 连接是否为长连接,"侦探"信号有 server 端维护。默认为 0.表示禁用 7 loglevel notice log 等级分为 4 级，debug,verbose, notice, 和 warning。生产环境下一般开启 notice 8 logfile stdout 配置 log 文件地址，默认使用标准输出，即打印在命令行终端的窗口上，修改为日志文件目录 9 databases 16 设置数据库的个数，可以使用 SELECT 命令来切换数据库。默认使用的数据库是 0 号库。 默认 16 个库 10 save 900 1 save 300 10 save 60 10000 保存数据快照的频率，即将数据持久化到 dump.rdb 文件中的频度。用来描述"在多少秒期 间至少多少个变更操作"触发 snapshot 数据保存动作

云数据库Redis版

云数据库 Redis 版 用户指南

用户指南 使用购买 Redis 的账号登录 Redis 管理控制台。进入 Redis 实例列表界面，如下图所示。 管理实例 修改密码 如果您忘记密码、需要修改旧密码，或者在创建实例时没有设置密码，您可以重新设置实例的密码。 登录 Redis 管理控制台。 定位到目标实例，点击实例ID或者管理进入实例信息页面。 在修改密码窗口，输入旧密码和新密码，点击确认。 注意：如果您忘记密码，在修改密码窗口点击忘记旧密码的链接，可以在重置密码的窗口设置新密码。 云数据库 Redis 版支持按量付费模式，按量付费可以可执行变配操作。详细步骤请参考变配流程。 阿里云数据库支持经典网络和专有网络两种网络类型。本章介绍两种网络类型的区别及设置方法。 背景信息 在阿里云平台上，经典网络和专有网络的区别如下：

1.2.经典网络：经典网络中的云服务在网络上不进行隔离，只能依靠云服务自身的安全组或白名单策略来阻挡非法访问。 专有网络（Virtual Private Cloud，简称 VPC）：专有网络帮助用户在阿里云上构建出一个隔离的网络环境。用户可以自定义专有网络里面的路由表、IP 地址范围和网关。此外用户可以通过专线或者VPN 的方式将自建机房与阿里云专有网络内的云资源组合成一个虚拟机房，实现应用平滑上云。 注意：经典网络可以转换为专有网络，专有网络不支持更换为经典网络。 Redis 默认使用经典网络，如果您要使用专有网络（VPC），Redis 和 VPC 必须在同一地域，有以下两种方式： 如果 Redis 还没有创建，您可以先建立 VPC，然后在 VPC 下创建 Redis，具体请参见下文 新建Redis场景。 如果 Redis 已经创建，您可以在 Redis 同一地域创建 VPC，然后将 Redis 加入 VPC，具体请参见下文 已有 Redis场景。 新建 Redis 场景 创建 VPC, 具体请参见 VPC 快速入门。创建与 VPC 所在地域一致的 Redis 实例。 在购买过程中，网络类型选择专有网络，选择对应的 VPC 即可。参见 创建实例 章节。 已有 Redis 场景 创建与 Redis实例所在地域一致的 VPC，具体请参见 VPC快速入门。 登录 Redis 管理控制台，选择目标实例，单击管理。 在实例信息页面，单击切换为专有网络。 在切换为专有网络页面中选择 VPC 和 虚拟交换机，单击确定，如下图所示。

Redis安装部署文档

服务器安装配置手册 Redis服务器安装分册 目录 1概要 (3) 2缩略语和术语 (3) 3要求 (3) 4升级注意事项 (3) 5操作步骤说明 (3) 5.1安装前环境说明 (3) 5.2下载 (3) 5.3Redis 介绍 (4) 5.4解压 (5) 5.5编译及安装 (5) 5.6配置 (6) 5.7设置环境变量 (6) 5.8启动、停止重新加载Redis配置 (6) 5.8.1启动Redis服务器 (8) 5.8.2停止Redis (9) 5.8.3连接Redis (9) 5.9redis常用命令详解 (9) 5.9.1redis-benchmark (9) 5.9.2redis-server (10) 5.9.3redis-cli (11) 5.9.4redis-check-aof (11) 5.9.5redis-check-dump (11) 5.9.6查看、删除key信息 (12) 5.9.7获取服务器的信息和统计 (12) 5.9.8Redis的query分析 (13) 5.10创建主从服务器 (15) 5.10.1配置主从服务器 (15) 5.10.2备份服务器方案 (17) 6FAQ (17)

6.1Redis编译失败怎么办 (17) 6.2Redis启动失败 (17) 6.3Redis虚拟内存无法启动 (17) 6.4升级安装前没有停止已经运行Redis进程，怎么处理 (18) 6.5Redis主从结构，主服务器宕机解决方法 (18) 6.6调整overcommit_memory参数 (18) 6.7安装tcmalloc包 (18) 7Redis配置说明 (19) 8参考文献 (29)

Redis 集群应用学习

集群技术是构建高性能网站架构的重要手段，试想在网站承受高并发访问压力的同时，还需要从海量数据中查询出满足条件的数据，并快速响应，我们必然想到的是将数据进行切片，把数据根据某种规则放入多个不同的服务器节点，来降低单节点服务器的压力。 上一篇我们讲到了Redis 的主从复制技术，当实现了多节点的master-slave 后，我们 也可以把它叫做集群，但我们今天要讲的集群主要是利用切片技术来组建的集群。 集群要实现的目的是要将不同的key 分散放置到不同的redis 节点，这里我们需要一个 规则或者算法，通常的做法是获取key 的哈希值，然后根据节点数来求模，但这种做法有其明显的弊端，当我们需要增加或减少一个节点时，会造成大量的key 无法命中，这种比例是相当高的，所以就有人提出了一致性哈希的概念。 一致性哈希有四个重要特征： 均衡性：也有人把它定义为平衡性，是指哈希的结果能够尽可能分布到所有的节点中去，这样可以有效的利用每个节点上的资源。 单调性：对于单调性有很多翻译让我非常的不解，而我想要的是当节点数量变化时哈希的结果应尽可能的保护已分配的内容不会被重新分派到新的节点。 分散性和负载：这两个其实是差不多的意思，就是要求一致性哈希算法对key 哈希应尽可能的避免重复。 但一致性哈希不是我们今天要介绍的重点，因为Redis 引入另一种哈希槽（hash slot） 的概念。 Redis 集群中内置了16384 个哈希槽，当需要在Redis 集群中放置一个key-value 时，redis 先对key 使用crc16 算法算出一个结果，然后把结果对16384 求余数，这样每个key 都会对应一个编号在0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。 使用哈希槽的好处就在于可以方便的添加或移除节点。 当需要增加节点时，只需要把其他节点的某些哈希槽挪到新节点就可以了； 当需要移除节点时，只需要把移除节点上的哈希槽挪到其他节点就行了； 内部机制，与我何干，对于我们来说，在新增或移除节点的时候不要让我们先停掉所有的redis 服务我就谢天谢地了，这点它做到了。 下面我们就开始动手搭建一个redis 集群来体验一下。 因为我们要启动多个redis 实例，虽然我们可以直接通过命令行来启动，但始终是不怎么方便的，所以我们先来新建三个实例目录，分别是9001，9002，9003，目录名就是redis 实例的端口号。

Redis中文入门手册

Redis中文入门手册1.0 中国海事服务网(https://www.wendangku.net/doc/ab16437132.html,) zhangli收集整理

目录 1)Redis简介 (3) 2)数据类型 (3) 2.1.Redis的Key (3) 2.1.1.key相关指令介绍 (3) 2.2.Redis的vaule (3) 2.2.1.string类型 (3) 2.2.2.hash类型 (4) 2.2.3.list类型 (5) 2.2.4.set类型 (5) 2.2.5.sorted set类型 (6) 3)持久化 (7) 3.1.快照方式：（默认持久化方式） (7) 3.2.日志追加方式： (7) 4)虚拟内存（适用于value比key大的情况） (8) 4.1.Redis虚拟内存简介 (8) 4.2.Redis虚拟内存相关配置 (8) 4.3.redis虚拟内存工作方式简介 (9) 4.3.1.当vm-max-threads设为0时（阻塞方式） (9) 4.3.2.当vm-max-threads大于0时(工作线程方式) (9) 5)主从同步 (9) 5.1.Redis主从复制简介 (9) 5.2.Redis主从复制的过程介绍 (10) 附录A：redis的安装与配置 (10) 1.1.安装 (10) 1.1.1.编译安装 (10) 1.1.2.配置 (11) 1.1.3.启动redis (11) 1.1.4.关闭redis (11) 1.1.5.更新安装redis (12) 1.1.6.redis系统管理相关指令简介 (12) 附录B：安装phpredis模块 (12) 参考资料与知识扩展 (13)

大数据应用案例 大数据培训视频教程-大数据高并发架构实战案例

《大数据高并发系统架构实战方案(LVS负载均衡、Nginx、共享存储、海量数据、队列缓存)》 课程讲师：tom5 课程分类：Java 涉及项目：大数据高并发系统平台架构 用到技术：LVS负载均衡、Nginx、共享存储、海量数据 其他特性：队列缓存、缓存平台、mysql主从复制 涵盖内容：视频、代码、ppt 课时数量：21 随着互联网的发展，高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练。 通过该课程的学习，普通的技术人员就可以快速搭建起千万级的高并发大数据网站平台。 亮点一：真实环境还原，课程采用了VM环境重现大网站集群服务器环境，真实环境还原再现。 亮点二：基础实用，细节决定成败，课程内容在演练过程中重点介绍各种细节，保证初级人员快速入门及高级进阶。 亮点三：讲师丰富的海量平台运作经验 第一章概述（1课时）简要介绍该系列课程的内容， 本章内容如下： 主流高并发大数据应对技术介绍 CDN镜像技术介绍 静态化技术介绍 库表水平及垂直拆分技术介绍 虚拟化云计算体系介绍 高并发系统架构规划 高并发大型网站高可靠架构图 课程安排简介 高并发大型网站高可靠架构网络IP规划 搭建实战环境的准备工作 SFTP客户端Filezilla使用简介 SSH客户端SecureCRT使用简介 Centos关闭图形界面启动及开启sshd实战 虚拟机clone后网卡重新初始化演练 VMware使用技巧演练 第二章 LVS实现负载均衡软交换实战（5课时）

本章演练的是负载均衡技术的核心，主要包括LVS的类型特点适用场景介绍，使用Piranha安装快速搭建LVS负载均衡集群及配置，LVS负载均衡DR模式深入安装调试，LVS调度策略及负载均衡原理详细演练，LVS深入实践NAT模式集群调试。 详细内容如下： LVS服务器配置准备 关闭centos网卡自动管理实践 上网网卡手动配置 yum镜像加速 yum安装Piranha piranha-gui启动 防火墙配置开通3306口 pulse启动 piranha安装效果验证 nginx服务器配置安装 主机名配置 添加nginx的yum安装源 yum安装nginx nginx安装效果验证 防火墙配置打开80口 防火墙配置虚IP包转发规则支持LVS的DR模式 Piranha配置DR模式详解演练 global settings公网IP配置Primary server public ip redundancy配置lvs服务器的冗余， virtual servers配置Virtual IP Address和real server 主从配置scp复制 LVS安装效果验证 ipvsadm演练 热备切换 LVS自服务配置启动 Piranha相关轮询配置参数讲解及效果演示 Round robin：轮转调度轮询（最简单的轮询） Weighted least-connections：加权最少连接（考虑负载、服务器性能因素） Weighted round robin：加权最少连接（考虑服务器性能因素） Least-connection：最少连接（考虑负载因素）等 /etc/sysconfig/ha/lvs.cf 文件配置内容详细讲解 LVS调度策略深入及效果演示 服务器集群负载均衡简化的整体结构讲解 基于DNS的请求调度 基于前端调度器的请求调度 四层交换-通过DR实现报文转发 四层交换-通过IP隧道实现报文转发 四层交换-通过NAT实现报文转发

Redis在大数据业务中的应用

https://www.wendangku.net/doc/ab16437132.html, Redis在大数据业务中的应用陈群@唯品会/数据基础架构/DBA

Agenda 1.Redis In Bigdata Ecosystem 2.Storage Architecture Evolution 3.Redis Cluster In Practice

计算和存储 HDFS HBase Hive Kafka MongoDB Redis/Twemproxy/Cluster MySQL Storm Spark Map-Reduce Job Java/C++/Python 计算 存储

实时数据收集实时计算内存存储 实时推荐 系统监控Flume/Kafka Storm/Spark Redis 实时报表

1)Hive --> Redis，定期同步全量/增量数据 ?开发成通过用的hive2redis组件，支持twemproxy/redis-cluster。 ?提交配置即可完成数据推送，下面是一些常用参数。 arg1: data_type arg2: sql_query (hive进行数据提取的查询语句) arg3: redis_key_expire_seconds (redis的key的过期时间) arg4: redis_server_type (指定redis集群的架构, cluster or twemproxy ) 2) Java/C++/Python应用程序 ?数据源主要是MySQL、文件、Kafka等。

大数据对redis的挑战 TCO Latency Throughput Scalability HA

如何自学-Python(干货合集)

如何自学Python(干货合集) Learn Python The Hard Way https://www.wendangku.net/doc/ab16437132.html,/book/ 零编程基础学python，浅显易懂，操作性强。中文翻译版本： 笨办法学Python https://www.wendangku.net/doc/ab16437132.html,/en/latest/in dex.html 其实python非常适合初学者入门，上手很容易。 我就是完全通过网上资源学了python的。 最大的是3点经验： 1.找一本浅显易懂，例程比较好的教程，从头到尾看下去。不要看很多本，专注于一本。把里面的例程都手打一遍，搞懂为什么。 2.去找一个实际项目练手。我当时是因为要做一个网站，不得已要学python。这种条件下的效果比你平时学一门新语言要好很多。所以最好是要有真实的项目做。可以找几个同学一起做个网站之类。 3.最好能找到一个已经会python的人。问他一点学习规划的建议，然后在遇到卡壳的地方找他指点。这样会事半功倍推荐几个网上的资源： 简明Python教程 与孩子一起学编程 Head First Python 中文版 笨办法学Python Dive.Into.Python中文版(附课程源码) Python核心编程 深入理解Python Python标准库 Python编程指南 diango_book中文版 解压密码均为：http://crossin.me ====================== 在线教程： 简明Python教程：简明Python 教程 （较新版）：A Byte of Python Dive into Python：Dive Into Python 阶段一：前辈领进门。 第一眼是一个前辈给我看了看Python的代码，因为自己最早学习的是Java语言，第一眼看到Python的时候，前辈说，“Python是面向对象的”，然后就打印了几句代码。可我怎么也看不出到底哪里是“面向对象”的。前辈说“在Python

企业级分布式开发架构

SPRINGX-D企业级分布式开发框架微架构零XML配置集中式授权单机/分布式自由切换高开发效率原生spring扩展 满足5-10年技术需求 框架介绍 SPRINGX-O (open source) 开源版 简介 开源技术大杂烩,在springside4的基础上建立的一套完善的shiro权限管理系统 内置功能 完善的基于界面配置的shiro权限管理功能 源码获取渠道 1.https://https://www.wendangku.net/doc/ab16437132.html,/springxo/springx-framework/wikis/Home 2.进群485117725获取源码 SPRINGX-B(basic)基础版 简介 精选技术合集, 支持集群部署,为中小型企业提供基础的架构支持 内置功能 用户管理：用户是系统操作者，该功能主要完成系统用户配置。 机构管理：配置系统组织机构，树结构展现。 区域管理：国家、省市、地市、区县的维护。 菜单管理：配置系统菜单，操作权限等。 角色管理：角色菜单权限分配、设置角色按机构进行数据范围权限划分。 字典管理：对系统中经常使用的一些较为固定的数据进行维护，如：是否、男女、类别、级别等。 操作日志：系统正常操作日志记录和查询；系统异常信息日志记录和查询。 连接池监视：监视当期系统数据库连接池状态，可进行分析SQL找出系统性能瓶颈。SPRINGX-D(distribution) 分布式版 SPRINGX-D企业级分布式开发框架使用spring零配置的优势将各种开源项目整合在一起,架构与业务进行有效分离,架构升级基本不影响业务代码,屏蔽掉了技术难度,开发入门低.会spring就会开发,架构容易管理,技术主流.可满足未来5-10年的技术需求.以SPRINGX-D为基础开发的主平台系统可以作为一个公司的核心平台,管控所有后台业务系统,REST OPEN PLATFORM组件提供了淘宝TOP开放平台类似的设计,为你的移动开发保驾护航.如果你的企业处于技术转型期或者技术选型期, SPRINGX-D将是你的不二之选

大数据高并发系统架构实战方案(LVS负载均衡、Nginx、共享存储、海量数据、队列缓存)

大数据高并发系统架构实战方案(LVS负载均衡、Nginx、共享存储、海量数据、队列缓存) 课程简介: 随着互联网的发展，高并发、大数据量的网站要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用技术点及详细演练。 通过该课程的学习，普通的技术人员就可以快速搭建起千万级的高并发大数据网站平台。 亮点一：真实环境还原，课程采用了VM环境重现大网站集群服务器环境，真实环境还原再现。 亮点二：基础实用，细节决定成败，课程内容在演练过程中重点介绍各种细节，保证初级人员快速入门及高级进阶。 亮点三：讲师丰富的海量平台运作经验

讲师tom5多年研发平台,某大型视频网站CTO,众多大型网站及移动应用平台架构经验，并拥有多年的培训经验经历。讲课内容完全切合架构设计及实施人员需要。 第一章概述（1课时）简要介绍该系列课程的内容， 本章内容如下：主流高并发大数据应对技术介绍 CDN镜像技术介绍 静态化技术介绍 库表水平及垂直拆分技术介绍 虚拟化云计算体系介绍 高并发系统架构规划 高并发大型网站高可靠架构图 课程安排简介

高并发大型网站高可靠架构网络IP 规划 搭建实战环境的准备工作 SFTP客户端Filezilla使用简介 SSH客户端SecureCRT使用简介 Centos关闭图形界面启动及开启sshd实战 虚拟机clone后网卡重新初始化演练 VMware使用技巧演练 第二章LVS实现负载均衡软交换实战（5课时） 本章演练的是负载均衡技术的核心，主要包括LVS的类型特点适用场景介绍，使用Piranha安装快速搭建

大数据开发培训机构课程

随着互联网的发展，各个行业都会看大数据的脸色行事。因此很多企业都想拥有好的大数据技术人员。再经过调查发现，目前大数据相关岗位的平均薪资已经达到了19K，待遇丰厚可观，这也是学员的学习动力。 大数据开发工程师课程系统——Java部分。 一阶段：静态网页根底 1、学习Web标准化网页制造，得具备的HTML符号和特点 2、学习HTML表格、表单的规划与制造 3、学习CSS、丰厚HTML网页的款式 4、经过CSS布局和定位的学习、让HTML页面布局更加漂亮

5、温习一切常识、完结项目安置 二阶段：JavaSE+JavaWeb 1、把握JAVASE根底语法 2、把握JAVASE面向目标运用 3、把握JAVASEAPI常见操作类运用并灵敏运用 4、娴熟把握MYSQL数据库的根本操作，SQL句子 5、娴熟运用JDBC完结数据库的数据操作 6、把握线程，网络编程，反射根本原理以及运用 7、项目实战+ 扩大常识：人事办理系统 三阶段：前端大数据结构 1、JAVASCRIPT 2、把握Jquery根本操作和运用 3、把握注解根本概念和运用 4、把握版别控制工具运用

5、把握easy大数据根本运用 6、项目实战+扩大常识：项目事例实战 POI根本运用和经过注解封装Excel、dr大数据d连接池数据库监听,日志Log4j/Slf4j 四阶段：企业级开发结构 1、娴熟把握spring、spring mvc、mybatis/ 2、了解struts2 3、了解Shiro、redis等 4、项目实战：内容办理系统系统、项目办理渠道流程引擎activity，爬虫技能nutch,lucene，webService CXF、Tomcat集群热备MySQL读写别离以上Java课程算计384课时，算计48天! 大数据开发工程师课程系统——大数据部分 五阶段：大数据前传大数据前篇、大数据课程系统、方案介绍、大数据环境预备&建立 六阶段：CentOS课程系统CentOS介绍与装置布置、CentOS常用办理指令解析、CentOS常用Shell编程指令、CentOS阶段作业与实战练习

01-Redis入门

关系型数据库:mysql,oracle,sqlserver,db2 非关系型数据库:mongoDB,HBase,Redis,Membercache (非关系型数据库存储的不是表结构) 1.NoSql概述 1.1什么是Nosql 随着web2.0的快速发展，非关系型、分布式数据存储得到了快速的发展，它们不保证关系数据的ACID特性。NoSQL概念在2009年被提了出来。NoSQL最常见的解释是“non-relational”，“Not Only SQL”也被很多人接受。（“NoSQL”一词最早于1998年被用于一个轻量级的关系数据库的名字。） 1.2为什么要使用Nosql ●传统的数据库遇到的瓶颈 传统的关系数据库具有不错的性能，高稳定型，久经历史考验，而且使用简单，功能强大，同时也积累了大量的成功案例。在互联网领域，MySQL成为了绝对靠前的王者，毫不夸张的说，MySQL为互联网的发展做出了卓越的贡献。 在90年代，一个网站的访问量一般都不大，用单个数据库完全可以轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站不多。 到了最近10年，网站开始快速发展。火爆的论坛、博客、sns、微博逐渐引领web领域的潮流。在初期，论坛的流量其实也不大，如果你接触网络比较早，你可能还记得那个时候还有文本型存储的论坛程序，可以想象一般的论坛的流量有多大。 高并发读写 Web2.0网站，数据库并发负载非常高，往往达到每秒上万次的读写请求 高容量存储和高效存储 Web2.0网站通常需要在后台数据库中存储海量数据，如何存储海量数据并进行高效的查询往往是一个挑战 高扩展性和高可用性 随着系统的用户量和访问量与日俱增，需要数据库能够很方便的进行扩展、维护 ●NoSql数据库的优势 易扩展 NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

Redis详解与常见问题解决方案

Redis简介 redis是一个key-value存储系统。和Memcached类似，它支持存储的value 类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortedset --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。 安装： 安装Redis 官方网站：http://redis.io/ 官方下载：http://redis.io/download 可以根据需要下载不同版本 windows版：https://https://www.wendangku.net/doc/ab16437132.html,/ServiceStack/redis-windows 下载安装包： 解压启动Redis 解压redis64-2.8.17版本后，找到redis.windows.conf，修改配置文件内容，内容如下。

支持数据结构 redis提供五种数据类型：String，hash，list，set及zset(sortedset)。Redis配置文件主要参数配置 1、指定Redis监听端口，默认端口为6379。 port 6379 2、绑定的主机地址 bind 127.0.0.1 3、当客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能timeout 300

【总结】瞬时高并发(秒杀活动)Redis方案

【总结】瞬时高并发（秒杀活动）Redis方案 1，Redis 丰富的数据结构（Data Structures） 字符串（String） Redis字符串能包含任意类型的数据一个字符串类型的值最多能存储512M字节的内容利用INCR命令簇（INCR, DECR, INCRBY）来把字符串当作原子计数器使用使用APPEND命令在字符串后添加内容 列表（List） Redis列表是简单的字符串列表，按照插入顺序排序你可以添加一个元素到列表的头部（左边：LPUSH）或者尾部（右边：RPUSH）一个列表最多可以包含232-1个元素（4294967295，每个表超过40亿个元素）在社交网络中建立一个时间线模型，使用LPUSH去添加新的元素到用户时间线中，使用LRANGE去检索一些最近插入的条目你可以同时使用LPUSH和LTRIM去创建一个永远不会超过指定元

素数目的列表并同时记住最后的N个元素列表可以用来当作消息传递的基元（primitive），例如，众所周知的用来创建后台任务的Resque Ruby库 集合（Set） Redis集合是一个无序的，不允许相同成员存在的字符串合集（Uniq操作，获取某段时间所有数据排重值）支持一些服务端的命令从现有的集合出发去进行集合运算，如合并（并集：union）,求交(交集：intersection)，差集, 找出不同元素的操作（共同好友、二度好友）用集合跟踪一个独特的事。想要知道所有访问某个博客文章的独立IP？只要每次都用SADD来处理一个页面访问。那么你可以肯定重复的IP是不会插入的（利用唯一性，可以统计访问网站的所有独立IP）Redis集合能很好的表示关系。你可以创建一个tagging系统，然后用集合来代表单个tag。接下来你可以用SADD命令把所有拥有tag的对象的所有ID添加进集合，这样来表示这个特定的tag。如果你想要同时有3个不同tag 的所有对象的所有ID，那么你需要使用SINTER使用SPOP 或者SRANDMEMBER命令随机地获取元素 哈希（Hashes） Redis Hashes是字符串字段和字符串值之间的映射尽管

REDIS

Redis复制与可扩展集群搭建 作者田琪发布于2011年9月21日 领域 语言& 开发 主题 集群与缓存 , NoSQL 标签 专栏 , Redis 分享| 上一篇文章讨论了Redis的常用数据类型与存储机制，本文会讨论一下Redis的复制功能以及Redis复制机制本身的优缺点以及集群搭建问题。 相关厂商内容 QClub（西安站）——2011西安Web开发大会（9月24日免费报名中！） Flash Builder 4.5高级版试用版免费高速下载 QClub（北京站）——《云计算与虚拟化在企业架构中的实施》（10月12日晚7点） QClub九月技术沙龙（北京/西安/太原免费报名中！） Redis复制流程概述 Redis的复制功能是完全建立在之前我们讨论过的基于内存快照的持久化策略基础上的，也就是说无论你的持久化策略选择的是什么，只要用到了Redis的复制功能，就一定会有内存快照发生，那么首先要注意你的系统内存容量规划，原因可以参考我上一篇文章中提到的Redis磁盘IO问题。 Redis复制流程在Slave和Master端各自是一套状态机流转，涉及的状态信息是： Slave 端： REDIS_REPL_NONE REDIS_REPL_CONNECT REDIS_REPL_CONNECTED Master端：

整个状态机流程过程如下： 1.Slave端在配置文件中添加了slave of指令，于是Slave启动时读取配置文件，初始状态为 REDIS_REPL_CONNECT。 2.Slave端在定时任务serverCron(Redis内部的定时器触发事件)中连接Master，发送sync命令， 然后阻塞等待master发送回其内存快照文件(最新版的Redis已经不需要让Slave阻塞)。 3.Master端收到sync命令简单判断是否有正在进行的内存快照子进程，没有则立即开始内存快照， 有则等待其结束，当快照完成后会将该文件发送给Slave端。 4.Slave端接收Master发来的内存快照文件，保存到本地，待接收完成后，清空内存表，重新读取 Master发来的内存快照文件，重建整个内存表数据结构，并最终状态置位为 REDIS_REPL_CONNECTED状态，Slave状态机流转完成。 5.Master端在发送快照文件过程中，接收的任何会改变数据集的命令都会暂时先保存在Slave网络 连接的发送缓存队列里（list数据结构），待快照完成后，依次发给Slave,之后收到的命令相同处理，并将状态置位为REDIS_REPL_ONLINE。 整个复制过程完成，流程如下图所示：