Nosql里典型的数据库

Nosql里典型的数据库

Redis

对网站服务器进行写入

传统关系式数据库无法过多的写入

对数据库要求：

数据库高并发读写需求

解决方案：

（1：读写分离

两台主如果同时写入会发生冲突

（2：水平分割：

关系式数据库

数据之间有操作   

海量数据的高效率存储和访问的需求

用户如果在海量数据中查询某一条数据

记录

数据库的高扩展性和高可用性

 ###############################################

任何一个领域，如果不能通过自己的努力

去获取或者超出其他人的竞争优势的话

想胜出，确实挺困难的！！！

################################################

关系型数据库：

关系：可以理解为一张二维表，每个关系都具有一个关系名，就是通常说的表名。

元组：可以理解为二维表中的一行，在数据库中经常被称为记录。

属性：可以理解为二维表中的一列，在数据库中经常被称为字段。

域：属性的取值范围，也就是数据库中某一列的取值限制。

关键字：一组可以唯一标识元组的属性。数据库中常称为主键，由一个或多个列组成。

关系模式：指对关系的描述，其格式为：关系名（属性1，属性2，…，属性N）。在数据库中通常称为表结构。

NoSQL版本

存储方式不一样

Redis

存在缓存中

很稳定资格较老，成熟方案较多

mongoDB

存在文件中

社区活跃，更新活跃

HBase

memcached:数据只保存在缓存中

cassandra

sequoiaDB:只跟ibm捆绑

redis

通过键值存储数据

键值对应数据如变量

nosql 和关系式数据库配合使用

Memcache

速度较快、不能备份、支持十几万QPS

（对一个服务器在一个时间范围内处理

的数据量的多少）

MONGoDB

文档型的数据库，查询功能强大，支持

索引，最接近关系式数据库的nosql

结构相对单一

REDIS

基于缓存，速度较快，支持多种数据结构

消耗内存相对较多，支持数万的QPS

通过其他软件配合支持本地存储

Redis 安装配置：

1:安装GCc*

/usr/src/

Redis-3.0.3.tar.gz

Tcl-8.5.7-6.e16.x86

Tar  –zxvf  redis-3.03

Cd  redis-3.03

Make

Rpm  –ivh  Tcl-8.5.7-6.e16.x86

make test

make  PREFIX=/usr/local/redis  install

redis-check-aof

redis-check-dump

以上为两种日志

Cd  ！$

Vim  redis.config

/daemonize

Daemonize  yes  后台运行

如果我想看一下数据库里有什么键值

Keys  *

Set  age  19

Keys  *

Set 设置

Get 查看

测试指定的并发类型

官方网站：Http://www.redis.cn/

Redis.io

String 字符串

String字符串在一个键里面只能有一个值

Set设置键

Get查看键

./redis-cli

防止覆盖：

Setnx  name zhangsan

显示为0不成功

Setnx  name1  zhangsan

显示为1则成功创建

Setex  aa 30 111  设置临时的键

Ttl  aa 查看生存周期

-1  为永久生效

-2目标键为不存在

Hexists  c  b3

批量设置多个键：

 MSET a3 333 a4 444 a5 555

成功返回ok，失败返回0

mget 批量查看键

msetnx  批量设置新建，防止覆盖

MSETNX  a5 555 a6 aaa

替换操作

Set b1 ‘hi zhangsan’

Get b1

替换指定键的键值从3里面开始替换

SETRANGE b1 3 lisi

             (替换的内容)

Get  b1 查看原值，并替换新值

整个内容替换成别的值并可以查看原来的值

Getset  b1 ‘hello zhangsan’查看新值并替换新值

Get  b1

Getrange b1 0 5查看部分键值

          查找第一个到第五个字符

键值增减

Set c1 1

Set c2 2

Get c1

INCR c1

Get c1

以上会发生增加变化如果不想让他加1  yici加10

INCRBY  c1  +10  (必须为整数) 则依次增长10

DECRBY  c1  10 则每次执行依次减10

APPEND  b1  lisi  追加内容为lisi四个字符

Strlen b1 查看键值长度

Del b1 删除b1 只能一次删除一个

Hash 字符串

在一个键里面可以有多个值

Hset d1 name1 zhangsan创建一个为hash字段

    键名 字段   键值

HGET d1 name1查看d1键名中name1字段值

一个键里面存放两组数据

Hsetnx  设置新建防止它覆盖

HSETNX d1 name3 xxx  1为成功

Hmget d1 name1 name2 name3 批量查看字段的值

Hkeys 查看指定键中的字段名称：

HKEYS d1 只查看名字

Hgetall查看指定键的值

HDEL d1 name3 删除指定字段

Hset  d2 a 1

       字段名a 数值1

Hkeys d2

Hincrby d2 a 5增加指定字段的值

List 双向队列

双向队列就是一种特殊的string类型

只是做了一个排序有一个前后顺序

服务在建立连接的时候有个队列

如何将这些消息排成一列进行管理

有一个先后顺序服务质量

队列里的每一个数据就可以看成一个string数据类型

有两种排列顺序一种是从左到右 0 1 2 3

一种是从右到左 -1  -2  -3

             0  1   2  3 个数据

Lpush list1 1 从左往右插入

Lpush list1 2

Lrange list1 0 -1查看从左边第一个到右边第一个

Rpush list2 one two three four从右往左插入

Lrange list2 0 -1  查看

Linsert  list2 before two 3 hi

            After (在之后)

        插入到队列lisi2中在two之前插入了hi

Lset list2 1‘five’  在list2 中从左往右第二个位置把hi改为five

Rpush  list3 hi 1 hi 2 hi 3 hi 4

Lrange  list3  0 -1  查看总共八个元素

Lrem  list3  -2  hi  删除指定队列中重复的元素

         把倒数第一个第二个给删除

Lrange  list1  0  -1  查看

Ltrim  list1 1 2删除list1 表里面第1个第2个

Lrange  list1  0  -1  查看已经删除

Lpush list8 11 12 13 14 15 16 新建队列

Ltrim list8  0  3  保留前三个

Lrange list8  0 -1  查看所有

Lpop list8  删除指定队列中左边的第一个元素

Rpop list8 删除指定队列中右边的第一个元素

如果我想删除的同时还能够把这个

元素放到其他队列里

Lrange  list8  0  -1

Lrance  list2  0  -1

Rpoplpush list8  list2 将list8队列中的最后一个元素

移动到list2队列中

Llen 查看队列长度

Lien list2  1通过下标来查看队列中元素的值

Lindex list2  0

Zset  有序集合

Sorted set（zset）是set的升级版本，

它在set的基础上增加了一个顺序属性，

这一属性在添加修改元素的时候可以指定，

每次指定后，zset会自动重新按新得值调整顺序。

可以理解为有两列的Mysql表，

一列存value，一列存顺序。操作中key理解为zset的名字。

Set

如qq中的好有推荐

值   分数    下标

Sadd q1 1  添加集合

Smembers q1 查看集合所有元素

Sadd q1 234

Srandmember  q1  随机调用值

Spop  q1  随机删除一个值

 Srem q1 4 指定随机删除一个值

Smembers q1  查看集合所有元素

Scard  q1  查看总共有几个元素

Sismember  q1 3  查看3是否为集合里的元素

Sadd q2 1 2 3 4

Sadd q3 3 4 5 6

Sdiff q2 q3  查看查集以第一个指定集合为主

Sdiffstore q4 q3 q2 查看并把q3 q2集合写入q4

Smembers q4

Smembers q2查看集合中所有元素

Smembers q3

Sinter q2 q3 查看交集

Sinterstore q8 q2 q3 需要有一样的才能保存到新集合

 查看交集并保存到新集合

SuNIOn q2 q3 查看并集

Sunionstore  q9 q2 q3

Smove q2 q3 1 先写源集合在写目标集合把q2的值移动到q3中

移动集合中的元素 

有序集合:比原来的集合多一个分数

能够实现实时同步

Zadd z1 1 aa 3 bb 2 cc 2 dd

Zrange z1 0  -1 分数是按照从小到大的排序

     查看集合内元素

Zrange z1 0 -1 withscores  分数是按照从小到大的排序

Zrevrange  z1 0 -1 withscores

  会按照分数从大到小排列

Zrangebyscore z1 2  3 withscores

 查看           分数从2到3的

Zrem z1 dd

     删除值

Zrevrange z1 0 -1 withscores

Zincrby z1 5 aa 

Zrevrange z1 0 -1 withscores

Zincrby z1 4 dd 创建出来并把分数设为4

         添加分数如不存在则创建

Zrange z1 0 -1 withscores

Zrank z1 aa

按照分数从小到大的顺序获取指定值的下标

Zrevrank z1 aa 按照分数从小到大顺序获取指定值的下标 

Zcard  z1  统计集合中元素个数

Zcount z1 4 10 统计指定分数范围内的元素个数

Zrange  z1 0 -1 withscores

Zrank z1 cc

Zremrangebyrank  z1 1 2 删除了bb和dd

    删除下标在指定范围内的元素

Zrange z1 0 -1 withscores

Zremrangebyscore  z1 1 3

根据分数来删除1 到3 之间的

删除分数在指定范围内的元素

Zadd z2 1 one 2 two 3 three

Zadd z3 2 two 3 three 3 four

Zinterstore z4 2 z2 z3 做交集

     用z4 做集合、有两个分别是z2、z3

Zrange z4  0  -1  查看他们的交集是对了两边都有

Zrange z4  0  -1  withscores 取交集并保存至新集合

有序集合取出以后分数是要叠加的

在有序集合里插集无意义 因为没有那个命令

并集：

Zrange z2 0 -1 withscores  创建one1 two2 three3

Zrange z3 0 -1 withscores  创建two2 three3 four4 

Zunionstore z5 2 z2 z3 取并集并保存至新集合（分数叠加）

Zrange z5 0  -1  withscores查看新集合  

全局的管理命令

Keys  *

Dbsize  统计键的数量

Exists a2 查看某个键是否存在 0 不存在 1存在

                            -1永久 -2 临时

Ttl a2  

Expire q4 20可以设置为生效时间的键

设置q4有效时间为20秒

Ttl  q4  会有变化

Rename d1 d2 改名将d1 改为d2

Type a1  查看键的数据类型

         （如string list set zset）

Info 查看版本信息

Keys  *

Select  1选择去哪一个数据库默认为0数据库

一共有0-15   16个数据库

Move d2 1 把一个键移动到其他数据库中

       在当前数据库中就无法看到d2啦！

Select  1  到1 数据库里就可以看到啦！

Flushdb  清空当前数据库

Flushall  清空所有数据库（16个数据库里变量）

数据库应用

密码验证：

Yum –y install gcc*

make

make test

Cd  /usr/local/redis

Vim redis.conf  打开主配置文件

Daemonize  yes设置为后台启动

启动redis

  小P  登入

Vim redis.conf  打开主配置文件

/requirepass   搜索

 Requirepass  123.com 去掉注释写入密码

Wq!

Pkill redis  重启一下redis

./bin/redis-server  ./redis.conf

./bin/redis-cli  登入

Keys  * 会看不到任何的内容

Auth 123.com 需要提供认证认证

或者登入的时候加选项指定密码 –a  123.com

备份：

Nosql是能保存数据的nosql

是怎样来保存的！

Cd  /usr/local/redis

/usr/local/redis/bin/redis-server 空格

/usr/local/redis/redis.conf  开启服务

以上为一行

/usr/local/redis/bin/redis-cli –a 123.com 登入

Keys  * 就能看到啦

Save  保存

Exit

Pkill redis

Cd  /root/

/usr/local/redis/bin/redis-server  /usr/local/redis/redis.conf

/usr/local/redis/bin/redis-cli –a 123.com

Keys  *  为空的！

Vim /usr/local/redis/redis.conf

/dir

/usr/local/redis  （修改以前为dir  ./）

/usr/local/redis/bin/redis-server /usr/local/redis/redis.conf

开启

/usr/local/redis/bin/redis-cli  -a  123.com 登入

Keys  * 就会看到有不用去配置文件找

主从同步：

实验需求：一台服务器上做主从

需要在一台服务器上创建两个工作目录

mysql   mysqld

1从：从服务器的配置（一台服务器上）

Cd  /usr/local/redis/ 进入工作目录

Ls     会看到主配置文件redis.conf

Cd  /usr/local/

Cp  -r  redis/  redis-slave/

Ls  就会有两个工作目录

Vim redis-slave/redis.conf

Pidfile /usr/local/redis-slave/redis.pid 修改为这个文件

Port  6380  改端口

dir /usr/local/redis-slave  (修改以前为dir ./)

/slaveof  查找/

slaveof 127.0.0.1  6379 主服务器ip、端口

masterauth  123.com

wq!

/usr/local/redis-slave/bin/redis-server 空格

/usr/local/redis-slave/redis.conf

以上两行为一行

netstat  -anpt  查看端口有6380 6379

验证登入主服务器（在一台机器上做）

/usr/local/redis/bin/redis-cli –a 123.com

Keys  * 有变量

Set  bb  111 创建一个bb

Keys  *

Exit

用从服务器登入

              Keys  *

看到bb则代表创建成功

如果是在两台服务器上搭建则只需要

从服务器主配置文件里从服务器的ip地址指到主就行

Redis的五种数据结构以及使用场景介绍

String——字符串
Hash——字典
List——列表
Set——集合
Sorted Set——有序集合

1.    String——字符串

String 数据结构是简单的 key-value 类型，value 不仅可以是 String，也可以是数字（当数字类型用 Long 可以表示的时候encoding 就是整型，其他都存储在 sdshdr 当做字符串）。使用 Strings 类型，可以完全实现目前 Memcached 的功能，并且效率更高。还可以享受 Redis 的定时持久化（可以选择 RDB 模式或者 AOF 模式），操作日志及 Replication 等功能。除了提供与 Memcached 一样的 get、set、incr、decr 等操作外，Redis 还提供了下面一些操作：

1.LEN niushuai：O(1)获取字符串长度

2.APPEND niushuai redis：往字符串 append 内容，而且采用智能分配内存（每次2倍）

3.设置和获取字符串的某一段内容

4.设置及获取字符串的某一位（bit）

5.批量设置一系列字符串的内容

6.原子计数器

7.GETSET 命令的妙用，请于清空旧值的同时设置一个新值，配合原子计数器使用

1.Hash——字典
在 Memcached 中，我们经常将一些结构化的信息打包成 HashMap，在客户端序列化后存储为一个字符串的值（一般是 JSON 格式），比如用户的昵称、年龄、性别、积分等。这时候在需要修改其中某一项时，通常需要将字符串（jsON）取出来，然后进行反序列化，修改某一项的值，再序列化成字符串（JSON）存储回去。简单修改一个属性就干这么多事情，消耗必定是很大的，也不适用于一些可能并发操作的场合（比如两个并发的操作都需要修改积分）。而 Redis 的 Hash 结构可以使你像在数据库中 Update 一个属性一样只修改某一项属性值。

存储、读取、修改用户属性

1.List——列表
List 说白了就是链表（redis 使用双端链表实现的 List），相信学过数据结构知识的人都应该能理解其结构。使用 List 结构，我们可以轻松地实现最新消息排行等功能（比如新浪微博的 TimeLine ）。List 的另一个应用就是消息队列，可以利用 List 的 *PUSH 操作，将任务存在 List 中，然后工作线程再用 POP 操作将任务取出进行执行。Redis 还提供了操作 List 中某一段元素的 api，你可以直接查询，删除 List 中某一段的元素

1.微博 TimeLine

2.消息队列

1.Set——集合
Set 就是一个集合，集合的概念就是一堆不重复值的组合。利用 Redis 提供的 Set 数据结构，可以存储一些集合性的数据。比如在微博应用中，可以将一个用户所有的关注人存在一个集合中，将其所有粉丝存在一个集合。因为 Redis 非常人性化的为集合提供了求交集、并集、差集等操作，那么就可以非常方便的实现如共同关注、共同喜好、二度好友等功能，对上面的所有集合操作，你还可以使用不同的命令选择将结果返回给客户端还是存集到一个新的集合中。

1.共同好友、二度好友

2.利用唯一性，可以统计访问网站的所有独立 IP

3.好友推荐的时候，根据 tag 求交集，大于某个 threshold 就可以推荐

1.Sorted Set——有序集合

和Sets相比，Sorted Sets是将 Set 中的元素增加了一个权重参数 score，使得集合中的元素能够按 score 进行有序排列，比如一个存储全班同学成绩的 Sorted Sets，其集合 value 可以是同学的学号，而 score 就可以是其考试得分，这样在数据插入集合的时候，就已经进行了天然的排序。另外还可以用 Sorted Sets 来做带权重的队列，比如普通消息的 score 为1，重要消息的 score 为2，然后工作线程可以选择按 score 的倒序来获取工作任务。让重要的任务优先执行。

1.带有权重的元素，比如一个游戏的用户得分排行榜
2.比较复杂的数据结构，一般用到的场景不算太多

二、redis 其他功能使用场景

1.订阅-发布系统

Pub/Sub 从字面上理解就是发布（Publish）与订阅（Subscribe），在 Redis 中，你可以设定对某一个 key 值进行消息发布及消息订阅，当一个 key 值上进行了消息发布后，所有订阅它的客户端都会收到相应的消息。这一功能最明显的用法就是用作实时消息系统，比如普通的即时聊天，群聊等功能。

2:事务——Transactions

谁说 NoSQL 都不支持事务，虽然 Redis 的 Transactions 提供的并不是严格的 ACID 的事务（比如一串用 EXEC 提交执行的命令，在执行中服务器宕机，那么会有一部分命令执行了，剩下的没执行），但是这个 Transactions 还是提供了基本的命令打包执行的功能（在服务器不出问题的情况下，可以保证一连串的命令是顺序在一起执行的，中间有会有其它客户端命令插进来执行）。Redis 还提供了一个 Watch 功能，你可以对一个 key 进行 Watch，然后再执行 Transactions，在这过程中，如果这个 Watched 的值进行了修改，那么这个 Transactions 会发现并拒绝执行。