redis大数据存储

❶ Redis的主要功能

缓存：这应该是 Redis 最主要的功能了，也是大型网站必备机制，合理地使用缓存不仅可以加 快数据的访问速度，而且能够有效地降低后端数据源的压力。
共享Session：对于一些依赖 session 功能的服务来说，如果需要从单机变成集群的话，可以选择 redis 来统一管理 session。消息队列系统：消息队列系统可以说是一个大型网站的必备基础组件，因为其具有业务 解耦、非实时业务削峰等特性。Redis提供了发布订阅功能和阻塞队列的功 能，虽然和专业的消息队列比还不够足够强大，但是对于一般的消息队列功能基本可以满足。比如在分布式爬虫系统中，使用 redis 来统一管理 url队列。
分布式锁：在分布式服务中。可以利用Redis的setnx功能来编写分布式的锁，虽然这个可能不是太常用。 当然还有诸如排行榜、点赞功能都可以使用 Redis 来实现，但是 Redis 也不是什么都可以做，比如数据量特别大时，不适合 Redis，我们知道 Redis 是基于内存的，虽然内存很便宜，但是如果你每天的数据量特别大，比如几亿条的用户行为日志数据，用 Redis 来存储的话，成本相当的高。

❷ redis 一个数据库能存多少数据

redis一个实例能存一个key或是value大小最大是512M。操作方法如下：

1、首先要安装redis，开启版redis的服务。

❸ 大量数据能缓存到redis里面吗

不适合引子：

    在大数据时代，总希望存在一个Key-value存储机制，像一样在内存中处理大量（千万数量级）的key-value对，以便提高数据查找、修改速度。

    所以，我们会想到，Memcached和Redis这两个NoSQL数据库（严格来讲二者都不可以算作数据库）。

    1、Memcached是一个cache机制，当内存不足时会采用LRU机制，替换出陈旧数据，因此他不能保证我们的数据像在HashMap中一样不丢失，且没有数据持久化机制；

    2、Redis克服了这一缺点，采取磁盘存储机制实现数据持久化。但是，当数据量达到1千万左右时，由于内存中不能存储如此大量数目的数据，频繁同磁盘进行数据交换，导致数据查询、存储性能的急剧下降，将导致服务不可用。

     结论：当前还没有好的产品可以实现key-value保证数据完整性，千万级条数量级的，高效存储和查询支持产品。

     附录一：如下是转自其它网友的测试数据：

     附录二：memcached 和redis的比较，和各自用途

附录一：

从图中可以猜测到还会有Redis 2.2.1 的测试，相同的测试环境，1K的数据量，使用ServiceStack.Redis客户端进行如下测试：

1) Set操作

2) Get操作

3) Del操作

每一套测试分别使用三个配置进行测试：

1) 绿色线条的是开启Dump方式的持久化，5分钟持久化一次

2) 蓝色线条是开启AOF方式的持久化，每秒写入磁盘一次

3) 红色线条是关闭任何的持久化方式

对于每一个配置都使用相同的其他配置：

1) 开启VM 最大内存10GB(128字节一

❹ Redis 大数据内存优化 (RoaringBitmap)

最近碰到手机设备匹配的业务, 用户在我司后台可以上传人群包, 里面存放的是设备的MD5标识符; 一个人群包大概有千万级的MD5数据, 与广告请求所携带设备标识进行匹配.

尝试插入1kw条数据, key为设备MD5值, value为1, 此时Redis中存在1kw条key-value键值对.

通过 info 指令查看内存占用:

8bit = 1b = 0.001kb
bitmap即位图, 就是通过最小的单位bit来进行0或者1的设置，表示某个元素对应的值或者状态。
一个bit的值，或者是0，或者是1；也就是说一个bit能存储的最多信息是2。

场景: 有用户id分别为1, 2, 3, 4, 5, 6, 7, 8的用户, 其中用户2, 5在今日登录, 统计今
日登录用户

采用位图存储: 用户id为偏移量, 可以看做是在位图中的索引, value为true

通过 bitcount 获取登录用户数为2:

测试offset从1-1kw连续整数时候的内存占用:

可以发现内存占用仅为 1.19MB, 1个亿的数据也才12MB, 极大的减少了内存;

由于我们的业务没有如此完美的情况出现, 采用设备MD5的hash做Offset, 不会出现连续正整数的情况;

各常用Hash函数性能对比: https://byvoid.com/zhs/blog/string-hash-compare/

所以我们接下来测试1kw条MD5数据的位图内存占用:

查看Redis内存占用:

问题: 为什么同样1kw的bitmap, MD5数据的Hash占用会比 测试一 的多200倍?

将32位无符号整数按照高16位分桶，即最多可能有216=65536个桶，称为container。存储数据时，按照数据的高16位找到container（找不到就会新建一个），再将低16位放入container中。也就是说，一个RBM就是很多container的集合。

图中示出了三个container：

1kw条MD5数据的插入: