大数据存储mongodb

『壹』 为什么MongoDB适合大数据的存储

MongoDB文档型行抄存储行存储读写程致都第袭列始列结束行存储写入性完消耗间比列存储少并且能够保证数据完整性缺点数据读取程产冗余数据少量数据影响忽略；数量能影响数据处理效率使用文档词似乎让觉奇怪其实 文档型数据模型真传统意义文档没关系说文档其实数据记录记录能够包含数据类型内容进行自我描述

另外用文档查询检索效率高使用数据库带许处：减少数据冗余度节省数据存储空间；实现数据资源充共享等等外数据库技术用户提供非简便使用手段使用户易于编写关数据库应用程序

『贰』 常见的基于列存储的大数据数据库有哪些(大数据的数据存取采用什么数据库)

目前大数据存储有两种方案可供虚携洞选择：行存储和列存储

业界对两种存差枯储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性

从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局

在已知的几种大数据处理软件中隐厅，Hadoop的HBase采用列存储，MongoDB是文档型的行存储，Lexst是二进制型的行存储

在这里，我不讨论这些软件的技术和优缺点，只围绕机械磁盘的物理特质，分析行存储和列存储的存储特点，以及由此产生的一些问题和解决办法

『叁』 大数据主要学习什么

现在是大数据的时代，很多人都想从事大数据的职业.大数据主要学习什么？

基础阶段:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis.hadoopmaprecehdfs:hadoop:hadoop概念、版本、历史、HDFS工作原理、YARN介绍和组件介绍.

大数据存储阶段:hbase、hive、sqoop.

大数据结构设计阶段:Flume分布式、Zookeeper、Kafka.

大数据侍败带实时计算阶段:Mahout、Spark、storm.

大数据收集阶段:Python，Scala.

大数据商业实战阶段:实践企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用.

大数据枯返(bigdata、mega、data)或大量资料，是指需要新的处理模式，具有更强的决策力、洞察力和过程优化能力的大容量、高增长率和多样化的信息资产.在维克托·迈尔·舍恩伯格和肯尼斯·库克耶写的《大数据时代》中，大数据不是随机分析法(抽样调查)的捷径，而是采用所有数据进行分析处理.大数据的5V特征:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实老芦性).

大数据的5个v或特征为

第一，数据体量巨大

『肆』 微博如何使用大数据存储技术

Mongodb和Redis，Mongodb可以满足大量数据的存储，Redis是内存数据库，适合Key-Value形式的快速读写，适合做缓存，占用内存资源多，不适合存储大量数据。

微博是近几年发展得极为火热的信息发布和分享平台，可以发布微博、分享信息、评论和参与话题的讨论。为了让用户及时了解到最热门的话题、最热门的信息。

需要对微博系统中的数据进行实时处理和分析。而Storm是一个免费开源、分布式的、具有很好容错性的实时计算系统，通过Storm可以实时处理微博系统中的数据，并根据处理结果向用户进行实时热门推送。

微博大数据：

微博其实和淘宝是很类似的。一般来说，第一代架构，基本上能支撑到用户到 百万 级别，到第二代架构基本能支撑到 千万 级别都没什么问题，当业务规模到 亿级别时，需要第三代的架构。

从LAMP的架构到面向服务的架构，有几个地方是非常难的，首先不可能在第一代基础上通过简单的修修补补满足用户量快速增长的，同时线上业务又不能停，这是我们常说的在飞机上换引擎的问题。

建议在做服务化的时候，首先更多是偏向业务的梳理，同时要找准一个很好的切入点，既有架构和服务化上的提升，业务方也要有收益，比如提升性能或者降低维护成本同时升级过程要平滑，建议开始从原子化服务切入，比如基础的用户服务， 基础的短消息服务，基础的推送服务。

第二，就是可 以做无状态服 务，后面会详细讲，还有数据量大了后需要做数据Sharding，后面会将。第三代 架构 要解决的 问题，就是用户量和业务趋于稳步增加（相对爆发期的指数级增长），更多考虑技术框架的稳定性， 提升系统整体的性能，降低成本，还有对整个系统监控的完善和升级。