大数据的数据主要储存在哪里

『壹』 大数据时代，数据应该如何存储

PB或多PB级基础设施与传统大规模数据集之间的差别简直就像白天和黑夜的差别，就像在笔记本电脑上处理数据和在RAID阵列上处理数据之间的差别。"
当Day在2009年加入Shutterfly时，存储已经成为该公司最大的开支，并且以飞快的速度增长。
"每N个PB的额外存储意味着我们需要另一个存储管理员来支持物理和逻辑基础设施，"Day表示，"面对大规模数据存储，系统会更频繁地出问题，任何管理超大存储的人经常都要处理硬件故障。大家都在试图解决的根本问题是：当你知道存储的一部分将在一段时间内出现问题，你应该如何确保数据可用性，同时确保不会降低性能？"RAID问题解决故障的标准答案是复制，通常以RAID阵列的形式。但Day表示，面对庞大规模的数据时，RAID解决问题的同时可能会制造更多问题。在传统RAID数据存储方案中，每个数据的副本都被镜像和存储在阵列的不同磁盘中，以确保完整性和可用性。但这意味着每个被镜像和存储的数据将需要其本身五倍以上的存储空间。随着RAID阵列中使用的磁盘越来越大（从密度和功耗的角度来看，3TB磁盘非常具有吸引力），更换故障驱动器的时间也将变得越来越长。
"实际上，我们使用RAID并不存在任何操作问题，"Day表示，"我们看到的是，随着磁盘变得越来越大，当任何组件发生故障时，我们回到一个完全冗余的系统的时间增加。生成校验是与数据集的大小成正比的。当我们开始使用1TB和2TB的磁盘时，回到完全冗余系统的时间变得很长。可以说，这种趋势并没有朝着正确的方向发展。"
对于Shutterfly而言，可靠性和可用性是非常关键的因素，这也是企业级存储的要求。Day表示，其快速膨胀的存储成本使商品系统变得更具吸引力。当Day及其团队在研究潜在技术解决方案以帮助控制存储成本时，他们对于一项叫做纠删码（erasure code）的技术非常感兴趣。
采用擦除代码技术的下一代存储
里德-所罗门纠删码最初作为前向纠错码（Forward Error Correction, FEC）用于不可靠通道的数据传输，例如外层空间探测的数据传输。这项技术还被用于CD和DVD来处理光盘上的故障，例如灰尘和划痕。一些存储供应商已经开始将纠删码纳入他们的解决方案中。使用纠删码，数据可以被分解成几块，单块分解数据是无用的，然后它们被分散到不同磁盘驱动器或者服务器。在任何使用，这些数据都可以完全重组，即使有些数据块因为磁盘故障已经丢失。换句话说，你不需要创建多个数据副本，单个数据就可以确保数据的完整性和可用性。
基于纠删码的解决方案的早期供应商之一是Cleversafe公司，他们添加了位置信息来创建其所谓的分散编码，让用户可以在不同位置（例如多个数据中心）存储数据块或者说数据片。
每个数据块就其自身而言是无用的，这样能够确保隐私性和安全性。因为信息分散技术使用单一数据来确保数据完整性和可用性，而不是像RAID一样使用多个副本，公司可以节省多达90%的存储成本。
"当你将试图重组数据时，你并不一定需要提供所有数据块，"Cleversafe公司产品策略、市场营销和客户解决方案副总裁Russ Kennedy表示，"你生成的数据块的数量，我们称之为宽度，我们将重组数据需要的最低数量称之为门槛。你生成的数据块的数量和重组需要的数量之间的差异决定了其可靠性。同时，即使你丢失节点和驱动器，你仍然能够得到原来形式的数据。"

『贰』 大数据的存储

⼤数据的存储⽅式是结构化、半结构化和⾮结构化海量数据的存储和管理，轻型数据库⽆法满⾜对其存储以及复杂的数据挖掘和分析操作，通常使⽤分布式⽂件系统、No SQL 数据库、云数据库等。

结构化、半结构化和⾮结构化海量数据的存储和管理，轻型数据库⽆法满⾜对其存储以及复杂的数据挖掘和分析操作，通常使⽤分布式⽂件系统、No SQL 数据库、云数据库等。

1 分布式系统：分布式系统包含多个⾃主的处理单元，通过计算机⽹络互连来协作完成分配的任务，其分⽽治之的策略能够更好的处理⼤规模数据分析问题。

主要包含以下两类：

1）分布式⽂件系统：存储管理需要多种技术的协同⼯作，其中⽂件系统为其提供最底层存储能⼒的⽀持。分布式⽂件系统 HDFS 是⼀个⾼度容错性系统，被设计成适⽤于批量处理，能够提供⾼吞吐量的的数据访问。

2）分布式键值系统：分布式键值系统⽤于存储关系简单的半结构化数据。典型的分布式键值系统有 Amazon Dynamo，以及获得⼴泛应⽤和关注的对象存储技术(Object Storage)也可以视为键值系统，其存储和管理的是对象⽽不是数据块。

2 Nosql 数据库：关系数据库已经⽆法满⾜ Web2.0 的需求。主要表现为：⽆法满⾜海量数据的管理需求、⽆法满⾜数据⾼并发的需求、⾼可扩展性和⾼可⽤性的功能太低。No SQL 数据库的优势：可以⽀持超⼤规模数据存储，灵活的数据模型可以很好地⽀持 Web2.0 应⽤，具有强⼤的横向扩展能⼒等，典型的 No SQL 数据库包含以下⼏种：

3 云数据库：云数据库是基于云计算技术发展的⼀种共享基础架构的⽅法，是部署和虚拟化在云计算环境中的数据库。

『叁』 大数据来自哪里大数据会去哪里

大数据来自哪里?大数据会去哪里?
初识大数据，首先我们需要知道什么是大数据呢？用通俗一点的话来说就是一堆一堆又一堆的、海量的数据。通过网络我们知道“大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。”
在当下的互联网飞速发展的时代，任何一个技术都是为了达到某种目的而发展的，而大数据从根本上来说就是为了做决定存在的，大数据为企业的决策提供有力的依据。比如市场方针的制定，精准营销的目标群体、营销数据等等。大数据的存在不仅是为企业提供了数据支撑，而且为用户提供了更为便捷的信息和数据服务。
大数据体现的是数据的数量多，数据类型丰富。我们需要通过对数据的关系的的挖掘，才能最终将数据进行更好地利用。
谁是物联网？
物联网是什么呢？通俗的概念来讲，物联网就是通过网络信息技术和工业自动化控制技术将硬件和网络进行有效的集合并通过传感器进行对应的信息控制，以此达到对物件的自动控制的混合网络。通过网络我们知道“物联网（The Internet of things）就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。物联网通过智能感知、识别技术与普适计算、泛在网络的融合应用。”
随着工业控制、信息识别和互联网网络的发展，物联网将是下一个信息浪潮。
大数据与物联网的联系既有区别也关联。以小编的个人愚见，物联网行业如果需要有较好的发展，那么需要大数据强力的支持，而针对物联网行业的大数据，则是不断来源于物联网超级终端的数据采集。所以，物联网对大数据的要求相比于大数据对物联网的依赖更为严重。
大数据来自哪里？大数据会去哪里？
浅谈大数据的来源
大数据的来源这个问题其实很简单，大数据的来源无非就是我们通过各种数据采集器、数据库、开源的数据发布、GPS信息、网络痕迹（购物，搜索历史等）、传感器收集的、用户保存的、上传的等等结构化或者非结构化的数据。
浅谈大数据能够带给我们什么
大数据能给我们带来什么？很多公司现在都在炒大数据的概念，但是真正能做好的有几个呢？大数据重在积累、强在分析、利于运用。没有经过多年的有意的数据收集、没有经过严谨细心的数据分析。那么，如何来谈论大数据能给企业或者个人来带来便捷呢？
大数据能带给企业的项目立项的数据支撑、精准化营销、电商的仓位储备等等。但是针对个人用户有时候就是麻烦了，因为你随时都可以接收到很多的营销短信、隐私暴露太多。另外对于个人用户大数据的好处是可以快速找到自己想要东西、为用户提供信息服务、获取消费指导等等。换个角度看问题的话，小编认为应该是利大于弊。
大数据是怎么带给我们想要的支撑？
庞大的数据需要我们进行剥离、整理、归类、建模、分析等操作，通过这些动作后，我们开始建立数据分析的维度，通过对不同的维度数据进行分析，最终我们才能得到我们想到的数据和信息。
1、 项目立项前的市场数据分析为决策提供支撑；
2、 目标用户群体趋势分析为产品提供支撑和商务支撑；
3、 通过对运营数据的挖掘和分析为企业提供运营数据支撑；
4、 通过对用户行为数据进行分析，为用户提供生活信息服务数据支撑和消费指导数据支撑。
如何通过大数据挖掘潜在的价值？
模型对于大数据的含义
模型有直观模型，物理模型，思维模型，符合模型等。我们在进行数据挖掘前需要考虑我们需要用这些数据来干什么？需要建立怎么样的模型？然后根据模型与数据的关系来不断优化模型。
只有建立了正确的模型才能让数据的挖掘和分析更有便捷。

『肆』 大数据到底是啥在哪里（通俗解释）

大数据（Big
data）
是一个抽象的概念，是一个体量特别大，数据类别特别大的数据集版，并且这权样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。简单说就是，难以用常规的数据库工具获取、存储、管理、分析的数据集合。
大数据来源：人类社会的所有行为，比如交易、教育、出行、娱乐、吃住......
大数据包含的元素：文字、图片、视频、音频、生物信息、生产资料......

『伍』 大数据包括哪些

大数据技术庞大复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据内库、容数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
大数据主要技术组件：Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark 、Storm、Flink等。
大数据技术包括数据采集，数据管理，数据分析，数据可视化，数据安全等内容。数据的采集包括传感器采集，系统日志采集以及网络爬虫等。数据管理包括传统的数据库技术，nosql技术，以及对于针对大规模数据的大数据平台，例如hadoop，spark，storm等。数据分析的核心是机器学习，当然也包括深度学习和强化学习，以及自然语言处理，图与网络分析等。

『陆』 大数据时代需要什么样的存储

众多专家认为，大数据时代的存储，应当是分布式的存储，并呈现出与计算融合的趋势。当然，不同专家对融合的理解也有所区别。 SNIA-China技术委员会主席雷涛表示，在当前的大数据时代，由于数据量TB、PB级的急剧膨胀，传统的数据搬移工作已经不现实，因而存储服务器出现新的融合趋势。在这样的架构中，数据不再移动，写入以后分散在STORAGE，它的计算节点融合在数据旁边的CPU，数据越来越贴近计算。 雷涛补充说，大数据只谈商业分析的数据支持，这是小数据思维，从金融、运营商、政府行业我们做的项目里面发现，大数据是嵌入到整个行业里面，替换以前的存储和计算的系统架构的过程。 华为存储产品线Marketing部长经宁认为，大数据带来的三大变化，包括从集中式走向分布式，从水平走向纵向，从计算为中心转向以数据为中心，总结一句话，即在大数据下架构方向走向分布式存储的架构。 2013年，华为存储产品线把理念进行升级，变成“存以致用，融以致远”。经宁表示，融合架构是我们面对大数据挑战一个很好的选择。华为更多的希望把数据智能用起来产生价值，通过融合架构实现计算存储融合，可以带来更高的管理效率更高效能，大大降低我们管理上的开销。 中桥国际调研咨询公司首席分析师王丛女士则从虚拟化、云计算数据保护和融合架构三个维度谈了中国数据中心的发展变化。她表示，具有高可移动性的虚拟机用于生产，掉了链子就很难判断是哪个物理环境，这就驱动了融合架构。融合架构避免了整合的时间和网络问题判断的时间，能够实现统一集中透明管理，可以根据工作负载去实时动态配置资源，也可以实时监控哪里出了问题，怎么解决问题。 王丛还指出，融合架构有不同的形态，其中一种是在原来硬件基础上用一个软件罩上，然后形成融合架构，实现目的是可以在线扩展，所有动态可以负载均衡，在最大限度提高部署效率前提下，又能够降低因为硬件问题而导致的应用性能降低和应用的不稳定。 老牌存储厂商NetApp同样对存储架构很有体会。NetApp公司北方区及电信事业部技术总监刘炜表示，在今天把数据存起来不是很难的问题，买一个移动硬盘就可以存储数据，但是在上面存储享受的服务级别不同的，不同于放在数据中心和网络云上面的服务级别的。 为了不让数据成为整个企业发展的负担，而是成为真正的价值点，从资料变成资产，基础架构需要快速、安全地支持一些新的技术手段。刘炜认为，应用级别和服务级别怎么定义需要有很好存储架构。NetApp集群存储系统，并不是简单地迎合新概念，而是面向实际的应用设计。NetApp做了很多IT架构的设计，满足应用分级、资源分层的需求，你可以用虚拟化，也可以不用。 Fusion-io大中国区技术总监Tonny Ai与英特尔公司通信和存储基础架构事业部存储部市场总监 Christine M Rice女士谈到了SSD在大数据时代数据中心的应用。Tonny Ai表示，让包括非结构化数据的大量数据快速变成信息，不仅仅是服务器要快，存储速度也要跟上CPU的速度，闪存正是针对当前网络存储速度落后的解决方案，能够有效提高存储的性能。 同时，Tonny Ai认为，在云计算、大数据时代，集中式存储需要的管理和维护非常困难，分布式存储模型是大势所趋。在这其中，Fusion-io提供了PCIe闪存卡、全闪存阵列以及SDK工具，支持提升各种应用的性能。 Christine M Rice女士指出，SSD不只是让数据变快。她认为，通过SSD在数据中心的使用，能够帮助节约成本，降低延迟，加快访问数据的速度，同时还能够提供非常高的可靠性和管理级别，结合了DRM的使用进行软件分层管理。 戴尔亚太存储技术总监许良谋则强调了SSD的利用要在成本和性能之间的平衡，如何更好地应对大数据——闪存的成本和寿命让很多企业对它爱恨交加。许良谋认为，大数据需要一个高容量高速度的共享存储，戴尔的流动数据架构就是一个让数据平滑迁移的平台。 戴尔实现了一个新的技术突破，即快速SLC和eMLC大容量盘可以用到流动架构里面，再加上普通的大容量盘，两级固态盘优化和流动数据架构的配合，这种方案可以比普通纯闪存的方式实现75%以上的成本节约。 许良谋介绍到，戴尔一直通过收购、合作等方式，在自身产品线中不断引入新的存储技术，力图把最好的存储产品以最经济的方式提供给用户。

『柒』 大数据的数据的存储方式是什么

大数据有效存储和管理大数据的三种方式：
1. 不断加密
任何类型的数据对于任何一个企业来说都是至关重要的，而且通常被认为是私有的，并且在他们自己掌控的范围内是安全的。然而，黑客攻击经常被覆盖在业务故障中，最新的网络攻击活动在新闻报道不断充斥。因此，许多公司感到很难感到安全，尤其是当一些行业巨头经常成为攻击目标时。
随着企业为保护资产全面开展工作，加密技术成为打击网络威胁的可行途径。将所有内容转换为代码，使用加密信息，只有收件人可以解码。如果没有其他的要求，则加密保护数据传输，增强在数字传输中有效地到达正确人群的机会。
2. 仓库存储
大数据似乎难以管理，就像一个永无休止统计数据的复杂的漩涡。因此，将信息精简到单一的公司位置似乎是明智的，这是一个仓库，其中所有的数据和服务器都可以被充分地规划指定。然而，有些报告指出了反对这种方法的论据，指出即使是最大的存储中心，大数据的指数增长也不再能维持。
然而，在某些情况下，企业可能会租用一个仓库来存储大量数据，在大数据超出的情况下，这是一个临时的解决方案，而LCP属性提供了一些很好的机会。毕竟，企业不会立即被大量的数据所淹没，因此，为物理机器租用仓库至少在短期内是可行的。这是一个简单有效的解决方案，但并不是永久的成本承诺。
3. 备份服务 - 云端
当然，不可否认的是，大数据管理和存储正在迅速脱离物理机器的范畴，并迅速进入数字领域。除了所有技术的发展，大数据增长得更快，以这样的速度，世界上所有的机器和仓库都无法完全容纳它。
因此，由于云存储服务推动了数字化转型，云计算的应用越来越繁荣。数据在一个位置不再受到风险控制，并随时随地可以访问，大型云计算公司(如谷歌云)将会更多地访问基本统计信息。数据可以在这些服务上进行备份，这意味着一次网络攻击不会消除多年的业务增长和发展。最终，如果出现网络攻击，云端将以A迁移到B的方式提供独一无二的服务。

『捌』 大数据来源有哪些

大数据分析的数据来源有很多种，包括公司或者机构的内部来源和外部来源。分为以下几类：
1)交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”(ERP)系统数据、销售系统数据、客户关系管理(CRM)系统数据、公司的生产数据、库存数据、订单数据、供应链数据等。
2)移动通信数据。能够上网的智能手机等移动设备越来越普遍。移动通信设备记录的数据量和数据的立体完整度，常常优于各家互联网公司掌握的数据。移动设备上的软件能够追踪和沟通无数事件，从运用软件储存的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)等。
3)人为数据。人为数据包括电子邮件、文档、图片、音频、视频，以及通过微信、博客、推特、维基、脸书、Linkedin等社交媒体产生的数据流。这些数据大多数为非结构性数据，需要用文本分析功能进行分析。
4)机器和传感器数据。来自感应器、量表和其他设施的数据、定位/GPS系统数据等。这包括功能设备会创建或生成的数据，例如智能温度控制器、智能电表、工厂机器和连接互联网的家用电器的数据。来自新兴的物联网(Io T)的数据是机器和传感器所产生的数据的例子之一。来自物联网的数据可以用于构建分析模型，连续监测预测性行为(如当传感器值表示有问题时进行识别)，提供规定的指令(如警示技术人员在真正出问题之前检查设备)等。
5)互联网上的“开放数据”来源，如政府机构，非营利组织和企业免费提供的数据。

『玖』 大数据解决方案主要用于存储哪种类型的数据

大数据解决方案主要用于存储二进制类型的数据。

数据还包括了结构化数据和非结构化数据，邮件，Word,图片，音频信息，视频信息等各种类型数据，已经不是以往的关系型数据库可以解决的了。非结构化数据的超大规模和增长，占总数据量的80~90%，比结构化数据增长快10倍到50倍，是传统数据仓库的10倍到50倍。

大数据特点：

海量数据有不同格式，第一种是结构化，我们常见的数据，还有半结据化网页数据，还有非结构化视频音频数据。而且这些数据化他们处理方式是比较大的。数据类型繁多，如网络日志、视频、图片、地理位置信息，等等。