大数据磁带

『壹』 大数据是谁发明的

大数据是马晓东研发的，马晓东，苏州国云数据科技有限公司创始人兼CEO、波士顿咨询全球高级顾问、1986年出生于宁夏固原，中国科技大学计算机硕士。大数据领军人物，“大数据魔镜”发明人，拥有大数据发明专利二十余项，贵州、江苏、内蒙古多地政府大数据顾问专家。现担任北京信息化协会副理事长，国民经济大数据实验室副理事长，联合国教科文组织高等教育创新中心数字化人才研究院副院长，原阿里巴巴淘宝数据优化器负责人。

大数据的形成

大数据，首先是数据。数据是指计算机可以处理的电子化和数字化记录与测量，将信息加工成电子化和数字化记录与测度这一过程离不开信息技术的发展与应用，正是因为信息技术的飞速发展与广泛应用，才让大数据应运而生。

在计算机和通信技术出现之前，信息主要以模拟数据的形式进行记录与交互。如报章、书籍、影像和照片、图书馆、档案室、书柜、磁带。信息的计量单位一般采用媒介的计量单位，如藏书多少册、档案多少袋、记录多少本、影像多少卷、照片多少张等等。信息获取不便利、信息交流不通畅、信息量相对较少是这一时期的典型特征。

『贰』 大数据存储与应用特点及技术路线分析

大数据存储与应用特点及技术路线分析

大数据时代，数据呈爆炸式增长。从存储服务的发展趋势来看，一方面，对数据的存储量的需求越来越大；另一方面，对数据的有效管理提出了更高的要求。大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求，需要充分考虑功能集成度、数据安全性、数据稳定性，系统可扩展性、性能及成本各方面因素。

大数据存储与应用的特点分析

“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的智力资源和知识服务能力。其常见特点可以概括为3V:Volume、Velocity、Variety(规模大、速度快、多样性)。

大数据具有数据规模大(Volume)且增长速度快的特性，其数据规模已经从PB级别增长到EB级别，并且仍在不断地根据实际应用的需求和企业的再发展继续扩容，飞速向着ZB(ZETA-BYTE)的规模进军。以国内最大的电子商务企业淘宝为例，根据淘宝网的数据显示，至2011年底，淘宝网最高单日独立用户访问量超过1.2亿人，比2010年同期增长120%,注册用户数量超过4亿，在线商品数量达到8亿，页面浏览量达到20亿规模，淘宝网每天产生4亿条产品信息，每天活跃数据量已经超过50TB.所以大数据的存储或者处理系统不仅能够满足当前数据规模需求，更需要有很强的可扩展性以满足快速增长的需求。

(1)大数据的存储及处理不仅在于规模之大，更加要求其传输及处理的响应速度快(Velocity)。

相对于以往较小规模的数据处理，在数据中心处理大规模数据时，需要服务集群有很高的吞吐量才能够让巨量的数据在应用开发人员“可接受”的时间内完成任务。这不仅是对于各种应用层面的计算性能要求，更加是对大数据存储管理系统的读写吞吐量的要求。例如个人用户在网站选购自己感兴趣的货物，网站则根据用户的购买或者浏览网页行为实时进行相关广告的推荐，这需要应用的实时反馈;又例如电子商务网站的数据分析师根据购物者在当季搜索较为热门的关键词，为商家提供推荐的货物关键字，面对每日上亿的访问记录要求机器学习算法在几天内给出较为准确的推荐，否则就丢失了其失效性；更或者是出租车行驶在城市的道路上，通过GPS反馈的信息及监控设备实时路况信息，大数据处理系统需要不断地给出较为便捷路径的选择。这些都要求大数据的应用层可以最快的速度，最高的带宽从存储介质中获得相关海量的数据。另外一方面，海量数据存储管理系统与传统的数据库管理系统，或者基于磁带的备份系统之间也在发生数据交换，虽然这种交换实时性不高可以离线完成，但是由于数据规模的庞大，较低的数据传输带宽也会降低数据传输的效率，而造成数据迁移瓶颈。因此大数据的存储与处理的速度或是带宽是其性能上的重要指标。

(2)大数据由于其来源的不同，具有数据多样性的特点。

所谓多样性，一是指数据结构化程度，二是指存储格式，三是存储介质多样性。对于传统的数据库，其存储的数据都是结构化数据，格式规整，相反大数据来源于日志、历史数据、用户行为记录等等，有的是结构化数据，而更多的是半结构化或者非结构化数据，这也正是传统数据库存储技术无法适应大数据存储的重要原因之一。所谓存储格式，也正是由于其数据来源不同，应用算法繁多，数据结构化程度不同，其格式也多种多样。例如有的是以文本文件格式存储，有的则是网页文件，有的是一些被序列化后的比特流文件等等。所谓存储介质多样性是指硬件的兼容，大数据应用需要满足不同的响应速度需求，因此其数据管理提倡分层管理机制，例如较为实时或者流数据的响应可以直接从内存或者Flash(SSD)中存取，而离线的批处理可以建立在带有多块磁盘的存储服务器上，有的可以存放在传统的SAN或者NAS网络存储设备上，而备份数据甚至可以存放在磁带机上。因而大数据的存储或者处理系统必须对多种数据及软硬件平台有较好的兼容性来适应各种应用算法或者数据提取转换与加载(ETL)。

大数据存储技术路线最典型的共有三种：

第一种是采用MPP架构的新型数据库集群，重点面向行业大数据，采用Shared Nothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本 PC Server，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。

这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析，目前最佳选择是MPP数据库。

第二种是基于Hadoop的技术扩展和封装，围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，例如针对非结构化数据的存储和计算等，充分利用Hadoop开源的优势，伴随相关技术的不断进步，其应用场景也将逐步扩大，目前最为典型的应用场景就是通过扩展和封装 Hadoop来实现对互联网大数据存储、分析的支撑。这里面有几十种NoSQL技术，也在进一步的细分。对于非结构、半结构化数据处理、复杂的ETL流程、复杂的数据挖掘和计算模型，Hadoop平台更擅长。

第三种是大数据一体机，这是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成，高性能大数据一体机具有良好的稳定性和纵向扩展性。

以上是小编为大家分享的关于大数据存储与应用特点及技术路线分析的相关内容，更多信息可以关注环球青藤分享更多干货

『叁』 大数据归档应是企业的关键任务之一

大数据归档应是企业的关键任务之一
大数据有其历史的一面：个人需要查找整个企业的旧数据来确定相关的发展趋势，或更充分的了解目前的业务问题。长期来看，这有助于相关不好的因素可以缓解。

在这样的背景下，历史数据也需要能够立即访问，而无需IT部门进行大规模的数据恢复。从战略上讲，这意味着网站应进行相应的规划准备，方便用户访问有关的历史数据信息（而无需IT部门的调解），并实时获得新创建的数据信息。
IT部门从未以更加“关键任务”的态度来处理历史数据。多年来，用于数据归档的方法一直是采用的一个面向数据的保存管理和以备份为目的。备份采用的是速度较慢（而且造价更便宜的）磁盘，或甚至是磁带系统。有时这些数据需要一定的监管，但如何监管呢。在数据恢复的过程中，IT部门也发现存储这些数据的某些磁带会降级到数据不可读的地步。
正是以这种“备份”的心态进行的大数据归档，潜在的限制了企业现在所收集和挖掘的大数据的端到端的价值。
如下便是两个很好的案例：
某金融服务公司的营销团队发现，一个特定细分人群的购买模式正在发生变化，他们想知道为什么。尽管他们能够通过几近实时的执行大数据和标准数据分析很清楚地看到新的变化，但该营销团队真正想明白的是驱动这些变化的原因，以及这些因素是从何时开始影响这一特定细分人群的购买模式的。如果该营销团队可以找到这些因素，他们才能够及时的顺应消费者的变化趋势，以便提供相关符合客户新的购买模式的产品给专业买家。
某区域的一家大型医院发现，在某一特定地理区域患大肠癌的病人的几率水平高于其他地区。医院要看看可能与环境有关的致病因素，或者该地区的其他特征。所以他们需要快速访问该地区过去十年的历史研究数据。
在解释致病因素这样的案例中，需要能够方便和灵活的访问大数据，而这些大数据可能基于历史上每一天所收集的数据信息。这是潜在的非常关键的任务，但如果是仅仅着眼于灾难恢复和备份较大的数据，而不是多用途的归档，也可能失去这些历史数据信息。
所以IT部门需要采取哪些相关步骤，以确保其庞大的数据存储策略是足以满足业务信息访问的全方位的需求呢？
以更广阔的视野来处理大数据相关的关键任务工作。大数据分析能够在瞬间充分满足“需要知道”的需求，但同时对于历史数据的研究也是非常重要的，取决于对数据的即时访问。
用企业的终端业务来审查数据归档策略。如果您的企业是从一个存储层自动存储大数据，在经过30天或60天后再将不使用的数据信息存储到更便宜的磁盘系统？或者你的企业有别的不同方案。无论你企业的大数据归档政策是怎样的，这一归档政策都应该让企业的终端业务决策者每年进行审查。
确保旧的存储介质的质量。尤其是磁带可能会变坏监控归档区的湿度和温度是非常重要的，同样重要的是定期检查磁带降解的可能性，以便您可以在相关存储的数据变得不可读之前，及时的进行处理。

『肆』 互联网大数据，需要什么样的冷数据存储

互联网大数据，冷数据存储占到总数据的80%左右。而这些冷数据同样重要，许多大数据分析都要基于冷数据来进行，而且许多数据要求保存的时间非常长，例如银行、社保等数据，一般都要保存70~100年的时间。传统的观点认为“硬盘存储不论使用和闲置，都会消耗能量”，因此多采用磁带或者光盘来保存冷存储数据。但是，磁带访问慢，光盘容量小，操作复杂，很难满足大数据时代数据实时在线、快速访问的需求。而实际上，随着叠瓦式磁记录等硬盘技术的发展，硬盘容量原来越大，能耗越来越低，为此，瑞驰信息技术研发了一套基于硬盘的大数据智能冷存储系统.