大数据技术演变

A. 大数据的起源是哪里

• 大数据概念最初起源于美国，是由思科、威睿、甲骨文、IBM 等公司倡议发展起来的。大约从2009年始，“大数据”成为互联网信息技术行业的流行词汇。

• 大数据是一个不断演变的概念，当前的兴起，是因为从IT技术到数据积累，都已经发生重大变化。当今世界，大数据无处不在，它影响到了我们的工作、生活和学习，并将继续施加更大的影响。

B. 大数据技术的发展趋势有哪些

大数据的发展趋势

1、算法（Algorithms）的崛起

雾计算正在迅速地获得大量动力。雾计算是指推进连接到物联网的终端设备和存储数据的云计算之间的存储、传输和计算。随着物联网的进步，雾计算势头越来越猛，因为传感器变得相当精密，它们现在可以收集大量数据。

据Gartner称，智能机器是新的现实。因此，在未来我们将看到更多的智能机器有着越来越多的精密传感器，能收集大量的数据。组织将不得不转向雾分析，以便数据易于管理，保持洞察力可用并尽可能降低成本。

C. 浅述大数据技术的发展历程与未来发展趋势

大数据技术的发展历程与未来发展趋势：

从文明之初的“结绳记事”，到文字发明后的“文以载道”，再到近现代科学的“数据建模”，数据一直伴随着人类社会的发展变迁，承载了人类基于数据和信息认识世界的努力和取得的巨大进步。

然而，直到以电子计算机为代表的现代信息技术出现后，为数据处理提供了自动的方法和手段，人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济社会发展方方面面的应用(即信息化)，推动数据(信息)成为继物质、能源之后的又一种重要战略资源。

大数据于2012、2013年达到其宣传高潮，2014年后概念体系逐渐成形，对其认知亦趋于理性。大数据相关技术、产品、应用和标准不断发展，逐渐形成了包括数据资源与API、开源平台与工具、数据基础设施、数据分析、数据应用等板块构成的大数据生态系统，并持续发展和不断完善，其发展热点呈现了从技术向应用、再向治理的逐渐迁移。

经过多年来的发展和沉淀，人们对大数据已经形成基本共识是大数据现象源于互联网及其延伸所带来的无处不在的信息技术应用以及信息技术的不断低成本化。大数据泛指无法在可容忍的时间内用传统信息技术和软硬件工具对其进行获取、管理和处理的巨量数据集合，具有海量性、多样性、时效性及可变性等特征，需要可伸缩的计算体系结构以支持其存储、处理和分析。

D. 5、伴随着计算机技术的发展,“数据”是如何演变的

数据分析1.0 → 商业智能需求

这是数据仓库的兴起时期，客户（业务）和生产过程（交易）被集中到巨大的存储库中，如eCDW（企业整合数据仓库）。在对商业现象的客观理解方面取得了真正的进展， 从而让管理者在做出决策时能够基于对事实的理解，而不是仅凭直觉。

这个阶段中数据通过ETL和BI工具收集、转换和查询。分析类型主要分为描述性（发生了什么）和诊断性（为什么会发生）。

然而，这个阶段的局限在于数据仅在公司企业内部使用，即商业智能活动只能处理过去发生的事情，而不能对未来趋势进行预测。

数据分析 2.0 →大数据

随着各大企业都纷纷走出舒适区，试图用更广泛的方法进行更复杂的分析时，前一阶段的数据分析局限性变得更加突出。

企业都开始通过外部资源获取信息，比如点击流、社交媒体、互联网等，与此同时对新工具的需求也越发明显。不可避免地，“大数据”一词出现了，为了区分那些纯粹来自公司内部系统的小数据。

在这个阶段，公司希望员工能够通过快速处理引擎帮助处理大量数据。他们没预想到的是，因此应运而生的新兴的群体，即如今所称的“开源社区”将产生巨大的影响力，这也是数据分析 2.0时代的标志。

在社区前所未有的支持下，大数据工程师，Hadoop管理员等角色在就业领域发展壮大，并且对每个IT企业都至关重要。科技公司急于开发新的框架，这些框架不仅能够收集、转化处理大数据，而且还能在集成预测性分析。而且，进一步通过描述性和诊断分析的结果检测趋势、聚类和异常，并预测未来趋势，这也使其成为重要的预测工具。

在今天的技术生态系统中，我个人认为“大数据”这个术语已经被大量使用，甚至滥用。从技术上讲，如今“大数据”指的是所有数据，或者只是指数据。

数据分析 3.0→ 功能强大的数据产品

开创性的大数据公司开始投资数据分析，从而支持面向客户的产品，服务和功能。它们通过更好的搜索算法、购买建议以及针对性广告吸引用户访问其网站，所有这些都是由数据分析所驱动的。大数据现象迅速蔓延，如今不仅是科技公司在通过数据分析开发产品和服务，几乎每个行业的公司都是如此。

另一方面，大数据技术的普及带来了好坏参半的影响。在科技巨头收获大量利润取得成功的同时，大多数企业和非科技公司却因为忽略数据而失败惨重。因此，数据科学领域应运而生，旨在使用科学方法、探索过程、算法等从各种形式的数据中获得知识和分析见解。

实际上，数据科学领域是跨学科的，它被定义为“结合统计、数据分析、机器学习等相关方法的概念”，从而用数据“理解和分析实际现象”。换句话说，良好的数据加上出色的训练模型能够产生更好的预测结果。新一代的量化分析师被称为数据科学家，他们拥有计算和数据分析技能。

科技行业在数据科学的帮助下迅速发展，并充分利用预测性和规范性对未来趋势进行预测。企业间也开启了数据分析的竞争，公司不仅通过改善内部决策等传统方式，而且还在不断开发更有价值的产品和服务。这是数据分析 3.0时期的精髓。

如今数据分析产生了巨大转变。公司正以超乎想象的速度发展，在内部设立更多的研发部门，比如数据科学家、数据工程师、解决方案架构师、首席分析师等人员构成的数据分析团队。

数据分析 4.0 → 自动化功能

主要有四种分析类型：描述，阐述过去; 诊断，利用过去的数据研究现在; 预测，通过基于过去数据的见解来预测未来; 规范，通过模型指导最佳行为。

虽然数据分析3.0包含了上述所有类型，但它强调的是最后一种，并且引入了小规模自动化分析的概念。

通过机器学习创建更多模型，从而让预测变得更加细化和精确。但是，部署这类定制模型的成本和时间是十分昂贵的。最终，通过智能系统实现自动化的数据分析4.0时代到来了。

毫无疑问，人工智能、机器学习、深度学习将带来深刻的影响。机器翻译、智能回复、聊天机器人、会议助理等功能将在未来几年内得到广泛应用。数据挖掘技术、机器学习算法都已取得了大量成果，自动化分析将成为数据分析的新阶段。

数据分析 5.0 → 接下来会是什么

我们可以将自动化理解为，人与智能机器的强强联合，从而实现更好的成果。

与其思考“人类的哪些工作将被机器取代？”我宁愿乐观地考虑，在机器的帮助下，企业能取得哪些新成就？我们该如何在灾难易发地区，通过人工智能程序减少伤亡人数；或者如何在贫困地区建立人工智能驱动的电子学校等。

总而言之，我对数据分析的发展充满自信，关键在于我们能否积极地接受和应对其带来的影响

E. 大数据的起源

大数据概念最初起源于美国。

是由思科、威睿、甲骨文、IBM等公司倡议发展起来的。大约从2009年始，大数据成为互联网信息技术行业的流行词汇。大数据是一个不断演变的概念，当前的兴起，是因为从IT技术到数据积累，都已经发生重大变化。当今世界，大数据无处不在，它影响到了我们的工作、生活和学习，并将继续施加更大的影响。

趋势

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。

F. 大数据未来的发展趋势

趋势一：数据的资源化

什么是数据的资源化，它指的是大数据成为企业和社会关版注的重要战略资权源，并且已经成为大家争夺的焦点。因此，企业必须要提前制定大数据营销战略计划，抢占市场先机。

趋势二：与云计算的深度结合

大数据离不开云处理，云处理能够为大数据提供弹性可拓展的基础设备，是产生大数据的平台之一。自从2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。

另外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

趋势三：数据科学和数据联盟的成立

未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。

与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。

关于大数据未来的发展趋势的内容，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

G. 大数据时代发展历程是什么

可按照时间点划分大数据的发展历程。

H. 中国大数据六大技术变迁记

中国大数据六大技术变迁记_数据分析师考试

集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成， 历届的中国大数据技术大会（BDTC） 已发展成为国内事实上的行业顶尖技术盛会。从2008年的60人Hadoop沙龙到当下的数千人技术盛宴，作为业内极具实战价值的专业交流平台，每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点，沉淀了行业实战经验，见证了整个大数据生态圈技术的发展与演变。
2014年12月12-14日，由中国计算机学会（CCF）主办，CCF大数据专家委员会协办，中科院计算所与CSDN共同承办的 2014中国大数据技术大会(Big Data Technology Conference 2014，BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天，以推进行业应用中的大数据技术发展为主旨，拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办，CCF大数据专家委员会承办，南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开，并与技术大会共享主题报告。
本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者，深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展，NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势，OpenStack生态系统对于大数据计算需求的思考，以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用，分享实际生产系统中的技术特色和实践经验。

大会召开前期，特别梳理了历届大会亮点以记录中国大数据技术领域发展历程，并立足当下生态圈现状对即将召开的BDTC 2014进行展望：
追本溯源，悉大数据六大技术变迁
伴随着大数据技术大会的发展，我们亲历了中国大数据技术与应用时代的到来，也见证了整个大数据生态圈技术的发展与衍变：
1. 计算资源的分布化——从网格计算到云计算。 回顾历届BDTC大会，我们不难发现，自2009年，资源的组织和调度方式已逐渐从跨域分布的网格计算向本地分布的云计算转变。而时至今日，云计算已成为大数据资源保障的不二平台。
2. 数据存储变更——HDFS、NoSQL应运而生。 随着数据格式越来越多样化，传统关系型存储已然无法满足新时代的应用程序需求，HDFS、NoSQL等新技术应运而生，并成为当下许多大型应用架构不可或缺的一环，也带动了定制计算机/服务器的发展，同时也成为大数据生态圈中最热门的技术之一。
3. 计算模式改变——Hadoop计算框成主流。 为了更好和更廉价地支撑其搜索服务，Google创建了Map/Rece和GFS。而在Google论文的启发下，原雅虎工程师Doug Cutting开创了与高性能计算模式迥异的，计算向数据靠拢的Hadoop软件生态系统。Hadoop天生高贵，时至今日已成为Apache基金会最“Hot”的开源项目，更被公认为大数据处理的事实标准。Hadoop以低廉的成本在分布式环境下提供了海量数据的处理能力。因此，Hadoop技术研讨与实践分享也一直是历届中国大数据技术大会最亮眼的特色之一。
4. 流计算技术引入——满足应用的低延迟数据处理需求。 随着业务需求扩展，大数据逐渐走出离线批处理的范畴，Storm、Kafka等将实时性、扩展性、容错性和灵活性发挥得淋漓尽致的流处理框架，使得旧有消息中间件技术得以重生。成为历届BDTC上一道亮丽的风景线。
5. 内存计算初露端倪——新贵Spark敢与老将叫板。 Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，从多迭代批量处理出发，兼容并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。在短短4年，Spark已发展为Apache软件基金会的顶级项目，拥有30个Committers，其用户更包括IBM、Amazon、Yahoo!、Sohu、网络、阿里、腾讯等多家知名公司，还包括了Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。毫无疑问，Spark已站稳脚跟。
6. 关系数据库技术进化—NewSQL改写数据库历史。 关系数据库系统的研发并没有停下脚步，在横向扩展、高可用和高性能方面也在不断进步。实际应用对面向联机分析处理（OLAP）的MPP（Massively Parallel Processing）数据库的需求最迫切，包括MPP数据库学习和采用大数据领域的新技术，如多副本技术、列存储技术等。而面向联机事务处理（OLTP）的数据库则向着高性能演进，其目标是高吞吐率、低延迟，技术发展趋势包括全内存化、无锁化等。
立足扬帆，看2014大数据生态圈发展
时光荏苒，转眼间第2014中国大数据技术大会将如期举行。在技术日新月异的当下，2014年的BDTC上又可以洞察些什么？这里我们不妨着眼当下技术发展趋势：
1. MapRece已成颓势，YARN/Tez是否可以再创辉煌？ 对于Hadoop来说，2014是欢欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等众多巨头都加大了Hadoop方面的投入。然而对于众多机构来说，这一年却并不轻松：基于MapRece的实时性短板以及机构对更通用大数据处理平台的需求，Hadoop 2.0转型已势在必行。那么，在转型中，机构究竟会遭遇什么样的挑战？各个机构如何才能更好地利用YARN所带来的新特性？Hadoop未来的发展又会有什么重大变化？为此，BDTC 2014特邀请了Apache Hadoop committer，Apache Hadoop Project Management Committee（PMC）成员Uma Maheswara Rao G，Apache Hadoop committer Yi Liu，Bikas Saha（PMC member of the Apache Hadoop and Tez）等国际顶尖Hadoop专家，我们不妨当面探讨。
2. 时过境迁，Storm、Kafka等流计算框架前途未卜。 如果说MapRece的缓慢给众多流计算框架带来了可乘之机，那么当Hadoop生态圈组件越发成熟，Spark更加易用，迎接这些流计算框架的又是什么？这里我们不妨根据BDTC 2014近百场的实践分享进行一个侧面的了解，亦或是与专家们当面交流。
3. Spark，是颠覆还是补充？ 与Hadoop生态圈的兼容，让Spark的发展日新月异。然而根据近日Sort Benchmark公布的排序结果，在海量（100TB）离线数据排序上，对比上届冠军Hadoop，Spark以不到十分之一的机器，只使用三分之一的时间就完成了同样数据量的排序。毫无疑问，当下Spark已不止步于实时计算，目标直指通用大数据处理平台，而终止Shark，开启Spark SQL或许已经初见端倪。那么，当Spark愈加成熟，更加原生的支持离线计算后，开源大数据标准处理平台这个荣誉又将花落谁家？这里我们一起期待。
4. 基础设施层，用什么来提升我们的网络？ 时至今日，网络已成为众多大数据处理平台的攻坚对象。比如，为了克服网络瓶颈，Spark使用新的基于Netty的网络模块取代了原有的NIO网络模块，从而提高了对网络带宽的利用。那么，在基础设施层我们又该如何克服网络这个瓶颈？直接使用更高效的网络设备，比如Infiniband能够带来多少性能提升？建立一个更智能网络，通过计算的每个阶段，自适应来调整拆分/合并阶段中的数据传输要求，不仅提高了速度，也提高了利用率。在BDTC 2014上，我们可以从Infiniband/RDMA技术及应用演讲，以及数场SDN实战上吸取宝贵的经验。
5. 数据挖掘的灵魂——机器学习。 近年来，机器学习领域的人才抢夺已进入白热化，类似Google、IBM、微软、网络、阿里、腾讯对机器学习领域的投入也是愈来愈高，囊括了芯片设计、系统结构（异构计算）、软件系统、模型算法和深度应用各个方面。大数据标志一个新时代的到来，PB数据让人们坐拥金山，然而缺少了智能算法，机器学习这个灵魂，价值的提取无疑变得镜花水月。而在本届会议上，我们同样为大家准备了数场机器学习相关分享，静候诸位参与。
而在技术分享之外，2014年第二届CCF大数据学术会议也将同时召开，并与技术大会共享主题报告。届时，我们同样可以斩获许多来自学术领域的最新科研成果。

以上是小编为大家分享的关于中国大数据六大技术变迁记的相关内容，更多信息可以关注环球青藤分享更多干货