新摩尔定律大数据

㈠ 大数据云计算能否把握事物的本质和规律

当然可以，数据驱动已经是被公认的继实验观测、演绎推理、计算模拟之后的人类认知世界的第四范式，通过大数据和云计算，我们可以发现很多以前未知的知识，更好认知世界，甚至预测未来。云计算革命把人类文明推向更高的层次，人类将进入一个真正理性的新科学时代，人们对精神世界的研究也将逻辑化、工具化。

大数据：就是数据量非常大，需要用云计算来处理。新摩尔定律：人类自有史以来累积的数据总量，每过18个月，就会翻一番云存储：用云计算的方法来构建分布式存储系统，通过网络对外提供存储服务，如HDFS、cStor等，云数据库：用云计算的方法来构建分布式数据库，通过网络对外提供数据管理服务，如HBase、数据立方等。

本书介绍了基于云计算的大数据处理技术，重点介绍了一款高效的、实时分析处理海量数据的强有力工具数据立方。全书通过对当前主流的大数据处理系统进行深入剖析，阐述了数据立方产生的背景，介绍了数据立方的整体架构以及安装和详细开发流程，并给出了4个完整的数据立方综合应用实例。

㈡ 大数据时代 大学哪些专业涉及大数据技术与应用

大数据时代 大学哪些专业涉及大数据技术与应用

早在1980年，未来学家阿尔文？托夫勒在 《第三次浪潮》一书中，就将大数据誉为“第三次浪潮的华彩乐章”。现在的大数据更是站在互联网的风口浪尖上，是公众津津乐道的热门词汇。同时这股热潮也催热了大学里的大数据专业。

到底什么是大数据？本科专业中哪个专业是和它相对应的？一般开设在哪些院系？对外经济贸易大学信息学院副院长华迎教授详解这个大家关注的热门专业。

一、专业解析

什么是大数据？

进入互联网时代，中国的网民人数已超7亿，大数据的应用涉及到生活的方方面面。例如，你在网站上买书，商家就会根据你的喜好和其他购书者的评价给你推荐另外的书籍；手机定位数据和交通数据可以帮助城市规划；甚至用户的搜索习惯和股市都有很大关系。

在谈到大数据的时候，人们往往知道的就是数据很大，但大数据≠大的数据。对外经济贸易大学信息学院副院长华迎教授介绍：“现在的大数据包括来自于多种渠道的多类数据，其中主要来源网络数据。数据分析不是新的，一直都有，但是为什么叫大数据呢？主要是因为网络数据的格式、体量、价值，都超出了传统数据的规模。对这些海量信息的采集、存储、分析、整合、控制而得到的数据就是大数据。大数据技术的意义不在于掌握庞大的数据信息，而在于对这些数据进行专业化处理，通过‘加工’实现数据的‘增值’，更好地辅助决策。”

数据科学与大数据技术专业

本科专业中和大数据相对应的是“数据科学与大数据技术”专业，它是2015年教育部公布的新增专业。2016年3月公布的《高校本科专业备案和审批结果》中，北京大学、对外经济贸易大学和中南大学3所高校首批获批开设“数据科学与大数据技术”专业。随后第二年又有32所高校获批“数据科学与大数据技术”专业。两次获批的名单中显示，该专业学制为四年，大部分为工学。

“数据科学与大数据技术是个交叉性很强的专业，很难说完全归属于哪个独立的学科。所以，不同的学校有的是信息学院申报，有的.是计算机学院牵头申报，有的设在统计学院，还有的在经管学院。像北京大学这个专业是放在理学下，授予理学学位。大多数是设在工学计算机门类下，授予的是工学学位。”华迎教授说：“数据科学很早就存在，是个比较经典的学科，现在和大数据技术结合形成了这个专业。目前教育部设定的本科专业名称为‘数据科学与大数据技术’，专科名称是‘大数据技术与应用’。”

数据科学与大数据技术学什么？

以对外经济贸易大学该专业为例，专业知识结构包括数学、统计、计算机和大数据分析四大模块，具体课程设置如下：

数学：数学分析一、数学分析二、高等代数、离散数学。统计学：概率论与数理统计、多元统计分析、随机过程。计算机：数据结构、计算机组成原理、操作系统、数据库系统原理、C++程序设计、Java程序设计、Python与大数据分析、科学计算与Matlab应用、R语言等。大数据分析：数据科学导论、机器学习与数据挖掘、信息检索与数据处理、自然语言处理、智能计算、推荐系统原理、大数据分析技术基础、数据可视化、大数据存储与管理、大数据分析实践等课程。

华迎教授介绍：“数据科学与大数据技术是一门实践性很强的新兴交叉复合型学科，无论是开设在哪个学院下，数学、统计学、计算机三大块课程是必须得有。各高校在这几门背景学科的基础上，交叉融合其他的专业知识技能。如我校在数学、统计学、计算机知识体系模块中又增加了体现学校特色的财经类行业应用和外语模块，以提升学生的行业应用能力和国际化水平。根据各校偏重的专业方向，课程设置有所差异，感兴趣的同学可以具体查看各校的专业和课程设置情况。”

二、专业与就业

行业增速快 人才缺口180万

随着移动互联网和智能终端的普及，信息技术与经济社会的交汇融合，引发了数据迅猛增长。新摩尔定律认为，人类有史以来的数据总量，每过18个月就会翻一番。而海量的数据蕴含着巨大生产力和商机。

2011年至2014年四年间，我国大数据处于起步阶段，每年均增长在20%以上。2015年，大数据市场规模已达到98.9亿元。2016年增速达到45%，超过160亿元。预计2020年，我国大数据市场规模将超过8000亿元，有望成世界第一数据资源大国。但数据开放度低、技术薄弱、人才缺失、行业应用不深入等都是产业发展中亟待解决的问题。

根据领英发布《2016年中国最热职位人才报告》显示，有六类热门职位的人才当前都处于供不应求状态，稀缺程度各有不同，其中，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。

中国商业联合会数据分析专业委员会资料显示，未来3至5年，中国需要180万数据人才，但截至目前，中国大数据从业人员只有约30万人。同时，大数据行业选才的标准也在不断变化。初期，大数据人才的需求主要集中在ETL研发、系统架构开发、数据仓库研究等偏硬件领域，以IT、计算机背景的人才居多。随着大数据往各垂直领域延伸发展，对统计学、数学专业的人才，数据分析、数据挖掘、人工智能等偏软件领域的需求加大。

大数据主要就业方向

2015年9月国务院印发《促进大数据发展行动纲要》，系统部署大数据发展工作。《纲要》明确提出了七方面政策机制，其中第六条就是加强专业人才培养，建立健全多层次、多类型的大数据人才培养体系。目前，大数据主要有三大就业方向：大数据系统研发类、大数据应用开发类和大数据分析类。具体岗位如：大数据分析师、大数据工程师等。

“大数据分析师是用适当的统计分析方法对收集来的大量数据进行分析，强调的是数据的应用，侧重于统计层面内容会多一些。比如做产品经理，可以通过数据建立金融模型，来推出一些理财产品。而大数据工程师则侧重于技术，主要是围绕大数据平台系统级的研发，偏开发层面。”华迎教授介绍：“我们把大数据分析在业务中使用的流程总结起来，分为以下几个步骤：数据获取和预处理、数据存储管理、数据分析建模、数据可视化。在这个应用流程中，毕业生可以根据自己的兴趣和特长，在不同的环节选择就业。”

三、报考指南

院校开设情况

教育部关于公布2015年度普通高等学校本科专业备案和审批结果的通知教育部关于公布2016年度普通高等学校本科专业备案和审批结果的通知在“教育部2015年度普通高等学校本科专业备案和审批结果”中北京大学、中南大学、对外经贸大学成为首批开设 “数据科学与大数据技术”本科专业的高校，随后中国人民大学、北京邮电大学、复旦大学等32所高校成为第二批成功申请该专业的高校。目前，我国已有35所高校获批“数据科学与大数据技术”本科专业，第三批申请结果也即将公布。

数据科学与大数据技术是个交叉性强、跨学科的专业，很难说是完全归属与那个独立的学科。高校牵头申报的学院不同，培养重点和授予的学位可能不一样。因为课程来自于不同的学院，也有高校是联合一些学院单独成立机构来申报。从名单可以看出，在大部分开设院校中该专业都属于工学类，有个别院校将其归属在理学门类，授予理学学位。

有志于学习数据科学与大数据技术专业的学生，可以从大学的传统优势领域和行业背景考虑选择。比如，复旦大学的大数据技术本科专业是设在大数据学院下；北京大学是在数学院开设了该专业，偏数学的内容更多一些。对外经济贸易大学该专业设在信息学院，因为财经是学校传统优势，专业还会偏重经济、金融等相关学科领域的知识。

录取分数不低

从2017年数据科学与大数据技术专业的录取情况看，该专业的录取分数还是比较高的。以对外经济贸易大学和重庆理工大学为例，2017年对外经贸大学数据科学与大数据技术专业在京理科一批录取最高分653分，最低分646分，平均分650分，平均分高出北京一本批次线113分。

重庆理工大学理学院院长李波介绍，学校理学院有金融数学、数学与应用数学、信息与计算科学、应用统计学、应用物理学、新能源科学与工程专业，数据科学与大数据技术是2017年获批后开设的。尽管该专业属于本科二批招生，但首批数据科学与大数据技术专业所招73名学生的平均分超一本线20分左右，并且第一志愿录取率达百分之百。

只招理科生 注意大类招生

考生报考时要注意，目前获批开设的院校并非在所有省都有招生计划，还有的高校是按大类招生。如北京邮电大学该专业2017年本科就是按计算机大类招生。随着各省高考改革的实施，越来越多的省份加入新高考的序列，未来会有更多的高校施行按大类招生。

值得注意的是，数据科学与大数据技术只招理科生，但女生的比例并不低。据华迎教授介绍：“第一年招生时，我们以为这纯工科专业绝大部分都会是男生报考，录取后发现女生还是很多的，女生比例大概占了这个专业总人数的一半儿。” 重庆理工大学2017年的首批73名学生中，男生45人，女生28人，女生比例占总人数38%。

㈢ 为什么说“大数据带给我们的是一种意义更为深远的摩尔定律”

大数据带给我们的是一种意义更为深远的摩尔定律，意思就是说大数据就像工业革命的摩尔定律一样，会对我们的经济生活方方面面产生重大的影响。

㈣ 什么是 摩尔定律 主要内容是什么

在计算机领域有一个人所共知的“摩尔定律”，它是英特尔公司创始人之一戈登•摩尔（Gordon Moore）于1965年在总结存储器芯片的增长规律时（据说当时在准备一个讲演），发现“微芯片上集成的晶体管数目每12个月翻一番”。当然这种表述没有经过什么论证，只是一种现象的归纳。但是后来的发展却很好地验证了这一说法，使其享有了“定律”的荣誉。后来表述为“集成电路的集成度每18个月翻一番”，或者说“三年翻两番”。这些表述并不完全一致，但是它表明半导体技术是按一个较高的指数规律发展的。 就在摩尔定律提出3年后，英特尔公司诞生了。从它1971年推出第一片微处理器Intel 4004至今，微处理器使用的晶体管数量的增长情况基本上符合摩尔定律。有人认为英特尔刻意要求公司的技术发展符合摩尔定律。2002年11月美国《财富》杂志采访摩尔先生时，年已古稀的摩尔先生说：“开始时公司并没有把摩尔定律作为一个驱动力来看待，说老实话，我是直到10～15年前才能够启齿用摩尔定律来称呼它的。开始我们只是试图用我们认为合适的方法来推动存储器芯片电路技术的发展……起初我们仅仅是想尽快推进技术的发展，但后来发现，发展几乎总是沿着同一条曲线前进。要说我们真正地刻意按照定律推动技术朝此方向发展那是从最近几代技术才开始的。”这表明芯片工业一开始就比较准确地遵循着这条定律的轨迹发展着。只是后来英特尔才把它写进了公司的发展计划，这也比较符合在特定阶段的发展实际。 今天，我们手头使用的电脑有几台没有“Intel”的标记呢？可以说，英特尔的微处理器（即我们常说的CPU）引导了计算机工业的发展，同时也代表了计算机工业的发展轨迹。一系列与电脑相关的产业，甚至软件也都按摩尔定律的指数规律发展。根据新摩尔定律，互联网用户每9个月增加一倍，同时信息流量与带宽也增加一倍。实际上，在产业竞争的驱动下，不按这样的速度研发新的产品，企业就有被淘汰的危险。 目前，大规模芯片生产已达到0.25微米工艺。微电子工业发展每下一步的线宽大约是前一步的0.7倍，因而0.25微米的下一步是0.18微米，其后是0.13微米、0.09微米、0.06微米。如果芯片生产仍然能以3年翻一番的速度发展，那么在十几年之后，就必然会面临硅芯片技术0.05微米的物理极限。摩尔定律是否已经遭遇到挑战了呢？其实不然，从发展的角度来说，即使硅芯片技术达到了极限，人们还会发明其他的替代技术，如人们热心的量子计算机、生物计算机等；即使英特尔公司走到了终点，还会有其他的公司接上来。这就是技术经济时代新技术发展的基本规律。换个角度说，微处理器的发展历程实际上只是技术科学发展的一个缩影。就拿我们身边的汽车工业来说，其更新换代的速度也是令人眼花缭乱的。如果说半导体工业的“摩尔增速”已令人惊奇不已，那么接下来可能会带给我们更大惊奇的是生物技术的增速发展，我们做好心理准备了吗？ 在微芯片方面有一个显著的特点，即它的技术指标非常容易量化。无论是芯片上晶体管的数量还是芯片的运算速度等指标，都直接反映出计算机领域的发展速度。在其他产业中并不是都有这样清晰量化的指标，但是在先进技术竞争的环境下，一般高新技术产业的技术水平按指数规律发展却是一个不争的事实。

㈤ 大数据摩尔定律是什么

在测量和测试计算机应用程序时，科学家和工程师每天都会收集大量的数据。例如，世界上最大的被称为大型强子对撞机的粒子持有者对撞机每秒产生大约40太字节的数据。波音公司的喷气发动机每三十分钟就会产生大约十兆兆字节的数据。当一架Jumbo喷气式飞机跨大西洋航行时，喷气式飞机上的四台发动机可产生大约640太字节的数据。如果将这种数据乘以每天平均2500次的航班，每天产生的数据量是惊人的;这就是所谓的大数据。

欢迎关注大数据周刊

从大量的数据中得出结论并获得可操作的数据是一项艰巨的任务，大数据包含了这个问题。大数据带来了新的数据处理方式。比如：深度的数据分析工具，数据集成工具，搜索工具，报告工具和维护工具，帮助处理大数据以从中获取价值。

国际数据公司（IDC）对音乐，视频文件和其他数据文件进行了分析。研究表明，系统产生的数据量每年翻一番。这是摩尔定律的一般概念。

摩尔定律如何改变？

当谈到微处理器的力量时，可能会经历摩尔定律的最后一个宽度。如果处理能力增加了，其他计算领域将不得不被检查。从云计算的能力来看，云计算提供了可共享的资源，处理能力将提高创新能力，提高业务效率。

为了提高微处理器的处理能力，有一项新的技术正在研究和测试中。英特尔正在德克萨斯州测试光子学。 Photonics使用光线传输数据的速度更快，而且不会造成信号损失。这降低了电力的产生并使数据以光速传播。这个实验将有助于摩尔定律增加其过程流量和能力，重新开始一个新的循环。

摩尔定律之后，人工智能又如何呢？

人工智能已经成为下一个主流的技术范例，这使得人工智能需要新的力量，因为摩尔定律和Dennard标度不够强。摩尔定律指出，芯片特定区域的晶体管数量将在两年后翻倍。在Dennard缩放中，保持晶体管所需的功率量正在缩小。

过去几年来，英特尔已经减少了生产具有更密集和更小晶体管的新芯片的步伐。几年前，小型晶体管效率的提高也停滞不前，这导致了功耗的问题。

AI如何处理更多的数据负载需要更强大的芯片。

科学家和大数据

大数据来源非常多。例如，在现实世界中收集的数据令人震惊地多样化，并且负载巨大。 RF信号，振动，压力，磁性，声音，温度，光线，电压等的测量都以不同形式和高速度记录。

摩尔定律在哪里？

一个晶体管的物理长度和其他关键逻辑的重要维度将逐渐缩小到2028年，但3D概念已经占据了中心位置。与内存有关的行业已经接受了三维架构提升NAND闪存容量，缓解小型化的压力。这并不意味着摩尔定律的结束。

结论

摩尔定律在处理大数据方面依然有效，但在使用3D架构方面更具经济意义。人工智能将在未来几年带来日益增长的处理能力需求，而芯片制造公司必须生产真正快速的处理器来处理工作量。