大数据时代下的队列研究

Ⅰ 大数据分析一般用什么工具分析

首先我们要了解java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。楼主是JAVA毕业的，这无疑是极好的开头和奠基啊，可谓是赢在了起跑线上，接收和吸收大数据领域的知识会比一般人更加得心应手。
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

Ⅱ 大数据的预测功能是增值服务的核心

大数据的预测功能是增值服务的核心
从走在大数据发展前沿的互联网新兴行业，到与人类生活息息相关的医疗保健、电力、通信等传统行业，大数据浪潮无时无刻不在改变着人们的生产和生活方式。大数据时代的到来，给国内外各行各业带来诸多的变革动力和巨大价值。
最新发布的报告称，全球大数据市场规模将在未来五年内迎来高达26%的年复合增长率——从今年的148.7亿美元增长到2018年的463.4亿美元。全球各大公司、企业和研究机构对大数据商业模式进行了广泛地探索和尝试，虽然仍旧有许多模式尚不明朗，但是也逐渐形成了一些成熟的商业模式。
两种存储模式为主
互联网上的每一个网页、每一张图片、每一封邮件，通信行业每一条短消息、每一通电话，电力行业每一户用电数据等等，这些足迹都以“数据”的形式被记录下来，并以几何量级的速度增长。这就是大数据时代带给我们最直观的冲击。
正因为数据量之大，数据多为非结构化，现有的诸多存储介质和系统极大地限制着大数据的挖掘和发展。为更好地解决大数据存储问题，国内外各大企业和研究机构做了许许多多的尝试和努力，并不断摸索其商业化前景，目前形成了如下两种比较成熟的商业模式：
可扩展的存储解决方案。该存储解决方案可帮助政府、企业对存储的内容进行分类和确定优先级，高效安全地存储到适当存储介质中。而以存储区域网络（SAN）、统一存储、文件整合/网络连接存储（NAS）的传统存储解决方案，无法提供和扩展处理大数据所需要的灵活性。而以Intel、Oracle、华为、中兴等为代表的新一代存储解决方案提供商提供的适用于大、中小企业级的全系存储解决方案，通过标准化IT基础架构、自动化流程和高扩展性，来满足大数据多种应用需求。
云存储。云存储是一个以数据存储和管理为核心的云计算系统，其结构模型一般由存储层、基础管理、应用接口和访问层四层组成。通过易于使用的API，方便用户将各种数据放到云存储里面，然后像使用水电一样按用量进行收费。用户不用关心数据的存储介质、网络状况以及安全性的管理，只需按需向提供方购买空间。
源数据价值水涨船高
在红红火火的大数据时代，随着数据的累积，数据本身的价值也在不断升值，这种情况很好地反应了事物由量变到质变的规律。例如有一种罕见的疾病，得病率为十万分之一，如果从小样本数据来看非常罕见，但是扩大到全世界70亿人，那么数量就非常庞大。以前技术落后，不能将该病情数字化集中研究，所以很难攻克。但是，我们现在把各种各样的数据案例搜集起来统一分析，我们很快就能攻克很多以前想象不到的科学难题。类似的例子，不胜枚举。
正是由于可以通过大数据挖掘到很多看不见的价值，源数据本身的价值也水涨船高。一些掌握海量有效数据的公司和企业找到了一条行之有效的商业路径：对源数据直接或者经过简单封装销售。在互联网领域，以Facebook、twitter、微博为代表的社交网站拥有大量的用户和用户关系数据，这些网站正尝试以各种方式对该源数据进行商业化销售，Google、Yahoo!、网络[微博]等搜索公司拥有大量的搜索轨迹数据以及网页数据，他们可以通过简单API提供给第三方并从中盈利；在传统行业中，中国联通[微博]（3.44, 0.03, 0.88%）、中国电信[微博]等运营商拥有大量的底层用户资料，可以通过简单地去隐私化，然后进行销售盈利。
各大公司或者企业通过提供海量数据服务来支撑公司发展，同时以免费的服务补偿用户，这种成熟的商业模式经受住了时间的考验。但是对于任何用户数据的买卖，还需处理好用户隐私信息，通过去隐私化方式，来保护好用户隐私。
预测是增值服务的核心
在大数据基础上进行深度挖掘，所衍生出来的增值服务，是大数据领域最具想象空间的商业模式。大数据增值服务的核心是什么？预测！大数据引发了商业分析模式转变，从过去的样本模式到现在的全数据模式，从过去的小概率到现在的大概率，从而能够得到比以前更准确的预测。目前形成了如下几种比较成熟的商业模式。
个性化的精准营销。一提起“垃圾短信”，大家都很厌烦，这是因为本来在营销方看来是有价值的、“对”的信息，发到了“错”的用户手里。通过对用户的大量的行为数据进行详细分析，深度挖掘之后，能够实现给“对”的用户发送“对”的信息。比如大型商场可以对会员的购买记录进行深度分析，发掘用户和品牌之间的关联。然后，当某个品牌的忠实用户收到该品牌打折促销的短信之后，一定不是厌烦，而是欣喜。如优捷信达、中科嘉速等拥有强大数据处理技术的公司在数据挖掘、精准广告分析等方面拥有丰富的经验。
企业经营的决策指导。针对大量的用户数据，运用成熟的数据挖掘技术，分析得到企业运营的各种趋势，从而给企业的决策提供强有力的指导。例如，汽车销售公司，可以通过对网络上用户的大量评论进行分析，得到用户最关心和最不满意的功能，然后对自己的下一代产品进行有针对性的改进，以提升消费者的满意度。
总体来说，从宏观层面来看，大数据是我们未来社会的新能源；从企业微观层面来看，大数据分析和运用能力正成为企业的核心竞争力。深入研究和积极探索大数据的商业模式，对企业的未来发展有至关重要的意义。

Ⅲ 大数据对科学研究的影响

（1）第一种范式：实验

在最初的科学研究阶段，人类采用实验来解决一些科学问题，著名的比萨斜塔实验就是一个典型实例。1590年，伽利略在比萨斜塔上做了“两个铁球同时落地”的实验，得出了重量不同的两个铁球同时下落的结论，从此推翻了亚里士多德“物体下落速度和重量成比例”的学说，纠正了这个持续了1 900年之久的错误结论。

Ⅳ 如何进行大数据分析及处理

1.可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
2. 数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3. 预测性分析大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4. 语义引擎
非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

Ⅳ 《大数据时代》的读后感

当认真看完一本名著后，大家心中一定有很多感想，为此需要认真地写一写读后感了。你想知道读后感怎么写吗？下面是我收集整理的《大数据时代》的读后感范文（通用5篇），仅供参考，大家一起来看看吧。

《大数据时代》的读后感1

对于畅销书刊、热点话题、时尚科技，始终不太感兴趣。书刊，喜欢有一定年份的。话题，钟情于务虚的观点。新奇的产品于我无缘，习惯使用成熟的科技产品。既不清高，也非冷漠，就是要与现实保持一定的距离，给自己留一点思考的空间。这一习惯最近破了例。由于工作的原因，耳濡目染，“大数据”这个新兴概念开始频繁步入我的视野。按捺不住内心的好奇，网购《大数据时代》，手不释卷，三天读完，颇有收获。此书有如下特点。

首先，作者站在理论的制高点上，条理清楚地阐述了大数据对人类的工作、生活、思维带来的革新，大数据时代的三种典型的商业模式，以及大数据时代对于个人隐私保护、公共安全提出的挑战。其次，文中的事例贴近现实生活，贴近时代，令读者既印象深刻，又感同身受。此外，作者没有使用大量的专业术语，没有假装一副专业的面孔。纵观全书，遣词造句，均通俗易懂。

作者认为大数据时代具有三个显著特点。

一、人们研究与分析某个现象时，将使用全部数据而非抽样数据。

二、在大数据时代，不能一味地追求数据的精确性，而要适应数据的多样性、丰富性、甚至要接受错误的数据。

三、了解数据之间的相关性，胜于对因果关系的探索。“是什么”比“为什么”重要。

作者指出，随着技术的发展，数据的存储与处理成本显著降低，人们现在有能力从支离破碎的、看似毫不相干的数据矿渣中抽炼出真知烁见。在大数据时代，三类公司将成为时代的宠儿。一是拥有大数据的公司与组织。如政府、银行、电信公司、全球性互联网公司(阿里巴巴、淘宝网)。二是拥有数据分析与处理技术的专业公司，如亚马逊、谷歌。三是拥有创新思维的公司，他们可能既不掌握大数据，也没有专业技术，但却擅长使用大数据，从大数据中找到自己的理想天地。

面对即将来临的大数据时代，个人将如何应对自如？这是个严肃的问题。

《大数据时代》的读后感2

如今说起新媒体和互联网，必提大数据，似乎不这样说就OUT了。而且人云亦云的居多，不少谈论者甚至还没有认真读过这方面的经典著作——舍恩佰格的《大数据时代》。维克托·迈尔舍恩伯格何许人也？他现任牛津大学网络学院互联网研究所治理与监管专业教授，曾任哈佛大学肯尼迪学院信息监管科研项目负责人。他的咨询客户包括微软、惠普和IBM等全球企业，他是欧盟互联网官方政策背后真正的制定者和参与者，他还先后担任多国政府高层的智囊。这位被誉为：大数据时代的.预言家“的牛津教授真牛！那么，这位大师说的都是金科玉律吗？并不一定，读大师的作品一定要做些功课才好读懂，才能能与之进行一场思想上的对话。

舍恩伯格分三部分来讨论大数据，即思维变革、商业变革和管理变革。

在第一部分”大数据时代的思维变革“中，舍恩伯格旗帜鲜明的亮出他的三个观点：

一、更多：不是随机样本，而是全体数据。

二、更杂：不是精确性，而是混杂性。

三、更好：不是因果关系，而是相关关系。对于第一个观点，我不敢苟同。

一方面是对全体数据进行处理，在技术和设备上有相当高的难度。另一方面是不是都有此必要，对于简单事实进行判断的数据分析难道也要采集全体数据吗？

我曾与香港城市大学的祝建华教授讨论过。祝教授是传播学研究方法和数据分析的专家，他认为一定可以找到一种数理统计方法来进行分析，并不一定需要全部数据。联系到舍恩伯格第二个观点中所说的相关关系，我理解他说的全体数据不是指数量而是指范围，即大数据的随机样本不限于目标数据，还包括目标以外的所有数据。我认为大数据分析不能排除随机抽样，只是抽样的方法和范围要加以拓展。

我同意舍恩伯格的第二观点，我认为这是对他第一个观点很好的补充，这也是对精准传播和精准营销的一种反思。”大数据的简单算法比小数据的复杂算法更有效。“更具有宏观视野和东方哲学思维。对于舍恩伯格的第三个观点，我也不能完全赞同。”不是因果关系，而是相关关系。“不需要知道”为什么“，只需要知道”是什么“。传播即数据，数据即关系。在小数据时代人们只关心因果关系，对相关关系认识不足，大数据时代相关关系举足轻重，如何强调都不为过，但不应该完全排斥它。大数据从何而来？为何而用？如果我们完全忽略因果关系，不知道大数据产生的前因后果，也就消解了大数据的人文价值。如今不少学者为了阐述和传播其观点往往语出惊人，对旧有观念进行彻底的否定。

世间万物的复杂性多样化并非非此即彼那么简单，舍恩伯格也是这种二元对立的幼稚思维吗？其实不然，读者在阅读时一定要看清楚他是在什么语境下说的，不要因囫囵吞枣的浅读而陷入断章取义的误读。比如说舍恩伯格在提出”不是因果关系，而是相关关系。“这一论断时，他在书中还说道：”在大多数情况下，一旦我们完成了对大数据的相关关系分析，而又不再满足于仅仅知道‘是什么’时，我们就会继续向更深层次研究的因果关系，找出背后的‘为什么’。“由此可见，他说的全体数据和相关关系都在特定语境下的，是在数据挖掘中的选项。

大数据研究的一大驱动力就是商用，舍恩伯格在第二部分里讨论了大数据时代的商业变革。舍恩伯格认为数据化就是一切皆可”量化“，大数据的定量分析有力地回答”是什么“这一问题，但仍然无法完全回答”为什么“。因此，我认为并不能排除定性分析和质化研究。数据创新可以创造价值，这是毫无疑问的。舍恩伯格在讨论大数据的角色定位时仍把它置于数据应用的商业系统中，而没有把它置于整个社会系统里，但他在第二部分大数据时代的管理变革中讨论了这个问题。

在风险社会中信息安全问题日趋凸显。如何摆脱大数据的困境？舍恩伯格在最后一节”掌控“中试图回答，但基本上属于老生常谈。我想，或许凯文·凯利的《失控》可以帮助我们解答这个问题？至少可以提供更多的思考维度。正如舍恩伯格在结语中所道：”大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案，只是参考的答案，帮助是暂时的，而更好的方法和答案还在不久的未来。“谢谢舍恩伯格！让大数据讨论从自然科学回到人文社科。由此推断，《大数据时代》不是最终答案，也不是标准答案，只是参考的.答案。

此外，在阅读此书之前还必须具备一些数据科学的基本知识和基本概念，比如说什么叫数据？什么叫大数据？数据分析与数据挖掘的区别，数字化与数据化有什么不同？读前做些功课读起来就比较好懂了。

《大数据时代》的读后感3

读完《大数据时代》这本书后，我意识到：我们即将或正在迎接由书面到电子的跳跃之后的又一重大变革。

这本书介绍了大数据时代来临后，接踵而至的三项变革——商业变革、管理变革和思维变革。

其实，这场变革已经打响。商业领域由于大数据时代的到来而推陈出新。前几年，一家名为Farecast的公司，让预订到更优惠的机票价格不再是梦想。公司利用航班售票的数据来预测未来机票价格的走势。现在，使用这种工具的乘客，平均每张机票可以省大约50美元，这就是大数据给人们带来的便利。

大家应该都知道2009年出现的H1N1型流感，就拿美国为例，疾控中心每周只进行一次数据统计，而病人一般都是难以忍受病痛的折磨才会去医院就诊，因此也导致了信息的滞后。然而，对于飞速传播的疾病，Google公司却能及时地作出判断，确定流感爆发的地点，这便是基于庞大的数据资源，可见大数据时代对公共卫生也产生了重大的影响！

在我看来，如果想在在大数据时代里畅游，不仅要学会分析，而且还要能够大胆地决断。

在美国，每到七、八月份时，正是台风肆虐之时，防涝用品也摆上了商品货架。沃尔玛公司注意到，每到这时，一种蛋挞的销售量较其他月份明显增加。于是，商家作了大胆的推测，出现这样的结果源于两种物品的相关性，便将这种蛋挞摆在了防涝用品的旁边。这样的举措大大增加了利润，这就是属于世界头号零售商的大数据头脑！

大数据时代的到来，可以让我们的生活更加便利。但是，如果让大数据主宰一切，也存在一定的风险。

大家应该都知道电子地图，它可以为人们指引方向。但大家应该还不知道，它会默默地积累人们的行程数据，通过智能分析可以推断出哪里是自己的家，哪里是工作单位。我们的隐私就这样被不为人知地收集着。

大数据时代的到来，让我们的生活更安全，更方便，但与此同时，我们的隐私不再是隐私，数据的收集变得无所不包、无孔不入。世界已经向大数据时代迈进了一小步，一个崭新的时代正向我们走来。让我们用知识武装大脑，做好准备，迎接新时代的到来！

《大数据时代》的读后感4

首先，想谈一谈何为大数据，何为大数据时代。大数据是一种资源，也是一种工具。它提供一种新的思维方式去理解当今这个信息化世界。为何说是一种新的思维方式：在信息缺乏的时代或模拟时代，我们更倾向于精确性的思维方式，就像是”钉是钉，铆是铆”，而在这种传统的思维方式下，我们得到问题的答案只有一个。

而在大数据时代下，我们打破了这种思维方式，换句话说，我们接受结果的不确定性。简言概括之，我认为大数据是一种预测模型。在大数据时代下，我们关注的不是因果，即为什么是这样，而更关心”是什么”这种相关关系。换句话说，在这种新思维的思考方式下，我们探究问题背后的原因也是不可行的。我们所做的是利用大数据这种工具，让数据自己说话！

其次，我想谈下如何利用大数据提升我军战斗力。当然，大数据分析并不是精准的预测，精准的预测也是不存在的。大数据只能有利于我们理解现在和预测未来的可能性。

作为军人，我所关注的是如何利用好大数据的工具提升我军战斗力，打赢这场信息化战争。毫无疑问，现在我们打的不是刀对刀，枪对枪的战争，更不是模拟时代，当代乃是数字时代，打的是信息化战争！

四次战争的大胜，美军的战争形态从机械化转向信息化，而且相应的在战场取胜的时间也越来越短，这正是大数据时代下的必然结果。而我军正在转向信息化的过程中。在此战争形态的过程中，我们需要更多的计算分析师，大数据分析师，数学家等高等技术性人才来打赢这场信息化战争。这正是大数据时代下我们不得不有的基础。我军战斗力的提升迫在眉睫！

当然大数据是一把双刃剑，利用好了取胜也是得心应手，相反，利用不好会导致不可估量的损失。

毕竟，这只是一种预测模型，得不到精准的预测结果。我们更要让数据为我们所用，不要被庞大的数据库框住我们的思维。为适应时代的发展，在这个适者生存，弱肉强食的世界，大数据时代下的残酷竞争已经给我们敲响警钟，一场悄无声息的信息化战争已经打响！

《大数据时代》的读后感5

去年的“云计算”炒得热火朝天的，今年的“大数据”又突袭而来。仿佛一夜间，各厂商都纷纷改旗换帜，推起“大数据”来了。于是乎，各企业的CIO也将热度纷纷转向关注“大数据”来了。有一张来自《程序员》微博的漫画很形象。我觉得这张图，很真实地反映了现实中小企业云计算，大数据的现状。

不过话又还得说回来，《大数据时代》是本好书。

当然，很多IT知名人士也大力推荐，写了好多读后感来表述对这本书的喜欢没看此书之前，对所谓大数据的概念基本上是一头雾水，虽则有了解关注过现在也比较火热的BI，觉得也差不多，可能就是更多的数据，更细致的数据分析与数据挖掘。看过此书后，感觉到之前的想法，只能算是中了一小半吧---巨量的数据，而另一前：着眼于数据关联性，而非数据精确性，或许才是大数据与现时BI的不同，不仅仅是方法，更多的时思想方法。不过坦白讲，到底是数据的关联性重佳，还是数据的精确性更好，还真的需要时间来检验一下，至少从现在的数据分析方法来论，更多的倾向于数据的精确性。

看完此书，我心中的一些问题：

1、什么是大数据？

查了查网络，是这样定义的：大数据（bigdata），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity这个好像是IBM的定义吧。

以个人的观点来看：数据海量，存储海量都是大数据的基本原型吧。

2、大数据适合什么样的企业？

诚然，大数据的前提是海量的数据，只有拥有巨量的数据资源，方能从中查找出数据的关联性，才可以让通过专业化的处理，让其为企业产生价值。针对电信运营，互联网应用这样海量用户的数据的大企业，也是在应用大数据的道路上拥有得天独厚的条件，但是针对中小企业呢？销售订单数据？若非百年老店，估计数据也是少得可怜，能用的可能只有消费者数据了吧。貌似大多数厂商，用来举例的也就是消费都购买行为分析为最多。

同样，在公共事业类的政府机构，大数据的作用也许也能很好的发挥。反而感觉在大多数中小型企业应用大数据，似乎有点大题小作。书中说：大数据是企业竞争力。诚然，数据是一个企业的核心无形资源（利用得好的话），但是否所有的数据，或都换则方式说：所有的企业都以大数据为竞争力，是否真的合适么？是否在中小企业中，会显示得小题大做呢？

3、大数据带来的影响

当一波又一波的IT技术热潮源源不断地向我们铺面而来的时候，你甚至都没有做好准备，你都要开始迎接它所给你带来的影响了。经过物联网，云计算的推波助澜下，大数据开始登场了。但它到底给我们带来了什么呢？

1）预测未来书中以Google成功预测了未来可能发生流感的案例来开篇，表明通过大数据的应用，可以为我们的生活起一个保驾护航的指向标。实质很简单，技术改变世界。

2）变革商业大数据所带来的商机，同时会衍生出一系列与大数据相关的商业机遇与商业模式，数据的潜在价值会源源不断地发挥作用可以容易想到的是未来有专门的数据收集，数据分析，数据生成的一条数据产业链产生。影响的，当然是IT公司

3）变革思维书中所说：因为有海量的数据作基础，未来，我们可能更关注数据的相关，而非精细度。对这条，本人还是持保留意见的。

Ⅵ 大数据、云计算、人工智能之间有什么样的关系

云计算最初的目标是对资源的管理，管理的主要是计算资源，网络资源，存储资源三个方面。想象你有一大堆的服务器，交换机，存储设备，放在你的机房里面，你最想做的事情就是把这些东西统一的管理起来，最好能达到当别人向你请求分配资源的时候（例如1核1G内存，10G硬盘，1M带宽的机器），能够达到想什么时候要就能什么时候要，想要多少就有多少的状态。

这就是所谓的弹性，俗话说就是灵活性。灵活性分两个方面，想什么时候要就什么时候要，这叫做时间灵活性，想要多少就要多少，这叫做空间灵活性。

这个神经元有输入，有输出，输入和输出之间通过一个公式来表示，输入根据重要程度不同(权重)，影响着输出。

于是将n个神经元通过像一张神经网络一样连接在一起，n这个数字可以很大很大，所有的神经元可以分成很多列，每一列很多个排列起来，每个神经元的对于输入的权重可以都不相同，从而每个神经元的公式也不相同。当人们从这张网络中输入一个东西的时候，希望输出一个对人类来讲正确的结果。例如上面的例子，输入一个写着2的图片，输出的列表里面第二个数字最大，其实从机器来讲，它既不知道输入的这个图片写的是2，也不知道输出的这一系列数字的意义，没关系，人知道意义就可以了。正如对于神经元来说，他们既不知道视网膜看到的是美女，也不知道瞳孔放大是为了看的清楚，反正看到美女，瞳孔放大了，就可以了。

对于任何一张神经网络，谁也不敢保证输入是2，输出一定是第二个数字最大，要保证这个结果，需要训练和学习。毕竟看到美女而瞳孔放大也是人类很多年进化的结果。学习的过程就是，输入大量的图片，如果结果不是想要的结果，则进行调整。如何调整呢，就是每个神经元的每个权重都向目标进行微调，由于神经元和权重实在是太多了，所以整张网络产生的结果很难表现出非此即彼的结果，而是向着结果微微的进步，最终能够达到目标结果。当然这些调整的策略还是非常有技巧的，需要算法的高手来仔细的调整。正如人类见到美女，瞳孔一开始没有放大到能看清楚，于是美女跟别人跑了，下次学习的结果是瞳孔放大一点点，而不是放大鼻孔。

听起来也没有那么有道理，但是的确能做到，就是这么任性。

神经网络的普遍性定理是这样说的，假设某个人给你某种复杂奇特的函数，f(x)：

不管这个函数是什么样的，总会确保有个神经网络能够对任何可能的输入x，其值f(x)（或者某个能够准确的近似）是神经网络的输出。

如果在函数代表着规律，也意味着这个规律无论多么奇妙，多么不能理解，都是能通过大量的神经元，通过大量权重的调整，表示出来的。

这让我想到了经济学，于是比较容易理解了。

我们把每个神经元当成社会中从事经济活动的个体。于是神经网络相当于整个经济社会，每个神经元对于社会的输入，都有权重的调整，做出相应的输出，比如工资涨了，菜价也涨了，股票跌了，我应该怎么办，怎么花自己的钱。这里面没有规律么？肯定有，但是具体什么规律呢？却很难说清楚。

基于专家系统的经济属于计划经济，整个经济规律的表示不希望通过每个经济个体的独立决策表现出来，而是希望通过专家的高屋建瓴和远见卓识总结出来。专家永远不可能知道哪个城市的哪个街道缺少一个卖甜豆腐脑的。于是专家说应该产多少钢铁，产多少馒头，往往距离人民生活的真正需求有较大的差距，就算整个计划书写个几百页，也无法表达隐藏在人民生活中的小规律。

基于统计的宏观调控就靠谱的多了，每年统计局都会统计整个社会的就业率，通胀率，GDP等等指标，这些指标往往代表着很多的内在规律，虽然不能够精确表达，但是相对靠谱。然而基于统计的规律总结表达相对比较粗糙，比如经济学家看到这些统计数据可以总结出长期来看房价是涨还是跌，股票长期来看是涨还是跌，如果经济总体上扬，房价和股票应该都是涨的。但是基于统计数据，无法总结出股票，物价的微小波动规律。

基于神经网络的微观经济学才是对整个经济规律最最准确的表达，每个人对于从社会中的输入，进行各自的调整，并且调整同样会作为输入反馈到社会中。想象一下股市行情细微的波动曲线，正是每个独立的个体各自不断交易的结果，没有统一的规律可循。而每个人根据整个社会的输入进行独立决策，当某些因素经过多次训练，也会形成宏观上的统计性的规律，这也就是宏观经济学所能看到的。例如每次货币大量发行，最后房价都会上涨，多次训练后，人们也就都学会了。

然而神经网络包含这么多的节点，每个节点包含非常多的参数，整个参数量实在是太大了，需要的计算量实在太大，但是没有关系啊，我们有大数据平台，可以汇聚多台机器的力量一起来计算，才能在有限的时间内得到想要的结果。

于是工智能程序作为SaaS平台进入了云计算。

网易将人工智能这个强大的技术，应用于反垃圾工作中，从网易1997年推出邮箱产品开始，我们的反垃圾技术就在不停的进化升级，并且成功应用到各个亿量级用户的产品线中，包括影音娱乐，游戏，社交，电商等产品线。比如网易新闻、博客相册、云音乐、云阅读、有道、BOBO、考拉、游戏等产品。总的来说，反垃圾技术在网易已经积累了19年的实践经验，一直在背后默默的为网易产品保驾护航。现在作为云平台的SaaS服务开放出来。

回顾网易反垃圾技术发展历程，大致上我们可以把他分为三个关键阶段，也基本对应着人工智能发展的三个时期：

第一阶段主要是依赖关键词，黑白名单和各种过滤器技术，来做一些内容的侦测和拦截，这也是最基础的阶段，受限于当时计算能力瓶颈以及算法理论的发展，第一阶段的技术也能勉强满足使用。

第二个阶段时，基于计算机行业里有一些更新的算法，比如说贝叶斯过滤(基于概率论的算法)，一些肤色的识别，纹理的识别等等，这些比较优秀成熟的论文出来，我们可以基于这些算法做更好的特征匹配和技术改造，达到更优的反垃圾效果。

最后，随着人工智能算法的进步和计算机运算能力的突飞猛进，反垃圾技术进化到第三个阶段：大数据和人工智能的阶段。我们会用海量大数据做用户的行为分析，对用户做画像，评估用户是一个垃圾用户还是一个正常用户，增加用户体验更好的人机识别手段，以及对语义文本进行理解。还有基于人工智能的图像识别技术，更准确识别是否是色情图片，广告图片以及一些违禁品图片等等。

Ⅶ “大数据时代人群队列研究：现状及展望”学术研讨会在我校召开

大型人群队列研究是解决目前医学和健康重大问题的有效方法之一，是医学逐步走向精准提高效果的必经之路。国外已经累积了几十年的经验，近年来我国也掀起了大型人群队列研究的热潮。以中英合作的CKB前瞻性队列研究为代表的中国大型队列研究已在国际上崭露头角。如何契合我国的需要，进一步开展独特的队列研究，充分利用队列研究的成果，为我国卫生和临床决策提供关键依据，仍然是摆在我们面前的巨大任务。

4月13日，在春意盎然、生机勃勃的季节，在美丽的东莞松山湖畔，值此广东医科大学六十周年校庆之际，为了紧跟当前人群队列研究的学术前沿，提升我校在人群队列研究领域的科研能力，由我校主办、科技处和公共卫生学院承办的“大数据时代人群队列研究：现状及展望”学术研讨会在东莞校区行政报告厅召开。会议邀请了国内外公共卫生领域著名的专家学者前来，围绕大型人群队列建设的时代背景、必要性、建设现状、建设成果及面临的机遇和挑战等议题与我校师生共同讨论、分享和交流。

开幕式由学校丁元林副校长主持，学校党委副书记、副校长余学清教授和教育部国家督学、北京大学博雅讲席教授李立明教授分别致辞。

余学清副书记、副校长在致辞中代表学校欢迎各位知名专家学者、同仁朋友的到来，感谢各位专家对此次研讨会的鼎力支持。余校长在致辞中指出在精准医学和大数据时代的今天，复杂疾病的病因学研究迎来了前所未有的机遇与挑战，构建反映国人多样性的国家级人群大型健康队列，将各组学、大数据科学、分子影像等新技术有机整合，建立多层次精准医疗知识体系和生物医学大数据平台,对于精细解析复杂疾病的病因结构，进而提供重大疾病风险评估和预测、早筛分类、个体化治疗及疗效监测的整套解决方案具有重大战略意义。目前，大型人群队列研究已经是流行病学领域乃至公共卫生领域的主旋律之一。本次大会群贤毕至，人才荟萃，相信定能开启新的视角、激荡起新的思维、碰撞出新的火花，为广东医科大学人群队列研究的发展助力加油。

李立明教授在致辞中强调广东医科大学拥有特殊的区位优势具有巨大的发展潜力和前景；十九大以后健康中国的建设是每一位医药卫生从业者应担负起历史使命；大数据在医学领域有广阔的应用前景，此次研讨会恰逢其时，并将推动广东医科大学的科研工作以及全国类似研究的进步。随后，李立明教授带来了“中国慢性病前瞻性队列研究”的主题讲座，从人群健康角度以及国家战略高度，介绍了大型队列研究的必要性、国内外大规模队列研究的概况，指出队列研究在研究设计上具有独特的优势，队列研究尤其适用于发病率低的疾病以及尚待发掘的弱效应因素的病因研究，特别阐述了超大型人群队列（MegaCohort）的产生、发展及特点，随后介绍了中国50万队列研究的进展情况，强调了大型队列研究的随访流程，而且还分享了中国50万队列研究取得的一些重要研究成果。并将中国50万队列研究项目下的成果《大型人群队列随访标准》和《大型人群队列调查问卷标准》两部著作赠与我校。

华中科技大学潘安教授分享了“东风-同济队列”研究，该队列基于职业人群，具有研究对象稳定，随访率高，良好的职业环境监测资料，医疗记录和医疗保险系统基础好以及集团公司大力支持等特点，潘教授详细介绍了“东风-同济队列”的设计、进展、取得的研究成果以及后期设想，特别阐述了队列研究中样本代表性问题的思考和判别方法。

中山大学凌文华教授做了“广东冠心病人群队列研究”的主题报告，阐述了营养膳食与心血管疾病，膳食模式与代谢性疾病的关联，介绍了广东冠心病（CAD）队列的基本概况，CAD队列的相关标志物（体内）研究，如血糖与死亡风险、血清HDL-C与冠心病风险，分析了营养素、食物以及膳食模式与主要慢性病的关联，为营养流行病学在队列研究中的应用提供了借鉴依据。

余学清校长做了题为“肾脏病基因组学与队列研究”的主题报告，充分肯定了在大数据时代下开展队列研究的价值和意义，介绍了其课题组建立肾脏病患者队列的情况，并分享了其基于队列进行研究的进展和所取得的结果。

新加坡大学刘建军教授做了“Genetic Variation inGenomic Medicine: from susceptibility to treatment”的主题报告，介绍了生物标志物特别是遗传生物标志在麻风、系统性红斑狼疮等疾病中临床诊断意义及应用，指出遗传生物标志在流行病学病因分析中具有重要意义。

公共卫生学院院长倪进东教授向与会专家介绍了公共卫生学院的基本概况、发展历程及取得的教学科研成果。公共卫生学院的部分教授、博士就相关研究领域作了主题汇报，共同分享了各自研究领域的科研设计及科研发现。唐焕文教授汇报的题目是“PARP-1通路在氢醌诱导TK6细胞DNA损伤修复与转归中的作用”，倪进东教授报告的题目是“Tfh细胞在乙肝疫苗弱应答中的作用及其表观调控机制”，杨铮教授汇报的题目是“癌症患者报告结局研究”；黄志刚博士汇报了“胃癌相关分子标志物的发现及功能验证”，邹堂斌博士汇报了“虾青素经miR-29b/Bcl-2通路抑制LX-2细胞增殖和促进其凋亡”，刘小山博士汇报了“有机磷阻燃剂的内分泌干扰效应和机制研究”，他们报告的内容吸引了与会人员的浓厚兴趣。

中山大学余新炳教授、安徽医科大学叶冬青教授、香港中文大学唐金陵教授和中山大学郝元涛教授应邀担任了本次研讨会学术报告的主持。

此外，北京大学任涛教授、南方医科大学毛琛教授以及《中华流行病学杂志》编辑部王岚主任等应邀出席了本次会议。

本次研讨会公共卫生领域知名专家学者人才荟萃，学校将以此为契机，广纳队列研究中的真知灼见，广聚学术研究资源，广交学术人才，为我校即将开展的新生儿队列研究带来新思路，新途径。通过研讨会增进了与兄弟院校、同行专家学者的密切合作，为“健康中国”事业的发展贡献智慧和力量。（文/徐秀娟 图/廖莹 骆诗凌 张清青 梁蓉 陈桂兰 洪丹凤 王江瑶 王丽君  编/王丽君  审/蔡定彬）