大数据tdw

① 国内外的Hadoop应用现状

文 | 翟周伟
本文节选自《Hadoop核心技术》一书。
Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。本文将讲述国内外的hadoop应用现状。
国外Hadoop的应用现状
1.Yahoo
Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop机器总节点数目超过42?000个，有超过10万的核心CPU在运行Hadoop。最大的一个单Master节点集群有4500个节点(每个节点双路4核心CPUboxesw，4×1TB磁盘，16GBRAM)。总的集群存储容量大于350PB，每月提交的作业数目超过1000万个，在Pig中超过60%的Hadoop作业是使用Pig编写提交的。
Yahoo的Hadoop应用主要包括以下几个方面：
支持广告系统
用户行为分析
支持Web搜索
反垃圾邮件系统
会员反滥用
内容敏捷
个性化推荐
同时Pig研究并测试支持超大规模节点集群的Hadoop系统。
2.Facebook
Facebook使用Hadoop存储内部日志与多维数据，并以此作为报告、分析和机器学习的数据源。目前Hadoop集群的机器节点超过1400台，共计11?200个核心CPU，超过15PB原始存储容量，每个商用机器节点配置了8核CPU，12TB数据存储，主要使用StreamingAPI和JavaAPI编程接口。Facebook同时在Hadoop基础上建立了一个名为Hive的高级数据仓库框架，Hive已经正式成为基于Hadoop的Apache一级项目。此外，还开发了HDFS上的FUSE实现。
3.A9.com
A9.com为Amazon使用Hadoop构建了商品搜索索引，主要使用StreamingAPI以及C++、Perl和Python工具，同时使用Java和StreamingAPI分析处理每日数以百万计的会话。A9.com为Amazon构建的索引服务运行在100节点左右的Hadoop集群上。
4.Adobe
Adobe主要使用Hadoop及HBase，同于支撑社会服务计算，以及结构化的数据存储和处理。大约有超过30个节点的Hadoop-HBase生产集群。Adobe将数据直接持续地存储在HBase中，并以HBase作为数据源运行MapRece作业处理，然后将其运行结果直接存到HBase或外部系统。Adobe在2008年10月就已经将Hadoop和HBase应用于生产集群。
5.CbIR
自2008年4月以来，日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop来构建图像处理环境，用于图像产品推荐系统。使用Hadoop环境生成源数据库，便于Web应用对其快速访问，同时使用Hadoop分析用户行为的相似性。
6.Datagraph
Datagraph主要使用Hadoop批量处理大量的RDF数据集，尤其是利用Hadoop对RDF数据建立索引。Datagraph也使用Hadoop为客户执行长时间运行的离线SPARQL查询。Datagraph是使用AmazonS3和Cassandra存储RDF数据输入和输出文件的，并已经开发了一个基于MapRece处理RDF数据的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDF.rb以及自己开发的RDFgrid框架来处理RDF数据，主要使用HadoopStreaming接口。
7.EBay
单集群超过532节点集群，单节点8核心CPU，容量超过5.3PB存储。大量使用的MapRece的Java接口、Pig、Hive来处理大规模的数据，还使用HBase进行搜索优化和研究。
8.IBM
IBM蓝云也利用Hadoop来构建云基础设施。IBM蓝云使用的技术包括：Xen和PowerVM虚拟化的Linux操作系统映像及Hadoop并行工作量调度，并发布了自己的Hadoop发行版及大数据解决方案。
9.Last.Fm
Last.Fm主要用于图表计算、专利申报、日志分析、A/B测试、数据集合并等，也使用Hadoop对超过百万的曲目进行大规模的音频特征分析。
节点超过100台机器，集群节点配置双四核[email protected]@2.13GHz，24GB内存，8TB(4×2TB)存储。
10.LinkedIn
LinkedIn有多种硬件配置的Hadoop集群，主要集群配置如下：
800节点集群，基于Westmere的惠普SL170X与2×4的核心，24GB内存，6×2TBSATA。
1900节点集群，基于Westmere的超微-HX8DTT，与2×6的核心，24GB内存，6×2TBSATA。
1400节点集群，基于SandyBridge超微与2×6的核心，32GB内存，6×2TBSATA。
使用的软件如下：
操作系统使用RHEL6.3。
JDK使用SUNJDK1.6.0_32。
Apache的Hadoop0.20.2的补丁和ApacheHadoop的1.0.4补丁。
Azkaban和Azkaban用于作业调度。
Hive、Avro、Kafka等。
11.MobileAnalytic.TV
主要使用Hadoop应用在并行化算法领域，涉及的MapRece应用算法如下。
信息检索和分析。
机器生成的内容——文档、文本、音频、视频。
自然语言处理。
项目组合包括：
移动社交网络。
网络爬虫。
文本到语音转化。
音频和视频自动生成。
12.Openstat
主要利用Hadoop定制一个网络日志分析并生成报告，其生产环境下超过50个节点集群(双路四核Xeon处理器，16GB的RAM，4～6硬盘驱动器)，还有两个相对小的集群用于个性化分析，每天处理约500万的事件，每月15亿美元的交易数据，集群每天产生大约25GB的报告。
使用的技术主要包括：CDH、Cascading、Janino。
13.Quantcast
3000个CPU核心，3500TB存储，每日处理1PB以上的数据，使用完全自定义的数据路径和排序器的Hadoop调度器，对KFS文件系统有突出贡献。
14.Rapleaf
超过80个节点的集群(每个节点有2个双核CPU，2TB×8存储，16GBRAM内存);主要使用Hadoop、Hive处理Web上关联到个人的数据，并引入Cascading简化数据流穿过各种处理阶段。
15.WorldLingo
硬件上超过44台服务器(每台有2个双核CPU，2TB存储，8GB内存)，每台服务器均运行Xen，启动一个虚拟机实例运行Hadoop/HBase，再启动一个虚拟机实例运行Web或应用程序服务器，即有88台可用的虚拟机;运行两套独立的Hadoop/HBase机群，它们各自拥有22个节点。Hadoop主要用于运行HBase和MapRece作业，扫描HBase的数据表，执行特定的任务。HBase作为一种可扩展的、快速的存储后端，用于保存数以百万的文档。目前存储了1200万篇文档，近期的目标是存储4.5亿篇文档。
16.格拉斯哥大学的TerrierTeam
超过30个节点的实验集群(每节点配置XeonQuadCore2.4GHz，4GB内存，1TB存储)。使用Hadoop促进信息检索研究和试验，特别是用于TREC，用于TerrierIR平台。Terrier的开源发行版中包含了基于HadoopMapRece的大规模分布式索引。
17.内布拉斯加大学的HollandComputingCenter
运行一个中等规模的Hadoop机群(共计1.6PB存储)用于存储和提供物理数据，以支持紧凑型μ子螺旋型磁谱仪(CompactMuonSolenoid，CMS)实验的计算。这需要一类能够以几Gbps的速度下载数据，并以更高的速度处理数据的文件系统的支持。
18.VisibleMeasures
将Hadoop作为可扩展数据流水线的一个组件，最终用于VisibleSuite等产品。使用Hadoop汇总、存储和分析与网络视频观众收看行为相关的数据流。目前的网格包括超过128个CPU核心，超过100TB的存储，并计划大幅扩容。
国内Hadoop的应用现状
Hadoop在国内的应用主要以互联网公司为主，下面主要介绍大规模使用Hadoop或研究Hadoop的公司。
1.网络
网络在2006年就开始关注Hadoop并开始调研和使用，在2012年其总的集群规模达到近十个，单集群超过2800台机器节点，Hadoop机器总数有上万台机器，总的存储容量超过100PB，已经使用的超过74PB，每天提交的作业数目有数千个之多，每天的输入数据量已经超过7500TB，输出超过1700TB。
网络的Hadoop集群为整个公司的数据团队、大搜索团队、社区产品团队、广告团队，以及LBS团体提供统一的计算和存储服务，主要应用包括：
数据挖掘与分析。
日志分析平台。
数据仓库系统。
推荐引擎系统。
用户行为分析系统。
同时网络在Hadoop的基础上还开发了自己的日志分析平台、数据仓库系统，以及统一的C++编程接口，并对Hadoop进行深度改造，开发了HadoopC++扩展HCE系统。
2.阿里巴巴
阿里巴巴的Hadoop集群截至2012年大约有3200台服务器，大约30?000物理CPU核心，总内存100TB，总的存储容量超过60PB，每天的作业数目超过150?000个，每天hivequery查询大于6000个，每天扫描数据量约为7.5PB，每天扫描文件数约为4亿，存储利用率大约为80%，CPU利用率平均为65%，峰值可以达到80%。阿里巴巴的Hadoop集群拥有150个用户组、4500个集群用户，为淘宝、天猫、一淘、聚划算、CBU、支付宝提供底层的基础计算和存储服务，主要应用包括：
数据平台系统。
搜索支撑。
广告系统。
数据魔方。
量子统计。
淘数据。
推荐引擎系统。
搜索排行榜。
为了便于开发，其还开发了WebIDE继承开发环境，使用的相关系统包括：Hive、Pig、Mahout、Hbase等。
3.腾讯
腾讯也是使用Hadoop最早的中国互联网公司之一，截至2012年年底，腾讯的Hadoop集群机器总量超过5000台，最大单集群约为2000个节点，并利用Hadoop-Hive构建了自己的数据仓库系统TDW，同时还开发了自己的TDW-IDE基础开发环境。腾讯的Hadoop为腾讯各个产品线提供基础云计算和云存储服务，其支持以下产品：
腾讯社交广告平台。
搜搜(SOSO)。
拍拍网。
腾讯微博。
腾讯罗盘。
QQ会员。
腾讯游戏支撑。
QQ空间。
朋友网。
腾讯开放平台。
财付通。
手机QQ。
QQ音乐。
4.奇虎360
奇虎360主要使用Hadoop-HBase作为其搜索引擎so.com的底层网页存储架构系统，360搜索的网页可到千亿记录，数据量在PB级别。截至2012年年底，其HBase集群规模超过300节点，region个数大于10万个，使用的平台版本如下。
HBase版本：facebook0.89-fb。
HDFS版本：facebookHadoop-20。
奇虎360在Hadoop-HBase方面的工作主要为了优化减少HBase集群的启停时间，并优化减少RS异常退出后的恢复时间。
5.华为
华为公司也是Hadoop主要做出贡献的公司之一，排在Google和Cisco的前面，华为对Hadoop的HA方案，以及HBase领域有深入研究，并已经向业界推出了自己的基于Hadoop的大数据解决方案。
6.中国移动
中国移动于2010年5月正式推出大云BigCloud1.0，集群节点达到了1024。中国移动的大云基于Hadoop的MapRece实现了分布式计算，并利用了HDFS来实现分布式存储，并开发了基于Hadoop的数据仓库系统HugeTable，并行数据挖掘工具集BC-PDM，以及并行数据抽取转化BC-ETL，对象存储系统BC-ONestd等系统，并开源了自己的BC-Hadoop版本。
中国移动主要在电信领域应用Hadoop，其规划的应用领域包括：
经分KPI集中运算。
经分系统ETL/DM。
结算系统。
信令系统。
云计算资源池系统。
物联网应用系统。
E-mail。
IDC服务等。
7.盘古搜索
盘古搜索(目前已和即刻搜索合并为中国搜索)主要使用Hadoop集群作为搜索引擎的基础架构支撑系统，截至2013年年初，集群中机器数量总计超过380台，存储总量总计3.66PB，主要包括的应用如下。
网页存储。
网页解析。
建索引。
Pagerank计算。
日志统计分析。
推荐引擎等。
即刻搜索(人民搜索)
即刻搜索(目前已与盘古搜索合并为中国搜索)也使用Hadoop作为其搜索引擎的支撑系统，截至2013年，其Hadoop集群规模总计超过500台节点，配置为双路6核心CPU，48G内存，11×2T存储，集群总容量超过10PB，使用率在78%左右，每天处理读取的数据量约为500TB，峰值大于1P，平均约为300TB。
即刻搜索在搜索引擎中使用sstable格式存储网页并直接将sstable文件存储在HDFS上面，主要使用HadoopPipes编程接口进行后续处理，也使用Streaming接口处理数据，主要的应用包括：
网页存储。
解析。
建索引。
推荐引擎。
end

② MPP DB 是 大数据实时分析系统 未来的选择吗

大数据领域，实时分析系统（在线查询）是最常见的一种场景，前面写了一个《 实时分析系统 (HIVE/HBASE/IMPALA) 浅析 》讨论业界当前常见的方案。互联网公司用得比较多是 HIVE/HBASE ，如腾讯基于 HIVE 深度定制改造，改名为 TDW ，小米等公司选用 HBASE 等。关于 HIVE/HBASE/IMPALA 介绍等可以看我前面的文章。 当前在实时分析系统中，最难的是多维度复杂查询，目前没有一个很好的解决方案，这两天和人讨论到 MPP DB （分布式数据库，以 Greenplum 为最典型代表）。如果从性能来讲， MPP DB 在多维复杂查询性能确实要好于 HIVE/HBASE/IMPALA 等，因此有不少声音认为， MPP DB 是适合这种场景的未来的解决方案。 MPP DB 看似对多维度复杂查询性能较好，但是同时有两个致命的缺点，大家选型的时候不得不考虑： 1、 扩展性： MPP DB 都号称都能扩展到 1000 个节点以上，实际在应用过程中，就我目前从公开资料看到的不超过 100 个节点，如支付宝中用 Greenplum 来做财务数据分析的最大一个集群 60 多台机器。另外和 Greenplum 公司交流，在广东移动最大的用来做数据存储的，也就 100 台以内。这和 hadoop 动不动 4,5 千个节点一个节点集群简直不在一个数量级上。 为什么 MPP DB 扩展性不好？ 有很多原因，有产品成熟度，也有应用广度的问题，但是最根本的还是架构本身的问题。讲到架构这里就要先讲下 CAP 原则： Consistency( 一致性 ), 数据一致更新，所有数据变动都是同步的 Availability( 可用性 ), 好的响应性能 Partition tolerance( 分区容错性 ) 可靠性 定理：任何 分布式 系统只可同时满足二点，没法三者兼顾。 忠告：架构师不要将精力浪费在如何设计能满足三者的完美 分布式 系统，而是应该进行取舍。 MPP DB 还是基于原 DB 扩展而来， DB 里面天然追求一致性（ Consistency ），必然带来分区容错性较差。集群规模变得太大，业务数据太多时， MPP DB 的元数据管理就完全是一个灾难。元数据巨大无比，一旦出错很难恢复，动不动导致毁库。 所以 MPP DB 要在扩展性上有质的提示，要对元数据，以及数据存储有架构上的突破，降低对一致性的要求，这样扩展性才能提升，否则的话很难相信一个 MPP DB 数据库是可以容易扩展的。 2、 并发的支持： 一个查询系统，设计出来就是提供人用的，所以能支持的同时并发越高越好。MPP DB 核心原理是一 个大的查询通过分析为一一个子查询，分布到底层的执行，最后再合并结果，说白了就是通过多线程并发来暴力 SCAN 来实现高速。 这种暴力SCAN的方法，对单个查询来说，动用了整个系统的能力，单个查询比较快，但同时带来用力过猛的问题，整个系统能支持的并发必然不高，从目前实际使用的经验来说，也就支持50～100的并发能力。 当前HBASE/IMPALA应对复杂查询时，也是通过全盘SCAN的方法来实现的，这种场景下，硬盘数量越多越好，转速越快越好。HBASE为什么号称支持上千并发，这也是在特定的场景下（查询时带用户标示，即带row key)才能实现的，复杂查询场景下，什么系统都歇菜。 所以MPP DB应用场景已经非常明显了，适合小集群（100以内），低并发的（50左右）的场景。MPP DB未来是不是趋势，我不知道，但是至少目前来看，用MPP DB来应对大数据的实时分析系统是非常吃力的。

③ 个人简历前言怎么写

基本信息
尽量简单。
主要包括：姓名/性别/电话/邮箱/居住地/教育信息

个人简介
个人简介是对自己的优势、特点等进行综合阐述的重要模块，也是用人方了解自己的重要窗口；遗憾的是这个点被大部分人忽略了。

个人简介应该包括：我是谁，公司/项目亮点经历，擅长技术，风格，对事物的认知，未来的规划等。同时个人简介应该结合目标职位做适当调整。

以下两个案例是我们协助候选人完善后的个人简介，可以参考：

以下两个案例可以参考：

案例1
我是纽约零售技术公司Caper的创始人兼首席执行官。 在Caper，我们正在领导开发一种具有AI功能的自助结账购物车，该购物车已在美国和加拿大的主要杂货店推出。 我们的目标是重塑实体零售格局并改变人们在实体店购物的方式（顺便说一句，实体店仍占零售总额的92％）。
我从14岁起就开始了自己的第一次创业，此后一直没有停止过创造。 在我的整个人生旅程中，我一直担任服务员，建筑工人，收银员，打字员和导师。 我还曾在高盛（Goldman Sachs）和摩根大通（J.P. Morgan）担任投资银行家两年。 我已经尝试过全部。
企业家精神每天都在提醒人们谦卑，而且它令人上瘾。
在工作之余，我是一个狂热的读者，一个体面的扑克玩家（以及任何聪明的/策略游戏），以及（一种）极简主义者。
案例2
我是xx，具备8年以上互联网从业经验，先后效力于腾讯、阿里，同时2年的创业公司经历。
擅长大数据平台构建。早期作为核心参与了腾讯分布式数据仓库（TDW）、腾讯实时计算平台（TRC）及腾讯实时推荐系统的构建（每天实时处理200亿流量），并多次获得A级、S级考核；同时在创业型公司作为负责人，结合业务需求，主导过公司数据平台建设，成功支撑业务完成信息化转型。
技术的价值在于支撑业务，形成商业闭环，所以近两年在关注技术实现的同时也注重业务和技术的结合，不能为了技术而技术，最低成本高效的解决实际问题，才是技术的核心。

④ BAT的互联网大数据应用有何不同

从数据类型看，腾讯数据最为全面，这与其互联网业务全面相关，其最为突出的是社交数据和游戏数据，其中：社交数据最为核心的是关系链数据、用户间的互动数据、用户产生的文字、图片和视频内容；游戏数据主要包括大型网游数据、网页游戏数据和手机游戏数据，游戏数据中最为核心的是游戏的活跃行为数据和付费行为数据，腾讯的数据最大的特点是基于社交的各种用户行为和娱乐数据。阿里最为突出的是电商数据，尤其是用户在淘宝和天猫上的商品浏览、搜索、点击、收藏和购买等数据，其数据最大特点是从浏览到支付形成的用户漏斗式转化数据。网络的数据以用户搜索的关键词、爬虫抓取的网页、图片和视频数据为主，网络的数据特点是通过搜索关键词更直接反映用户兴趣和需求，网络的数据以非结构化数据更多。

网络、阿里巴巴和腾讯的数据应用场景
网络、阿里巴巴和腾讯的数据应用场景都有共同的体系，该体系一共分为七层，代表了企业不同层面的数据价值应用场景，形成了企业运营的数据价值金字塔：

（1）数据基础平台层。金字塔的最底层也是整个金字塔的基础层，如果基础层搭建不好，上面的应用层也很难在企业运营中发挥效果，这一层的技术目标是实现数据的有效存储、计算和质量管理；业务目标是把企业的所有用户（客户）数据用唯一的ID串起来，包括用户（客户）的画像（如性别、年龄等）、行为以及兴趣爱好等，以达到全面的了解用户（客户）的目的；
（2）业务运营监控层。这一层首要的是搭建业务运营的关键数据体系，在此基础上通过智能化模型开发出来的数据产品，监控关键数据的异动，通过各种分析模型等可以快速定位数据异动的原因，辅助运营决策；
（3）用户/客户体验优化层。这一层主要是通过数据来监控和优化用户/客户的体验问题。这里面既运用了结构化的数据来监控，也运用非结构化的数据（如文本）来监控体验的问题。前者更多的是应用各种用户（客户）体验监测的模型或者工具来实现，后者更多的是通过监测微博、论坛和企业内部的客户反馈系统的文本来发现负面的口碑，以及时的优化产品或服务；
（4）精细化运营和营销层。这一层主要通过数据驱动业务精细化运营和营销。主要可以分为四方面：第一，构建基于用户的数据提取和运营工具，以方便运营和营销人员通过人群定向把客户提取出来，从而对客户进行营销或运营活动；第二方面，通过数据挖掘的手段提升客户对活动的响应；第三，通过数据挖掘的手段进行客户生命周期管理；第四，主要是用个性化推荐算法基于用户不同的兴趣和需求推荐不同的商品或者产品，以实现推广资源效率和效果最大化，如淘宝商品的个性化推荐；
（5）数据对外服务和市场传播层面。数据对外服务一般为服务该互联网企业的客户或用户，如网络通过提供网络舆情、网络代言人、网络指数等服务其广告主客户；淘宝通过数据魔方、淘宝情报和在云端等产品服务其客户；腾讯通过腾讯分析和腾讯云分析等服务其开放商客户。在市场传播层面，主要通过有趣的数据信息图谱和数据可视化产品来实现（如淘宝指数、网络指数、网络春节迁徙地图）。
（6）经营分析层面。主要通过分析师对大数据进行统计，形成经验分析周报、月报和季度报告等，对用户经营情况和收入完成等情况进行分析，发现问题，优化经营策略。
（7）战略分析层面。这方面既要结合内部的大数据形成决策层的数据视图，也要结合外部数据尤其是各种竞争情报监控数据、国外趋势研究数据来辅助决策层进行战略分析。
虽然网络、阿里巴巴和腾讯在企业运营的数据价值的应用体系上有共同的特点，但由于企业的商业模式以及数据资产不同，他们在整体的大数据发展策略也有显著的不同。
网络大数据策略
网络大数据最重要的是来源是通过爬虫搜集的100多个国家的近万亿网页数据，数据量是在EB级的规模。网络的数据非常多样化，其收集的数据既有为非结构化的或者半结构化的数据，包括网页数据、视频和图片等数据，也有结构化的数据，如用户的点击行为数据，广告客户的付费行为数据等。
网络大数据主要服务三类人群：一类是互联网网民，通过大数据和自然语言处理技术让网民的搜索更加准确；第二类是广告主，通过大数据让广告主的广告和搜索关键词的匹配度更高，或者和网民正在看的网页内容匹配度更高；第三类是，也是在重点推进的网络大数据引擎，重点是服务传统行业拥有一定规模数据的企业。
网络大数据引擎代表了互联网企业数据服务能力开放和合作的趋势，网络大数据引擎由以下三方面构成：

开放云：网络的大规模分布式计算和超大规模存储云，开放云大数据开放的是基础设施和硬件能力。过去的网络云主要面向开发者，大数据引擎的开放云则是面向有大数据存储和处理需求的“大开发者”。据网络相关人员称，网络开放云还拥有CPU利用率高、弹性高、成本低等特点。网络是全球首家大规模商用ARM服务器的公司，而ARM架构的特征是能耗小和存储密度大，同时网络还是首家将GPU（图形处理器）应用在机器学习领域的公司，实现了能耗节省的目的。
数据工厂：数据工厂为网络将海量数据组织起来的软件能力，与数据库软件的作用类似，不同的是数据工厂是被用作处理TB级甚至更大的数据。网络数据工厂支持超大规模异构数据查询，支持SQL-like以及更复杂的查询语句，支持各种查询业务场景。同时网络数据工厂还将承载对于TB级别大表的并发查询和扫描，大查询、低并发时每秒可达百GB。
网络大脑：网络大脑将网络此前在人工智能方面的能力开放出来，主要是大规模机器学习能力和深度学习能力。此前它们被应用在语音、图像、文本识别，以及自然语言和语义理解方面，并通过网络Inside等平台开放给了智能硬件。现在这些能力将被用来对大数据进行智能化的分析、学习、处理、利用，并对外开放。
网络将基础设施能力、软件系统能力以及智能算法技术打包在一起，通过大数据引擎开放出来之后，拥有大数据的行业可以将自己的数据接入到这个引擎进行处理。从架构来看，企业或组织也可以只选择三件套中的一种来使用，例如数据存放在自己的云，但要运用网络大脑的一些智能算法或者数据存放在网络云，自己写算法。
网络大数据引擎的作用
我们可以从两方面来具体看网络大数据引擎的作用：
（1）对于政府机构：如交通部门有车联网、物联网、路网监控、船联网、码头车站监控等地方的大数据，如果这些数据与网络的搜索记录、全网数据、LBS数据结合，在利用网络大数据引擎的大数据能力，则可以实现智能路径规划和运力管理；卫生部门拥有流感法定报告数据、全国流感样病例哨点监测和病原学监测数据，如果和网络的搜索记录及全网数据结合，便可进行流感预测、疫苗接种指导。
（2）对于企业：很多企业也拥有海量大数据，不过很多企业的大数据处理和挖掘能力比较弱，如果应用网络大数据引擎，则可以对海量数据进行可靠低成本的存储，进行智能化的由浅入深的价值挖掘。如在2014年4月的网络技术开放日上，中国平安便介绍了如何利用网络的大数据能力加强消费者理解和预测，细分客户群制定个性化产品和营销方案。
阿里巴巴大数据策略
阿里巴巴大数据整体发展方向是以激活生产力为目的的DT(data technology，数据技术驱动)数据时代发展。阿里巴巴大数据未来将由“基于云计算的数据开放+大数据工具化应用”组成：
（1）基于云计算的数据开放。云计算使中小企业可以在阿里云上获得数据存储、数据处理服务，也可以构建自己的数据应用。云计算是数据开放的基础，云计算可以为全球的数据开发者提供数据工作平台，阿里分布式的存储平台和在这个平台上的算法工具，可以更好的为数据开发者所用；同时，阿里巴巴还需要做好数据的脱敏，把数据的商业定义，每个标签打得足够清晰，能够让全球的数据开发者在阿里巴巴平台展开数据思维，让数据为政府所用、消费者所用以及行业所用。阿里的大数据开放之后，线上线下的数据能够串联起来，所有人都是数据提供方，也是数据的使用者。
（2）在大数据应用上，马云已经在整个数据应用上确定了两个方针：
第一个方针：从IT到DT（数据技术），DT就是点燃整个数据和激发整个数据的力量，被管理所用，被社会所用，被销售所用，为制造业所用，为消费者信用所用。前文已经分析道，阿里巴巴的数据资产是以电商为主，其中，淘宝和天猫每天会产生丰富多样的数据，阿里巴巴已经沉淀了包括交易、金融、生活服务等多种类型的数据。这些数据能够帮助阿里巴巴进行数据化运营（如下图）。

另外一个其最为重要的应用是金融领域——小微金融。在小微金融企业融资领域。由于银行无法掌握小微企业真实的经营数据，不仅导致很多企业无法拿到贷款，还因为数据类型的不足导致整个判断流程过长，阿里已经通过其电商数据中的交易、信用、SNS等多种数据来决定是否可以发放贷款以及放贷的额度。
第二个方针：让阿里巴巴的数据、让阿里巴巴的工具能够成为中国商业的基础设施。阿里巴巴已经开始在转型，阿里将由自己直接面对消费者变成支持网商面对消费者，阿里会根据其已有的运营和数据经验，开发更多的工具，帮助网商成长，让网商们更懂得用最好的工具、服务去服务好消费者。正如马云所言“我相信没有一个网商不希望拥有自己的客户，没有一个网商不希望知道客户对自己的体验到底好还是坏，如何持久的拥有这些客户，我们觉得一个国家的经济，应该让给企业家群体去做，我们觉得淘宝网商未来的经济，是应该留给网商们去决定，而不是我们去做决定”。
腾讯大数据策略
腾讯的大数据目前更多的是为腾讯企业内部运营服务，相对于阿里和网络，数据开放程度并不高。因此，对于腾讯我们主要重点介绍腾讯大数据在服务企业内部的应用场景和服务。
腾讯90%以上的数据已经实现集中化管理，数据集中在数据平台部，有超过100多个产品的数据已经集中管理起来，而且是集中存储在腾讯自研数据仓库（TDW）。腾讯大数据从数据应用的不同环节可以分为四个层面，包括数据分析、数据挖掘、数据管理和数据可视化：

（1）数据分析层有四个产品：自助分析、用户画像、实时多维度分析和异动智能定位工具。自助分析可以帮助非技术人员通过简单的条件配置实现数据的统计和展示功能；用户画像则是对某一群用户或者某一业务的用户实现自动化的人群画像；实时多维度分析工具则是可以对某一指标可以实现实时的多个维度的切分，方便分析人员从不同角度对某一指标进行多维度分析；异动智能定位工具则实现数据异动问题的智能化定位。
（2）数据挖掘层面的产品应用有：精准广告系统、用户个性化推荐引擎和客户生命周期管理。精准广告系统如广点通，是基于腾讯大社交平台的海量数据为基础，通过精准推荐算法，以智能定向推广位导向实现广告精准投放；用户个性化推荐引擎根据每位用户的兴趣和喜好，通过个性化推荐算法（协同过滤、基于内容推荐、图算法、贝叶斯等），实现产品的个性化推荐需求；客户生命周期管理系统，则是基于大数据，根据用户/客户的所处的不同生命周期进行数据挖掘，建立预测、预警和用户特征模型，以根据用户/客户所处的不同生命周期特点进行精细化运营和营销。
（3）在数据管理层面则有：TDW（腾讯数据仓库）、TDBank（数据银行）、元数据管理平台和任务调度系统和数据监控。这一层面主要是实现数据的高效集中存储、数据的业务指标定义管理、数据质量管理、计算任务的及时调度和计算以及数据问题的监控和告警。
（4）在数据可视化层面有：自助报表工具、腾讯罗盘、腾讯分析和腾讯云分析等工具。自助报表工具可以自助化的实现结构相对简单和逻辑相对简单的报表。腾讯罗盘分为内部版和外部版，内部版则是服务于腾讯内部用户（产品经理、运营人员和技术人员等）的高效报表工具，外部版则是服务于腾讯合作伙伴如开发商的报表工具。腾讯分析是网站分析工具，帮助网站主进行网站的全方位分析。腾讯云分析则是帮助应用开发商决策和运营优化的分析工具。
总的来看，网络、阿里巴巴和腾讯三大互联网企业都拥有大数据，三大互联网巨头的数据都用来优化自己业务的运营效果，从这个层面看，其数据价值应用场景比较类似。但由于其业务和商业模式的不同决定了三者数据资产的不同，也决定了三者未来大数据策略的不同，尤其是基于大数据的开放和合作角度看，网络和阿里巴巴相对更加开放。对于重视大数据开放和合作的互联网企业，他们最为期待的是借着大数据开放的策略，与更多的传统行业交换更多的数据，从而更好的丰富其在线下数据，形成线上和线下数据的协同，从中拓展新的商业模式，如智能硬件和大数据健康。

⑤ 中国云计算大会的第五届中国云计算大会

第5届中国云计算大会6月5日在国家会议中心召开。
时间:2013年6月5日-7日
地点:国家会议中心
指导单位:工业和信息化部、国家发展和改革委员会、科学技术部、北京市人民政府、中国科学技术协会
主办单位:中国电子学会
承办:中国云计算技术与产业联盟 中国电子学会云计算专家委员会 时间：2012年5月23日—25日
地点：北京国家会议中心
指导单位：国家发展和改革委员会、工业和信息化部、北京市人民政府、中国科学技术协会
主办单位：中国电子学会
协办单位：北京市经济和信息化委员会、CSDN 、《程序员》杂志
承办单位：中国云计算技术与产业联盟、中国电子学会云计算专家委员会 【5月23日】
09:00—17:30 开源云计算平台技术专场：OpenStack、CloudStack、Hadoop
1、OpenStack的发展之路——来自Rackspace的观点 Andy Schroepfer Rackspace CTO、企业战略副总裁
2、Intel云视点，IT开放云 Billy Cox 英特尔云战略、软件与服务事业部主管 Xu Meng 英特尔工程计算部门IT经理
3、Dell OpenStack and Crowbar Dan Choquette Dell云计算及大数据集成解决方案部主任Panel
4、Discussion：OpenStack技术演进趋势
5、Apache CloudStack：现代数据中心的云操作系统 Kevin Kluge Citrix公司云计算产品事业部副总裁
6、通过来自Cloudera的Hadoop来压缩大数据 Amr Awadallah Cloudera创始人兼CTO
7、持续增量海量数据管理和处理平台 韩轶平雅虎北京全球研发中心高级技术经理
8、TDW在Hadoop上的实践分享 郭玮腾讯公司数据平台高级架构师
9、支付宝HBase系统故障恢复的优化实践分享 代志远支付宝数据平台架构师
10、Panel Discussion：CloudStack和Hadoop技术演进趋势
2012 IBM云计算高峰论坛（09:00—17:10）
1、云的力量：推动业务模式变革 Paul Moung IBM副总裁，全球技术服务部，增长型市场
2、云计算在中国的实践 王胜航IBM大中华区云计算事业部总经理
3、走进云数据中心 袁东坡IBM大中华区全球信息科技服务部数据中心服务总顾问
4、Power Cloud新一代企业级基础云平台 谷建IBM Power Systems产品经理
5、为云注入活力的关键 梁志辉IBM中国软件开发中心云计算项目总监
6、为云注入灵魂－业务应用情景 陈谷IBM大中华区软件集团首席技术官
7、为云提供基石—云环境下的数据和存储管理 张冠群IBM大中华区存储销售顾问
8、IBM 商业观点：云计算推动产业创新 王静玺IBM中国全球咨询服务部CTO及首席架构师
9、IBM公有云服务SCE/SCE 温海峰IBM资深云计算架构师
10、IBM 智慧云服务助企业实现业务增长及敏捷性 刘登科IBM企业服务产品线经理
11、云安全的建设路径与最佳实践 万涛IBM大中华区云计算服务部首席安全顾问
12、公共云协助产业升级 朱绍康IBM软件集团云计算大中华区总经理
云基地专场（14:00—16:40）
1、 绿色便捷的云时代数据中心
2、 云端时代-一个新的时代，云端时代
第二届云计算国际交流与合作论坛（仅限受邀人员参加）
第二届海峡两岸云计算合作论坛 （仅限受邀人员参加）
首届云计算与智慧城市发展论坛 （仅限受邀人员参加）
【5月24日】
1、超越“虚拟的美丽”——云计算实践再分析 李德毅中国电子学会云计算专家委员会主任委员、中国工程院院士
2、中国电信云计算实践与创新 张继平中国云计算技术与产业联盟副理事长、中国电信集团公司副总经理
3、软件主导的数据中心 Steve Herrod VMware全球首席技术官兼研发高级副总裁
4、打造开放云平台，推动产业链共赢 李正茂中国云计算技术与产业联盟副理事长、中国移动通信集团副总裁
5、以云之力驱动业务创新 鞠立IBM大中华区副总裁，全球科技服务部整合科技事业部总经理
6、精简IT，敏捷商道 朱近之中国电子学会云计算专委会委员、华为IT产品线副总裁
云计算的新进展 张亚勤中国电子学会云计算专委会副主任委员、微软公司全球资深副总裁、微软亚太研发集团主席
7、联通沃云的创新服务实践 姜正新中国联合网络通信集团有限公司副总经理
8、云计算在中国的实践 王坚阿里巴巴集团首席架构师、阿里云计算总裁
9、云计算与软件开发变革 李未中国科学院院士
10、对云计算时代软件技术发展的若干思考和实践 梅宏中国电子学会云计算专委会委员、中国科学院院士
11、云计算数据中心架构设计 Billy Cox英特尔云战略与规划总监
12、化云落地，推动行业云创新实践 王恩东中国电子学会云计算专委会副主任委员、浪潮集团高级副总裁、浪潮电子信息公司总裁
13、业务服务创新—敏捷交付云业务 孙志伟CA Technologies中国区副总裁
14、中兴通讯云计算创新应用实践 罗圣美中国电子学会云计算专委会委员、中兴通讯集团首席架构师
15、基于云计算技术的新一代企业信息系统基础架构 姚宏宇中国电子学会云计算专委会委员、友友系统CEO
北京数字出版云专场
2012品高软件新产品发布会暨合作伙伴签约仪式
【5月25】
09:00—17:30 专题论坛一 云计算核心技术架构
08：55—12:50 专题论坛二 云计算与大数据
09:00—17:30 专题论坛三 云计算平台与应用实践
09:00—12:20 专题论坛四 云计算时代的信息安全
13:30—17:30 专题论坛五 云计算数据中心
13:30—17:10 专题论坛六 云计算存储与虚拟化
09:00—12:20 专题论坛七 云计算与移动互联网及新型终端
13:30—17:00 示范应用研讨会一：云计算与医疗信息化创新
13:30—17:50 示范应用研讨会二：云计算与教育信息化创新