百度成立大数据部

㈠ 如何在海量数据中寻找和分析信息

如何在海量数据中寻找和分析信息
虽然大数据这个概念炒的非常火，但是大数据内部运作的逻辑，其实和我们传统行业是比较类似的。比如如果传统行业做实业的话，首先要有地基，你要有厂房，要有原材料，然后做加工，接下来设计成独立的产品，给客户带来独特的体验。我们刚才讲的开放云就是大数据的地基和厂房，原材料就是在线上和线下产生的海量数据。这个是我们现在网络目前每天数据规模，2013年是25PB，这个数字在快速的变化，我们现在处理的能力已经提高一倍，数据上目前是50PB，增长了一倍，这个就是我们目前大数据库要处理的数据的原材料。那么有了原材料接下来该怎么办？
数据存储
稍微看一下我们目前的大数据处理能力的三层架构。首先我们有海量的数据储存能力，然后在这个基础上，我们会做很多智能的分析，在这个基础上我们做很多大数据的产品，我们会逐步的开放这三个方面的能力。先说一下海量数据，做实业的各位领导和专家们，如果你有原材料，最关键的下一步要做两件事，一件事情是物流，第二件事情是原材料的标准化，要把原材料制成毛坯，在这个基础上才能实现你的产能。
在海量数据的处理上是这样的，网络三年前我们的架构是左边这样一个模式，在这个时候我们的数据传输，我们数据的储存都是每个产品线有自己的方式，我们大概用了两年的时间构建现在的数据储存方式，解决两个问题，一是数据的传输。现在网络很多产品线要实时产生大量海量的数据，这些数据都需要被实时的储存一个地方。
但是这些产品线的数据格式都是异构的。我们做了非常多的标准化的工作，在基础上形成了第一个海量数据储存的产品，叫通用的数据仓库。在使用这个通用的数据仓库，我们第一个构建了实时的海量数据的传输平台，那么任何一个产品线产生的数据都能够实时的传送到这个数据仓库里面。另外我们做了实时的数据标准化的工作，无论你的数据是什么样的格式，到我们数据仓库里面都以同样的格式来储存，有了这个物流，有了这个标准化，我们能够在这个基础上对数据进行更多的分析和加工。
那么从这开始，网络的数据就开始在大数据部门进行各种各样的处理过程。
数据分析
这个图有点复杂，这是数据在网络的一个生命周期，这边涉及到很多的技术细节，我会详细一一介绍。这里我想强调的是整个数据的流程是全自动化的，从数据的生成，数据的传输，数据的标准化，到最后数据的归类，数据的分析，都是全自动化的。这里面我是很高兴跟大家宣布，我们这套全自动化的流程，并形成了我们自己的产品。
这个产品我们现在有一个英文名字叫Query Engine，是一套标准的海量数据储存方案，首先无论你的数据是什么样的，经过我们的处理会把它做成数据标准化，当你的数据实时生成，我们有非常好的数据传输框架，保证你的数据上传到网络的开放云，在上面进行建模，进行各种各样可视化分析和决策的过程。我们已经成功了上传分析一家合作企业将近10T的关于新能源方面的一些数据。网络非常欢迎传统企业，如果你有海量的数据，你需要各种各样的分析和操作的话，来接洽我们，来使用我们这款产品。
当这个数据已经被结构化储存以后，我们希望在这个基础上能够进行各种各样的智能化分析。就像传统行业有自己的产品设计中心一样，会对产品进行各种各样的分析、排列组合，做各种各样的实验。在这个实验的基础上能够产生出比较好的产品，能够满足用户的需求。那么在大数据部门也有这样的需求，也需要有大数据产品的设计中心，在这个设计中心需要做很多实验，做出适用于网络，适用于客户的数据产品。所以这个产品经过四个月的努力，我们也已经对外开放。就是之前高级总监朱永忠介绍的，大家可以通过这个域名去访问。
在这上面，我们大数据新产品的设计中心，可以进行很多实时的智能分析，做很多的实验，对产品进行很多排列组合，看哪一种产品能够最适合行业，满足网络的需求。
大数据产品
那么有了这样的开放能力，下面给大家介绍在这个基础上大数据部研发出来的三个大数据产品，希望能够对在座的做实业的朋友有帮助。
第一个产品叫网络司南，专门针对于当企业发展到一定的阶段，有了一定的品牌影响力的企业，能够让企业对自身的品牌有更客观的了解，一共是三个方面。第一个是品牌分析，实际上你应该很想知道你的品牌在那个同行业里它的定位怎么样，周边的人是如何看待你这个品牌的，对你这个品牌的口碑怎么样。而且我们把它做到基本上是实时的，你可以此时此刻知道大家对你品牌的口碑到底怎么样。
另外一方面，关注你的品牌，应该一定有一批已经比较忠实的用户了，那么这些人除了关注你的品牌，像刚才陈总讲的一样，除了关注你的品牌，他还关心什么别的，他还对什么样的东西感兴趣。这些我们通过基于统计的用户画像也能够告诉你。
另外一个这些人是通过什么渠道来了解到你的品牌，他是通过IPAD，是通过手机，通过看电视，还是通过PC、还是移动互联网的浏览，这样以后做营销行为，就知道如何很快的影响到你的受众，什么样的渠道是最有效的。那么通过这几个方式，我们都能够告诉大家你的品牌到底处在什么样的状态。
给大家看两个司南在品牌上的应用。第一个叫代言人。很多品牌到了后期推广的时候，都有找代言人的需求。什么样的代言人在你最想影响的受众是最有号召力。之前是一些拍脑袋的决策，但是通过我们司南，通过海量的数据，通过海量的用户行为分析，可以帮助你做一个决策的科学。实际上我们已经通过大数据的分析，可以产生出超过一千家的企业，他们最合适的代言人到底是哪一位。如果哪位老总也想尝试自己品牌的话，可以和我们合作，我们可以告诉你，通过我们的数据，什么样的代言人，对于你的受众会产生最大的品牌号召力。
另外一个是舆情分析，实际是跟品牌的口碑最像。你的企业里有一系列的产品，每一个产品可能有轻微的差异化，就像我们的化妆品一样，每一款产品在用户中的口碑到底怎么样，用户喜欢这些产品什么样的功能，不喜欢这些产品什么样的功能。在之前，很多公司通过调研公司到各个城市，通过实时的访谈获得一些统计数据。整个过程要耗费一个月左右。通过我们的舆情分析，几乎可以实时告诉你这个答案，到底有多少用户是喜欢这个功能，有多少用户不喜欢这个功能。一个是通过一个月，一个是通过实时，这样的话就有时间差了。这个时间差就是网络大数据能给传统行业带来的竞争力。
这是我们第一款基于大数据的工具，叫网络司南。
另外就是我们的预测平台产品。预测这个产品说的已经比较多了，这次想跟大家说的是，当我们发布了预测产品，并且取得了比较好的效果，很多公司，或者是一些政府部门会跟我们接洽，能不能帮我们也分析一下数据。比如景点希望我们帮他预测下一步七天的人流到底多还是不多。有的企业希望让我们帮他预测下一步季度营业额是否能跟上一个季度匹配。
我们现在非常高兴的把我们的预测平台能力开放出来，你不需要再去接洽网络的产品经理做这样的事情，只要你使用我们的开放平台上传你的数据，我们后面就会基于一系列各种各样的数据分析，智能的算法和网络后台自己的数据帮你做一些决策和分析。希望能够帮助传统企业做决策分析的时候能够多一些科学的决策依据。
另外一个是我们的推荐。我们现在非常高兴把我们这个能力也开放出来，非常可惜我们目前只面对互联网的站长，站长可以定定制到底想用我们推荐的哪一方面的技术和性能、功能，非常灵活的为他的网站做推荐。但实际上我们最想做到的是把我们这套推荐引擎，和传统行业结合起来，和很多实时推荐结合起来，在这块也非常希望传统的行业能跟我们接洽，把我们这种非常先进的线上推荐的技术和线下的场景结合起来，在线下发挥更大的功能。
三个产品只是揭开了冰山一角，在大数据这个方面，产品设计的想象力其实是很多很多的，我们在这方面也非常兴奋，后面我们也会陆续推出一系列的大数据产品，请大家期待。网络愿意与更多的人一起合作，在大数据这个方向上给网络，给行业、给用户带来更多的价值。

㈡ 王劲的介绍

王劲现任网络高级副总裁、网络技术战略委员会主席、自动驾驶事业部总经理。 王劲于2010年4月加入网络。期间，王劲分别创立了网络移动云事业部、网络大数据部、网络基础架构（云计算）部、网络美国研发中心、网络深圳研发中心；并以网络深度学习实验室（IDL）为基础，联合创立了网络研究院，专注人工智能发展。近期，他还创立了网络自动驾驶事业部。在2010年4月到2015年4月的5年间，王劲同时还负责网络商业变现的技术与产品（凤巢），通过技术手段，让网络收入在5年内提升了整整10倍。 王劲领导打造了网络大数据引擎、大数据+开放平台、网络云、网络开放云、网络大脑，并积极推动语音识别、图像识别等前沿技术的发展。他提早布局了以ARM CPU、GPU、FPGA为基础的高性能异构计算平台，让网络的HPC（高性能计算）能力处于国际领先地位。他积极部署和推动了自动驾驶技术的发展与应用，推动了互联网技术、业务模式与汽车产业的深度融合。网络自动驾驶汽车于2015年12月初成功路测。作为网络技术的最高决策机构——技术战略委员会主席，王劲积极推动技术创新、制定技术发展战略、优化流程和平台，打造出一支中国顶尖的技术团队，使网络的技术成为业内的标杆。 王劲于2013年12月晋升为网络高级副总裁。 在网络之前，王劲在甲骨文、Informix、E-Loan等位于美国硅谷的多家公司任职，并在回国后历任阿里巴巴资深技术总监、EBay中国CTO、EBay中国研发中心总经理、谷歌中国工程研究院副院长。

㈢ 国内比较好的大数据 公司有哪些

大数据公司按出身可分为三类:
一类是有经过检验的大数据核心技术能力和大回平台的运营答能力的平台型公司，代表企业有网络、腾讯、阿里巴巴（2C）等。他们已经拥有核心大数据能力，如数据采集，数据存储，数据分析，数据可视化以及数据安全等。
第二是有大数据核心技术的公司，如基础设施公司，华为、中兴、浪潮等大公司；还有大数据各个领域的专业的技术公司，如数据挖掘、数据买卖、算法和模型、数据存储、可视化等。
第三类提供大数据行业解决方案的公司，如安防、金融、农业、政务、旅游等行业解决方案。这些企业往往是软件公司起步，转而做SAAS，然后做大数据。这类企业对行业的理解更深，大数据应用场景更实际。

㈣ BAT三巨头开始挖掘大数据

BAT三巨头开始挖掘大数据
阿里巴巴CTO即阿里云负责人王坚博士说过一句话：云计算和大数据，你们都理解错了。
实际上，对于大数据究竟是什么业界并无共识。大数据并不是什么新鲜事物。信息革命带来的除了信息的更高效地生产、流通和消费外，还带来数据的爆炸式增长。“引爆点”到来之后，人们发现原有的零散的对数据的利用造成了巨大的浪费。移动互联网浪潮下，数据产生速度前所未有地加快。人类达成共识开始系统性地对数据进行挖掘。这是大数据的初心。数据积累的同时，数据挖掘需要的计算理论、实时的数据收集和流通通道、数据挖掘过程需要使用的软硬件环境都在成熟。
概念、模式、理论很重要，但在最具实干精神的互联网领域，行动才是最好的答案。国内互联网三巨头BAT坐拥数据金矿，已陆续踏上了大数据掘金之路。
BAT都是大矿主，但矿山性质不同
数据如同蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。
网络拥有两种类型的大数据：用户搜索表征的需求数据;爬虫和阿拉丁获取的公共web数据。
阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。
腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。
下面，就将三家公司的情况一一扫描与分析。
一、网络：含着数据出生且拥有挖掘技术，研究和实用结合
搜索巨头网络围绕数据而生。它对网页数据的爬取、网页内容的组织和解析，通过语义分析对搜索需求的精准理解进而从海量数据中找准结果，以及精准的搜索引擎关键字广告，实质上就是一个数据的获取、组织、分析和挖掘的过程。
除了网页外，网络还通过阿拉丁计划吸收第三方数据，通过业务手段与药监局等部门合作拿到封闭的数据。但是，尽管网络拥有核心技术和数据矿山，却还没有发挥出最大潜力。网络指数、网络统计等产品算是对数据挖掘的一些初级应用，与Google相比，网络在社交数据、实时数据的收集和由数据流通到数据挖掘转换上有很大潜力，还有很多事情要做。
2月底在北京出差时，写了一篇《搜索引擎的大数据时代》发在虎嗅。创造了零回复的记录。尽管如此，仍然没有打消我对搜索引擎在大数据时代深层次变革的思考。 搜索引擎在大数据时代面临的挑战有：更多的暗网数据;更多的WEB化但是没有结构化的数据;更多的WEB化、结构化但是封闭的数据。这几个挑战使得数据正在远离传统搜索引擎。不过，搜索引擎在大数据上毕竟具备技术沉淀以及优势。
接下来，网络会向企业提供更多的数据和数据服务。前期网络与宝洁、平安等公司合作，为其提供消费者行为分析和挖掘服务，通过数据结论指导企业推出产品，是一种典型的基于大数据的C2B模式。与此类似的还有Netflix的《纸牌屋》美剧，该剧的男主角凯文·史派西和导演大卫·芬奇都是通过对网络数据挖掘之后，根据受欢迎情况选中的。
网络还会利用大数据完成移动互联网进化。核心攻关技术便是深度学习。基于大数据的机器学习将改善多媒体搜索效果和智能搜索，如语音搜索、视觉搜索和自然语言搜索。这将催生移动互联网的革命性产品的出现。尽管网络已经出发，其在大数据上可做的事情还有很多。
在数据收集方面，网络需要聚合更多高价值的交易、社交和实时数据。例如加强自己贴吧知道的社交能力、尽快让地图服务与O2O结合进而掌握交易数据，以及推进移动App、穿戴式设备等数据收集系统。
在数据处理技术上，网络成立深度学习研究院加强自己在人工智能领域的探索，在多媒体和中文自然语言处理领域已经有一些进展;云存储、云计算的基础设施建设也在逐步完善。但深度学习仍然是一个巨大的挑战，网络等探索者还有很多待解问题，如：无监督式学习、立体图像识别。
在数据变现方面，网络需将数据挖掘能力、数据内容聚合和提取等形成标准化的服务和产品，进而开拓大数据领域的企业和开发者市场。而不仅仅是颇为个性化、定制化地为大型企业提供解决。
网络的优势体现在海量的数据、沉淀十多年的用户行为数据、自然语言处理能力和深度学习领域的前沿研究。在技术人才方面网络是聚集国内最多大数据相关领域顶尖人才的公司。听说网络前段时间花五千万挖了数据挖掘、自然语言处理、深度学习领域的十来位大牛，包括一些学者和教授。例如Facebook科学家徐伟。
在挖人上，舍得花钱不够，还得用心。对于真正的大牛来说，钱只是一个影响因素。能否实现自己的梦想，公司的资源能否帮助自己的研究至关重要。徐伟在回国前就曾问过其他从硅谷回国工程师的意见，得到答案是积极的，最终促成他作出决定。
总体来看，网络拥有大数据也具备大数据挖掘的能力，并且正在进行积极地准备和探索。在加强面向未来的研究和人才布局的同时，也注重实用性的技术产出。
二、腾讯：数据为产品所用，自产自销
微创新提出者金错刀有个关于腾讯的故事。 1999年腾讯公司刚刚成立不久，天使投资人刘晓松决定向其注资的一个主要原因就是因为他发现，“当时虽然他们的公司还很小,但已经有用户运营的理念,后台对于用户的每一个动作都有记录和分析。”而另一个投资人却因为马化腾在公司很小时就花钱在数据上表示不满。此后腾讯的产品生产及运营、腾讯游戏的崛起都离不开对数据的重视。
腾讯拥有社交大数据，在企鹅帝国完成数据的制造、流通、消费和挖掘。 腾讯大数据目前释放价值更多是改进产品。据腾讯Q1财报，增值服务占总收入的78.7%;电子商务业务占14.1%;网络广告收入占6.3%。从广告收入比例可以看出腾讯的大数据在精准营销领域暂时还未大量释放出价值。与其产品线对应的GMAIL、Google+的Google以及社交巨头Facebook则通过广告赚得盆满钵满。
在笔者看来，腾讯的思路主要是补齐产品，注重QZONE、微信、电商等产品的后端数据打通。例如最近腾讯微博利用“大数据技术”实现好友关系自动分组、低质量信息自动过滤、优质信息分类阅读等智能化功能。明显的用数据改进产品的思路。 那么如果腾讯要深入大数据挖掘缺少什么呢?笔者认为其只需马化腾“摁下启动按钮”。数据已经准备好了，就差模式，也就是找到需求或者能更深层次驱动大数据利用的产品，而不是用大数据改进自己的产品。腾讯还在观望，等其他人去试错验证出一套模式或者产品后，自己可以“站在巨人肩上”。这是腾讯的典型思维。
在人才方面，腾讯很早便开始重金挖人。尤其是2010年在Google宣布退出中国后，Google图片搜索创始人朱会灿、Google中国工程研究院副院长颜伟鹏、Google中日韩文搜索算法的主要设计者，《浪潮之巅》及《数学之美》作者吴军相继加入腾讯。搜搜花了很多钱，但被认定为一款无法承载腾讯重托的产品，最后这些大牛都走了。大都回Google了。
腾讯在大数据领域也缺少技术带头人。其对公关也不重视。技术大牛很少出来做报告，更不会向网络、阿里那样主动包装宣传技术大牛。其技术虽然低调，但执行力很强。据腾讯的程序员朋友说封闭开发、集体加班是常有的事情。但配套的重金激励也能跟上。重金之下必有勇夫、腾讯用制度保障技术产出。另外腾讯在高校合作领先一步，在2010年便与清华大学合作成立了清华腾讯联合实验室。这么看腾讯的技术人才这块似乎有短板。会不会到时候马化腾按下启动按钮，发现没数据挖掘能力呢?不会，腾讯搞不定数据挖掘，到时候依然可以挖到大牛，甚至读论文来搞定这事儿。数据挖掘已较为成熟。数据挖掘实际是数据库、统计学、机器学习三个领域的融合。在学术界已经发展多年。不过自然语言识别和深度学习等方面要赶上网络，就难了。除非将网络的数据和众大牛一起倒腾过来。
总体来看，腾讯目前的大数据策略是先将产品补全，产品后台数据打通，形成稳定生态圈。本阶段先利用大数据挖掘改进自己的产品。后期有成熟的模式合适的产品，则利用自家的社交及关系数据时，开展对大数据的进一步挖掘。
三、阿里巴巴：坐拥金数据，尝试做面向未来的数据集市
阿里巴巴B2B出身，在外贸蓬勃的大环境下，依靠服务中小企业发家。淘宝、支付宝等toC的产品出生前，阿里并不依赖也不擅长技术。业界普遍认为阿里没有技术基因。直到淘宝、支付宝以及天猫三个产品后，对海量用户大并发量交易、海量货架数据的管理、安全性等方面的严苛要求，阿里完成进化，在电商技术上取得不菲的成绩。在一段时期阿里仍然浪费了手里掌握的大量数据。这些数据还是“最值钱”的金数据。
数据挖掘无非是从原始数据提取价值。阿里现有的数据产品例如数据魔方、量词统计、推荐系统、排行榜以及时光倒流相对来说是比较简单的BI(商业智能)，没到大数据的阶段。“大数据”浪潮袭来，阿里提出“数据、金融和平台”战略。前所未有地重视起对数据的收集、挖掘和共享。马云在“退居”前动不动都对外提“数据”。有位阿里朋友甚至开玩笑说，马云英文名可以从Jack Ma改为Data Ma。阿里现CEO陆兆禧曾做过CDO，首席数据官。为了用数据来驱动阿里电商帝国，阿里还成立了横跨各大事业部的“数据委员会”。
阿里的各项投资案也显示其整合、利用和完善数据的野心：新浪微博的社交及媒体数据、高德的地图数据和线下数据以及友盟的移动应用数据，都是其数据及平台战略的一部分。数据战略正在首席人工智能官(CBO)车品觉领头下逐步落地，王坚的云为其提供基础设施、基础技术支撑。
就在马云退休之后，王坚对外透露其跟马云开玩笑说的一句话：阿里巴巴对数据的理解深度，不会超过苏宁对电子商务的理解。估计马云不一定认同他这话。马云对大数据已经有着自己的理解和考量。马云曾经说过其对大数据的思考。大致意思是：现在从信息时代进入数据时代了。区别是信息时代更多的是精英玩的游戏。我比别人聪明，我能提取出信息出来;数据时代，别人比我聪明，将数据开放给更聪明的人处理，数据即资产，分析即服务。
计算机发展的过程是从象牙塔、到平民到草根。大数据也是这样，一开始在象牙塔阶段，少数精英公司才能玩;但到后面只要有数据就有价值。数据也有所有权，产生数据、流通数据、挖掘数据的都会获得相应的价值。而阿里擅长的便是“建立市场”，建立一个数据交易市场。届时任何个人和企业都可以将数据和挖掘服务拿上去，交易。初期阿里会将自己珍藏的电商和信用数据逐步放到上面。 有数据的人，拿上去卖，或者让别人分析，分析即服务。没有数据的人，即可以去买，也可以去帮别人挖掘，做矿工。
阿里并不是技术驱动，而是业务驱动的。因此在技术层面我们看到，基于前面提到的阿里大数据思路，其技术重心主要在系统层面。阿里拥有LVS(Linux Virtual Server，Linux虚拟服务器)开源软件创始人章文嵩，Linux Kernal、文件系统、大牛DBA等领域的大牛。从人才布局可以看到阿里擅长的技术领域，体现在对于并发访问、电信级别的电商业务的支撑方面的得心应手。在去年双十一期间，支撑了单日过亿的订单量。铁道部奇葩网12306在日均40万时已经不行了。
总体来看，阿里更多是在搭建数据的流通、收集和分享的底层架构。自己并不擅长似乎也不会着重来做数据挖掘的活儿。而是将自己擅长的“交易”生意扩展到数据。让天下没有难做的“数据生意”。
总结一下
移动互联网浪潮下，现实世界正在加速数字化，每个人，每个物体、每件事情、每一个时间节点，都在向网上映射。空间和时间两个维度的联网，使得数字世界正在接近一步步模拟现实世界。历史、现在和未来都会映射到网上。对大数据的挖掘正是对世界的二次发现和感知。BAT三巨头已经出发。

㈤ 百度有大数据分析或数据挖掘团队吗

有的，网络有专门的大数据实验室，隶属于研究院，有业界著名的专家领导，实力很强。另外，网络的其他很多部门也都有相应的数据挖掘团队，比如搜索中有做自然语言处理的团队等等。

㈥ 百度 大数据部 数据开发实习怎么样

实习还是可以去的，最后干不干你自己考虑
数据库工程师工资待遇目前在一线城市能达到版7K---1.2K，具体的要看你权的能力，我以前实习的地方瑭锦，那里的师傅明确告诉我，数据库比软件开发有前景，不管是待遇还是以后的提升空间，都要远远比软件开发要好，搂主根据自身，慎重选择。