百度成立大數據部

㈠ 如何在海量數據中尋找和分析信息

如何在海量數據中尋找和分析信息
雖然大數據這個概念炒的非常火，但是大數據內部運作的邏輯，其實和我們傳統行業是比較類似的。比如如果傳統行業做實業的話，首先要有地基，你要有廠房，要有原材料，然後做加工，接下來設計成獨立的產品，給客戶帶來獨特的體驗。我們剛才講的開放雲就是大數據的地基和廠房，原材料就是在線上和線下產生的海量數據。這個是我們現在網路目前每天數據規模，2013年是25PB，這個數字在快速的變化，我們現在處理的能力已經提高一倍，數據上目前是50PB，增長了一倍，這個就是我們目前大資料庫要處理的數據的原材料。那麼有了原材料接下來該怎麼辦？
數據存儲
稍微看一下我們目前的大數據處理能力的三層架構。首先我們有海量的數據儲存能力，然後在這個基礎上，我們會做很多智能的分析，在這個基礎上我們做很多大數據的產品，我們會逐步的開放這三個方面的能力。先說一下海量數據，做實業的各位領導和專家們，如果你有原材料，最關鍵的下一步要做兩件事，一件事情是物流，第二件事情是原材料的標准化，要把原材料製成毛坯，在這個基礎上才能實現你的產能。
在海量數據的處理上是這樣的，網路三年前我們的架構是左邊這樣一個模式，在這個時候我們的數據傳輸，我們數據的儲存都是每個產品線有自己的方式，我們大概用了兩年的時間構建現在的數據儲存方式，解決兩個問題，一是數據的傳輸。現在網路很多產品線要實時產生大量海量的數據，這些數據都需要被實時的儲存一個地方。
但是這些產品線的數據格式都是異構的。我們做了非常多的標准化的工作，在基礎上形成了第一個海量數據儲存的產品，叫通用的數據倉庫。在使用這個通用的數據倉庫，我們第一個構建了實時的海量數據的傳輸平台，那麼任何一個產品線產生的數據都能夠實時的傳送到這個數據倉庫裡面。另外我們做了實時的數據標准化的工作，無論你的數據是什麼樣的格式，到我們數據倉庫裡面都以同樣的格式來儲存，有了這個物流，有了這個標准化，我們能夠在這個基礎上對數據進行更多的分析和加工。
那麼從這開始，網路的數據就開始在大數據部門進行各種各樣的處理過程。
數據分析
這個圖有點復雜，這是數據在網路的一個生命周期，這邊涉及到很多的技術細節，我會詳細一一介紹。這里我想強調的是整個數據的流程是全自動化的，從數據的生成，數據的傳輸，數據的標准化，到最後數據的歸類，數據的分析，都是全自動化的。這裡面我是很高興跟大家宣布，我們這套全自動化的流程，並形成了我們自己的產品。
這個產品我們現在有一個英文名字叫Query Engine，是一套標準的海量數據儲存方案，首先無論你的數據是什麼樣的，經過我們的處理會把它做成數據標准化，當你的數據實時生成，我們有非常好的數據傳輸框架，保證你的數據上傳到網路的開放雲，在上面進行建模，進行各種各樣可視化分析和決策的過程。我們已經成功了上傳分析一家合作企業將近10T的關於新能源方面的一些數據。網路非常歡迎傳統企業，如果你有海量的數據，你需要各種各樣的分析和操作的話，來接洽我們，來使用我們這款產品。
當這個數據已經被結構化儲存以後，我們希望在這個基礎上能夠進行各種各樣的智能化分析。就像傳統行業有自己的產品設計中心一樣，會對產品進行各種各樣的分析、排列組合，做各種各樣的實驗。在這個實驗的基礎上能夠產生出比較好的產品，能夠滿足用戶的需求。那麼在大數據部門也有這樣的需求，也需要有大數據產品的設計中心，在這個設計中心需要做很多實驗，做出適用於網路，適用於客戶的數據產品。所以這個產品經過四個月的努力，我們也已經對外開放。就是之前高級總監朱永忠介紹的，大家可以通過這個域名去訪問。
在這上面，我們大數據新產品的設計中心，可以進行很多實時的智能分析，做很多的實驗，對產品進行很多排列組合，看哪一種產品能夠最適合行業，滿足網路的需求。
大數據產品
那麼有了這樣的開放能力，下面給大家介紹在這個基礎上大數據部研發出來的三個大數據產品，希望能夠對在座的做實業的朋友有幫助。
第一個產品叫網路司南，專門針對於當企業發展到一定的階段，有了一定的品牌影響力的企業，能夠讓企業對自身的品牌有更客觀的了解，一共是三個方面。第一個是品牌分析，實際上你應該很想知道你的品牌在那個同行業里它的定位怎麼樣，周邊的人是如何看待你這個品牌的，對你這個品牌的口碑怎麼樣。而且我們把它做到基本上是實時的，你可以此時此刻知道大家對你品牌的口碑到底怎麼樣。
另外一方面，關注你的品牌，應該一定有一批已經比較忠實的用戶了，那麼這些人除了關注你的品牌，像剛才陳總講的一樣，除了關注你的品牌，他還關心什麼別的，他還對什麼樣的東西感興趣。這些我們通過基於統計的用戶畫像也能夠告訴你。
另外一個這些人是通過什麼渠道來了解到你的品牌，他是通過IPAD，是通過手機，通過看電視，還是通過PC、還是移動互聯網的瀏覽，這樣以後做營銷行為，就知道如何很快的影響到你的受眾，什麼樣的渠道是最有效的。那麼通過這幾個方式，我們都能夠告訴大家你的品牌到底處在什麼樣的狀態。
給大家看兩個司南在品牌上的應用。第一個叫代言人。很多品牌到了後期推廣的時候，都有找代言人的需求。什麼樣的代言人在你最想影響的受眾是最有號召力。之前是一些拍腦袋的決策，但是通過我們司南，通過海量的數據，通過海量的用戶行為分析，可以幫助你做一個決策的科學。實際上我們已經通過大數據的分析，可以產生出超過一千家的企業，他們最合適的代言人到底是哪一位。如果哪位老總也想嘗試自己品牌的話，可以和我們合作，我們可以告訴你，通過我們的數據，什麼樣的代言人，對於你的受眾會產生最大的品牌號召力。
另外一個是輿情分析，實際是跟品牌的口碑最像。你的企業里有一系列的產品，每一個產品可能有輕微的差異化，就像我們的化妝品一樣，每一款產品在用戶中的口碑到底怎麼樣，用戶喜歡這些產品什麼樣的功能，不喜歡這些產品什麼樣的功能。在之前，很多公司通過調研公司到各個城市，通過實時的訪談獲得一些統計數據。整個過程要耗費一個月左右。通過我們的輿情分析，幾乎可以實時告訴你這個答案，到底有多少用戶是喜歡這個功能，有多少用戶不喜歡這個功能。一個是通過一個月，一個是通過實時，這樣的話就有時間差了。這個時間差就是網路大數據能給傳統行業帶來的競爭力。
這是我們第一款基於大數據的工具，叫網路司南。
另外就是我們的預測平台產品。預測這個產品說的已經比較多了，這次想跟大家說的是，當我們發布了預測產品，並且取得了比較好的效果，很多公司，或者是一些政府部門會跟我們接洽，能不能幫我們也分析一下數據。比如景點希望我們幫他預測下一步七天的人流到底多還是不多。有的企業希望讓我們幫他預測下一步季度營業額是否能跟上一個季度匹配。
我們現在非常高興的把我們的預測平台能力開放出來，你不需要再去接洽網路的產品經理做這樣的事情，只要你使用我們的開放平台上傳你的數據，我們後面就會基於一系列各種各樣的數據分析，智能的演算法和網路後台自己的數據幫你做一些決策和分析。希望能夠幫助傳統企業做決策分析的時候能夠多一些科學的決策依據。
另外一個是我們的推薦。我們現在非常高興把我們這個能力也開放出來，非常可惜我們目前只面對互聯網的站長，站長可以定定製到底想用我們推薦的哪一方面的技術和性能、功能，非常靈活的為他的網站做推薦。但實際上我們最想做到的是把我們這套推薦引擎，和傳統行業結合起來，和很多實時推薦結合起來，在這塊也非常希望傳統的行業能跟我們接洽，把我們這種非常先進的線上推薦的技術和線下的場景結合起來，在線下發揮更大的功能。
三個產品只是揭開了冰山一角，在大數據這個方面，產品設計的想像力其實是很多很多的，我們在這方面也非常興奮，後面我們也會陸續推出一系列的大數據產品，請大家期待。網路願意與更多的人一起合作，在大數據這個方向上給網路，給行業、給用戶帶來更多的價值。

㈡ 王勁的介紹

王勁現任網路高級副總裁、網路技術戰略委員會主席、自動駕駛事業部總經理。 王勁於2010年4月加入網路。期間，王勁分別創立了網路移動雲事業部、網路大數據部、網路基礎架構（雲計算）部、網路美國研發中心、網路深圳研發中心；並以網路深度學習實驗室（IDL）為基礎，聯合創立了網路研究院，專注人工智慧發展。近期，他還創立了網路自動駕駛事業部。在2010年4月到2015年4月的5年間，王勁同時還負責網路商業變現的技術與產品（鳳巢），通過技術手段，讓網路收入在5年內提升了整整10倍。 王勁領導打造了網路大數據引擎、大數據+開放平台、網路雲、網路開放雲、網路大腦，並積極推動語音識別、圖像識別等前沿技術的發展。他提早布局了以ARM CPU、GPU、FPGA為基礎的高性能異構計算平台，讓網路的HPC（高性能計算）能力處於國際領先地位。他積極部署和推動了自動駕駛技術的發展與應用，推動了互聯網技術、業務模式與汽車產業的深度融合。網路自動駕駛汽車於2015年12月初成功路測。作為網路技術的最高決策機構——技術戰略委員會主席，王勁積極推動技術創新、制定技術發展戰略、優化流程和平台，打造出一支中國頂尖的技術團隊，使網路的技術成為業內的標桿。 王勁於2013年12月晉升為網路高級副總裁。 在網路之前，王勁在甲骨文、Informix、E-Loan等位於美國矽谷的多家公司任職，並在回國後歷任阿里巴巴資深技術總監、EBay中國CTO、EBay中國研發中心總經理、谷歌中國工程研究院副院長。

㈢ 國內比較好的大數據 公司有哪些

大數據公司按出身可分為三類:
一類是有經過檢驗的大數據核心技術能力和大回平台的運營答能力的平台型公司，代表企業有網路、騰訊、阿里巴巴（2C）等。他們已經擁有核心大數據能力，如數據採集，數據存儲，數據分析，數據可視化以及數據安全等。
第二是有大數據核心技術的公司，如基礎設施公司，華為、中興、浪潮等大公司；還有大數據各個領域的專業的技術公司，如數據挖掘、數據買賣、演算法和模型、數據存儲、可視化等。
第三類提供大數據行業解決方案的公司，如安防、金融、農業、政務、旅遊等行業解決方案。這些企業往往是軟體公司起步，轉而做SAAS，然後做大數據。這類企業對行業的理解更深，大數據應用場景更實際。

㈣ BAT三巨頭開始挖掘大數據

BAT三巨頭開始挖掘大數據
阿里巴巴CTO即阿里雲負責人王堅博士說過一句話：雲計算和大數據，你們都理解錯了。
實際上，對於大數據究竟是什麼業界並無共識。大數據並不是什麼新鮮事物。信息革命帶來的除了信息的更高效地生產、流通和消費外，還帶來數據的爆炸式增長。「引爆點」到來之後，人們發現原有的零散的對數據的利用造成了巨大的浪費。移動互聯網浪潮下，數據產生速度前所未有地加快。人類達成共識開始系統性地對數據進行挖掘。這是大數據的初心。數據積累的同時，數據挖掘需要的計算理論、實時的數據收集和流通通道、數據挖掘過程需要使用的軟硬體環境都在成熟。
概念、模式、理論很重要，但在最具實干精神的互聯網領域，行動才是最好的答案。國內互聯網三巨頭BAT坐擁數據金礦，已陸續踏上了大數據掘金之路。
BAT都是大礦主，但礦山性質不同
數據如同蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。
網路擁有兩種類型的大數據：用戶搜索表徵的需求數據;爬蟲和阿拉丁獲取的公共web數據。
阿里巴巴擁有交易數據和信用數據。這兩種數據更容易變現，挖掘出商業價值。除此之外阿里巴巴還通過投資等方式掌握了部分社交數據、移動數據。如微博和高德。
騰訊擁有用戶關系數據和基於此產生的社交數據。這些數據可以分析人們的生活和行為,從裡面挖掘出政治、社會、文化、商業、健康等領域的信息，甚至預測未來。
下面，就將三家公司的情況一一掃描與分析。
一、網路：含著數據出生且擁有挖掘技術，研究和實用結合
搜索巨頭網路圍繞數據而生。它對網頁數據的爬取、網頁內容的組織和解析，通過語義分析對搜索需求的精準理解進而從海量數據中找准結果，以及精準的搜索引擎關鍵字廣告，實質上就是一個數據的獲取、組織、分析和挖掘的過程。
除了網頁外，網路還通過阿拉丁計劃吸收第三方數據，通過業務手段與葯監局等部門合作拿到封閉的數據。但是，盡管網路擁有核心技術和數據礦山，卻還沒有發揮出最大潛力。網路指數、網路統計等產品算是對數據挖掘的一些初級應用，與Google相比，網路在社交數據、實時數據的收集和由數據流通到數據挖掘轉換上有很大潛力，還有很多事情要做。
2月底在北京出差時，寫了一篇《搜索引擎的大數據時代》發在虎嗅。創造了零回復的記錄。盡管如此，仍然沒有打消我對搜索引擎在大數據時代深層次變革的思考。 搜索引擎在大數據時代面臨的挑戰有：更多的暗網數據;更多的WEB化但是沒有結構化的數據;更多的WEB化、結構化但是封閉的數據。這幾個挑戰使得數據正在遠離傳統搜索引擎。不過，搜索引擎在大數據上畢竟具備技術沉澱以及優勢。
接下來，網路會向企業提供更多的數據和數據服務。前期網路與寶潔、平安等公司合作，為其提供消費者行為分析和挖掘服務，通過數據結論指導企業推出產品，是一種典型的基於大數據的C2B模式。與此類似的還有Netflix的《紙牌屋》美劇，該劇的男主角凱文·史派西和導演大衛·芬奇都是通過對網路數據挖掘之後，根據受歡迎情況選中的。
網路還會利用大數據完成移動互聯網進化。核心攻關技術便是深度學習。基於大數據的機器學習將改善多媒體搜索效果和智能搜索，如語音搜索、視覺搜索和自然語言搜索。這將催生移動互聯網的革命性產品的出現。盡管網路已經出發，其在大數據上可做的事情還有很多。
在數據收集方面，網路需要聚合更多高價值的交易、社交和實時數據。例如加強自己貼吧知道的社交能力、盡快讓地圖服務與O2O結合進而掌握交易數據，以及推進移動App、穿戴式設備等數據收集系統。
在數據處理技術上，網路成立深度學習研究院加強自己在人工智慧領域的探索，在多媒體和中文自然語言處理領域已經有一些進展;雲存儲、雲計算的基礎設施建設也在逐步完善。但深度學習仍然是一個巨大的挑戰，網路等探索者還有很多待解問題，如：無監督式學習、立體圖像識別。
在數據變現方面，網路需將數據挖掘能力、數據內容聚合和提取等形成標准化的服務和產品，進而開拓大數據領域的企業和開發者市場。而不僅僅是頗為個性化、定製化地為大型企業提供解決。
網路的優勢體現在海量的數據、沉澱十多年的用戶行為數據、自然語言處理能力和深度學習領域的前沿研究。在技術人才方面網路是聚集國內最多大數據相關領域頂尖人才的公司。聽說網路前段時間花五千萬挖了數據挖掘、自然語言處理、深度學習領域的十來位大牛，包括一些學者和教授。例如Facebook科學家徐偉。
在挖人上，捨得花錢不夠，還得用心。對於真正的大牛來說，錢只是一個影響因素。能否實現自己的夢想，公司的資源能否幫助自己的研究至關重要。徐偉在回國前就曾問過其他從矽谷回國工程師的意見，得到答案是積極的，最終促成他作出決定。
總體來看，網路擁有大數據也具備大數據挖掘的能力，並且正在進行積極地准備和探索。在加強面向未來的研究和人才布局的同時，也注重實用性的技術產出。
二、騰訊：數據為產品所用，自產自銷
微創新提出者金錯刀有個關於騰訊的故事。 1999年騰訊公司剛剛成立不久，天使投資人劉曉松決定向其注資的一個主要原因就是因為他發現，「當時雖然他們的公司還很小,但已經有用戶運營的理念,後台對於用戶的每一個動作都有記錄和分析。」而另一個投資人卻因為馬化騰在公司很小時就花錢在數據上表示不滿。此後騰訊的產品生產及運營、騰訊游戲的崛起都離不開對數據的重視。
騰訊擁有社交大數據，在企鵝帝國完成數據的製造、流通、消費和挖掘。 騰訊大數據目前釋放價值更多是改進產品。據騰訊Q1財報，增值服務占總收入的78.7%;電子商務業務佔14.1%;網路廣告收入佔6.3%。從廣告收入比例可以看出騰訊的大數據在精準營銷領域暫時還未大量釋放出價值。與其產品線對應的GMAIL、Google+的Google以及社交巨頭Facebook則通過廣告賺得盆滿缽滿。
在筆者看來，騰訊的思路主要是補齊產品，注重QZONE、微信、電商等產品的後端數據打通。例如最近騰訊微博利用「大數據技術」實現好友關系自動分組、低質量信息自動過濾、優質信息分類閱讀等智能化功能。明顯的用數據改進產品的思路。 那麼如果騰訊要深入大數據挖掘缺少什麼呢?筆者認為其只需馬化騰「摁下啟動按鈕」。數據已經准備好了，就差模式，也就是找到需求或者能更深層次驅動大數據利用的產品，而不是用大數據改進自己的產品。騰訊還在觀望，等其他人去試錯驗證出一套模式或者產品後，自己可以「站在巨人肩上」。這是騰訊的典型思維。
在人才方面，騰訊很早便開始重金挖人。尤其是2010年在Google宣布退出中國後，Google圖片搜索創始人朱會燦、Google中國工程研究院副院長顏偉鵬、Google中日韓文搜索演算法的主要設計者，《浪潮之巔》及《數學之美》作者吳軍相繼加入騰訊。搜搜花了很多錢，但被認定為一款無法承載騰訊重託的產品，最後這些大牛都走了。大都回Google了。
騰訊在大數據領域也缺少技術帶頭人。其對公關也不重視。技術大牛很少出來做報告，更不會向網路、阿里那樣主動包裝宣傳技術大牛。其技術雖然低調，但執行力很強。據騰訊的程序員朋友說封閉開發、集體加班是常有的事情。但配套的重金激勵也能跟上。重金之下必有勇夫、騰訊用制度保障技術產出。另外騰訊在高校合作領先一步，在2010年便與清華大學合作成立了清華騰訊聯合實驗室。這么看騰訊的技術人才這塊似乎有短板。會不會到時候馬化騰按下啟動按鈕，發現沒數據挖掘能力呢?不會，騰訊搞不定數據挖掘，到時候依然可以挖到大牛，甚至讀論文來搞定這事兒。數據挖掘已較為成熟。數據挖掘實際是資料庫、統計學、機器學習三個領域的融合。在學術界已經發展多年。不過自然語言識別和深度學習等方面要趕上網路，就難了。除非將網路的數據和眾大牛一起倒騰過來。
總體來看，騰訊目前的大數據策略是先將產品補全，產品後台數據打通，形成穩定生態圈。本階段先利用大數據挖掘改進自己的產品。後期有成熟的模式合適的產品，則利用自家的社交及關系數據時，開展對大數據的進一步挖掘。
三、阿里巴巴：坐擁金數據，嘗試做面向未來的數據集市
阿里巴巴B2B出身，在外貿蓬勃的大環境下，依靠服務中小企業發家。淘寶、支付寶等toC的產品出生前，阿里並不依賴也不擅長技術。業界普遍認為阿里沒有技術基因。直到淘寶、支付寶以及天貓三個產品後，對海量用戶大並發量交易、海量貨架數據的管理、安全性等方面的嚴苛要求，阿里完成進化，在電商技術上取得不菲的成績。在一段時期阿里仍然浪費了手裡掌握的大量數據。這些數據還是「最值錢」的金數據。
數據挖掘無非是從原始數據提取價值。阿里現有的數據產品例如數據魔方、量詞統計、推薦系統、排行榜以及時光倒流相對來說是比較簡單的BI(商業智能)，沒到大數據的階段。「大數據」浪潮襲來，阿里提出「數據、金融和平台」戰略。前所未有地重視起對數據的收集、挖掘和共享。馬雲在「退居」前動不動都對外提「數據」。有位阿里朋友甚至開玩笑說，馬雲英文名可以從Jack Ma改為Data Ma。阿里現CEO陸兆禧曾做過CDO，首席數據官。為了用數據來驅動阿里電商帝國，阿里還成立了橫跨各大事業部的「數據委員會」。
阿里的各項投資案也顯示其整合、利用和完善數據的野心：新浪微博的社交及媒體數據、高德的地圖數據和線下數據以及友盟的移動應用數據，都是其數據及平台戰略的一部分。數據戰略正在首席人工智慧官(CBO)車品覺領頭下逐步落地，王堅的雲為其提供基礎設施、基礎技術支撐。
就在馬雲退休之後，王堅對外透露其跟馬雲開玩笑說的一句話：阿里巴巴對數據的理解深度，不會超過蘇寧對電子商務的理解。估計馬雲不一定認同他這話。馬雲對大數據已經有著自己的理解和考量。馬雲曾經說過其對大數據的思考。大致意思是：現在從信息時代進入數據時代了。區別是信息時代更多的是精英玩的游戲。我比別人聰明，我能提取出信息出來;數據時代，別人比我聰明，將數據開放給更聰明的人處理，數據即資產，分析即服務。
計算機發展的過程是從象牙塔、到平民到草根。大數據也是這樣，一開始在象牙塔階段，少數精英公司才能玩;但到後面只要有數據就有價值。數據也有所有權，產生數據、流通數據、挖掘數據的都會獲得相應的價值。而阿里擅長的便是「建立市場」，建立一個數據交易市場。屆時任何個人和企業都可以將數據和挖掘服務拿上去，交易。初期阿里會將自己珍藏的電商和信用數據逐步放到上面。 有數據的人，拿上去賣，或者讓別人分析，分析即服務。沒有數據的人，即可以去買，也可以去幫別人挖掘，做礦工。
阿里並不是技術驅動，而是業務驅動的。因此在技術層面我們看到，基於前面提到的阿里大數據思路，其技術重心主要在系統層面。阿里擁有LVS(Linux Virtual Server，Linux虛擬伺服器)開源軟體創始人章文嵩，Linux Kernal、文件系統、大牛DBA等領域的大牛。從人才布局可以看到阿里擅長的技術領域，體現在對於並發訪問、電信級別的電商業務的支撐方面的得心應手。在去年雙十一期間，支撐了單日過億的訂單量。鐵道部奇葩網12306在日均40萬時已經不行了。
總體來看，阿里更多是在搭建數據的流通、收集和分享的底層架構。自己並不擅長似乎也不會著重來做數據挖掘的活兒。而是將自己擅長的「交易」生意擴展到數據。讓天下沒有難做的「數據生意」。
總結一下
移動互聯網浪潮下，現實世界正在加速數字化，每個人，每個物體、每件事情、每一個時間節點，都在向網上映射。空間和時間兩個維度的聯網，使得數字世界正在接近一步步模擬現實世界。歷史、現在和未來都會映射到網上。對大數據的挖掘正是對世界的二次發現和感知。BAT三巨頭已經出發。

㈤ 百度有大數據分析或數據挖掘團隊嗎

有的，網路有專門的大數據實驗室，隸屬於研究院，有業界著名的專家領導，實力很強。另外，網路的其他很多部門也都有相應的數據挖掘團隊，比如搜索中有做自然語言處理的團隊等等。

㈥ 百度 大數據部 數據開發實習怎麼樣

實習還是可以去的，最後干不幹你自己考慮
資料庫工程師工資待遇目前在一線城市能達到版7K---1.2K，具體的要看你權的能力，我以前實習的地方瑭錦，那裡的師傅明確告訴我，資料庫比軟體開發有前景，不管是待遇還是以後的提升空間，都要遠遠比軟體開發要好，摟主根據自身，慎重選擇。