大數據tdw

① 國內外的Hadoop應用現狀

文 | 翟周偉
本文節選自《Hadoop核心技術》一書。
Hadoop是一個開源的高效雲計算基礎架構平台，其不僅僅在雲計算領域用途廣泛，還可以支撐搜索引擎服務，作為搜索引擎底層的基礎架構系統，同時在海量數據處理、數據挖掘、機器學習、科學計算等領域都越來越受到青睞。本文將講述國內外的hadoop應用現狀。
國外Hadoop的應用現狀
1.Yahoo
Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop機器總節點數目超過42?000個，有超過10萬的核心CPU在運行Hadoop。最大的一個單Master節點集群有4500個節點(每個節點雙路4核心CPUboxesw，4×1TB磁碟，16GBRAM)。總的集群存儲容量大於350PB，每月提交的作業數目超過1000萬個，在Pig中超過60%的Hadoop作業是使用Pig編寫提交的。
Yahoo的Hadoop應用主要包括以下幾個方面：
支持廣告系統
用戶行為分析
支持Web搜索
反垃圾郵件系統
會員反濫用
內容敏捷
個性化推薦
同時Pig研究並測試支持超大規模節點集群的Hadoop系統。
2.Facebook
Facebook使用Hadoop存儲內部日誌與多維數據，並以此作為報告、分析和機器學習的數據源。目前Hadoop集群的機器節點超過1400台，共計11?200個核心CPU，超過15PB原始存儲容量，每個商用機器節點配置了8核CPU，12TB數據存儲，主要使用StreamingAPI和JavaAPI編程介面。Facebook同時在Hadoop基礎上建立了一個名為Hive的高級數據倉庫框架，Hive已經正式成為基於Hadoop的Apache一級項目。此外，還開發了HDFS上的FUSE實現。
3.A9.com
A9.com為Amazon使用Hadoop構建了商品搜索索引，主要使用StreamingAPI以及C++、Perl和Python工具，同時使用Java和StreamingAPI分析處理每日數以百萬計的會話。A9.com為Amazon構建的索引服務運行在100節點左右的Hadoop集群上。
4.Adobe
Adobe主要使用Hadoop及HBase，同於支撐社會服務計算，以及結構化的數據存儲和處理。大約有超過30個節點的Hadoop-HBase生產集群。Adobe將數據直接持續地存儲在HBase中，並以HBase作為數據源運行MapRece作業處理，然後將其運行結果直接存到HBase或外部系統。Adobe在2008年10月就已經將Hadoop和HBase應用於生產集群。
5.CbIR
自2008年4月以來，日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop來構建圖像處理環境，用於圖像產品推薦系統。使用Hadoop環境生成源資料庫，便於Web應用對其快速訪問，同時使用Hadoop分析用戶行為的相似性。
6.Datagraph
Datagraph主要使用Hadoop批量處理大量的RDF數據集，尤其是利用Hadoop對RDF數據建立索引。Datagraph也使用Hadoop為客戶執行長時間運行的離線SPARQL查詢。Datagraph是使用AmazonS3和Cassandra存儲RDF數據輸入和輸出文件的，並已經開發了一個基於MapRece處理RDF數據的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDF.rb以及自己開發的RDFgrid框架來處理RDF數據，主要使用HadoopStreaming介面。
7.EBay
單集群超過532節點集群，單節點8核心CPU，容量超過5.3PB存儲。大量使用的MapRece的Java介面、Pig、Hive來處理大規模的數據，還使用HBase進行搜索優化和研究。
8.IBM
IBM藍雲也利用Hadoop來構建雲基礎設施。IBM藍雲使用的技術包括：Xen和PowerVM虛擬化的Linux操作系統映像及Hadoop並行工作量調度，並發布了自己的Hadoop發行版及大數據解決方案。
9.Last.Fm
Last.Fm主要用於圖表計算、專利申報、日誌分析、A/B測試、數據集合並等，也使用Hadoop對超過百萬的曲目進行大規模的音頻特徵分析。
節點超過100台機器，集群節點配置雙四核[email protected]@2.13GHz，24GB內存，8TB(4×2TB)存儲。
10.LinkedIn
LinkedIn有多種硬體配置的Hadoop集群，主要集群配置如下：
800節點集群，基於Westmere的惠普SL170X與2×4的核心，24GB內存，6×2TBSATA。
1900節點集群，基於Westmere的超微-HX8DTT，與2×6的核心，24GB內存，6×2TBSATA。
1400節點集群，基於SandyBridge超微與2×6的核心，32GB內存，6×2TBSATA。
使用的軟體如下：
操作系統使用RHEL6.3。
JDK使用SUNJDK1.6.0_32。
Apache的Hadoop0.20.2的補丁和ApacheHadoop的1.0.4補丁。
Azkaban和Azkaban用於作業調度。
Hive、Avro、Kafka等。
11.MobileAnalytic.TV
主要使用Hadoop應用在並行化演算法領域，涉及的MapRece應用演算法如下。
信息檢索和分析。
機器生成的內容——文檔、文本、音頻、視頻。
自然語言處理。
項目組合包括：
移動社交網路。
網路爬蟲。
文本到語音轉化。
音頻和視頻自動生成。
12.Openstat
主要利用Hadoop定製一個網路日誌分析並生成報告，其生產環境下超過50個節點集群(雙路四核Xeon處理器，16GB的RAM，4～6硬碟驅動器)，還有兩個相對小的集群用於個性化分析，每天處理約500萬的事件，每月15億美元的交易數據，集群每天產生大約25GB的報告。
使用的技術主要包括：CDH、Cascading、Janino。
13.Quantcast
3000個CPU核心，3500TB存儲，每日處理1PB以上的數據，使用完全自定義的數據路徑和排序器的Hadoop調度器，對KFS文件系統有突出貢獻。
14.Rapleaf
超過80個節點的集群(每個節點有2個雙核CPU，2TB×8存儲，16GBRAM內存);主要使用Hadoop、Hive處理Web上關聯到個人的數據，並引入Cascading簡化數據流穿過各種處理階段。
15.WorldLingo
硬體上超過44台伺服器(每台有2個雙核CPU，2TB存儲，8GB內存)，每台伺服器均運行Xen，啟動一個虛擬機實例運行Hadoop/HBase，再啟動一個虛擬機實例運行Web或應用程序伺服器，即有88台可用的虛擬機;運行兩套獨立的Hadoop/HBase機群，它們各自擁有22個節點。Hadoop主要用於運行HBase和MapRece作業，掃描HBase的數據表，執行特定的任務。HBase作為一種可擴展的、快速的存儲後端，用於保存數以百萬的文檔。目前存儲了1200萬篇文檔，近期的目標是存儲4.5億篇文檔。
16.格拉斯哥大學的TerrierTeam
超過30個節點的實驗集群(每節點配置XeonQuadCore2.4GHz，4GB內存，1TB存儲)。使用Hadoop促進信息檢索研究和試驗，特別是用於TREC，用於TerrierIR平台。Terrier的開源發行版中包含了基於HadoopMapRece的大規模分布式索引。
17.內布拉斯加大學的HollandComputingCenter
運行一個中等規模的Hadoop機群(共計1.6PB存儲)用於存儲和提供物理數據，以支持緊湊型μ子螺旋型磁譜儀(CompactMuonSolenoid，CMS)實驗的計算。這需要一類能夠以幾Gbps的速度下載數據，並以更高的速度處理數據的文件系統的支持。
18.VisibleMeasures
將Hadoop作為可擴展數據流水線的一個組件，最終用於VisibleSuite等產品。使用Hadoop匯總、存儲和分析與網路視頻觀眾收看行為相關的數據流。目前的網格包括超過128個CPU核心，超過100TB的存儲，並計劃大幅擴容。
國內Hadoop的應用現狀
Hadoop在國內的應用主要以互聯網公司為主，下面主要介紹大規模使用Hadoop或研究Hadoop的公司。
1.網路
網路在2006年就開始關注Hadoop並開始調研和使用，在2012年其總的集群規模達到近十個，單集群超過2800台機器節點，Hadoop機器總數有上萬台機器，總的存儲容量超過100PB，已經使用的超過74PB，每天提交的作業數目有數千個之多，每天的輸入數據量已經超過7500TB，輸出超過1700TB。
網路的Hadoop集群為整個公司的數據團隊、大搜索團隊、社區產品團隊、廣告團隊，以及LBS團體提供統一的計算和存儲服務，主要應用包括：
數據挖掘與分析。
日誌分析平台。
數據倉庫系統。
推薦引擎系統。
用戶行為分析系統。
同時網路在Hadoop的基礎上還開發了自己的日誌分析平台、數據倉庫系統，以及統一的C++編程介面，並對Hadoop進行深度改造，開發了HadoopC++擴展HCE系統。
2.阿里巴巴
阿里巴巴的Hadoop集群截至2012年大約有3200台伺服器，大約30?000物理CPU核心，總內存100TB，總的存儲容量超過60PB，每天的作業數目超過150?000個，每天hivequery查詢大於6000個，每天掃描數據量約為7.5PB，每天掃描文件數約為4億，存儲利用率大約為80%，CPU利用率平均為65%，峰值可以達到80%。阿里巴巴的Hadoop集群擁有150個用戶組、4500個集群用戶，為淘寶、天貓、一淘、聚劃算、CBU、支付寶提供底層的基礎計算和存儲服務，主要應用包括：
數據平台系統。
搜索支撐。
廣告系統。
數據魔方。
量子統計。
淘數據。
推薦引擎系統。
搜索排行榜。
為了便於開發，其還開發了WebIDE繼承開發環境，使用的相關系統包括：Hive、Pig、Mahout、Hbase等。
3.騰訊
騰訊也是使用Hadoop最早的中國互聯網公司之一，截至2012年年底，騰訊的Hadoop集群機器總量超過5000台，最大單集群約為2000個節點，並利用Hadoop-Hive構建了自己的數據倉庫系統TDW，同時還開發了自己的TDW-IDE基礎開發環境。騰訊的Hadoop為騰訊各個產品線提供基礎雲計算和雲存儲服務，其支持以下產品：
騰訊社交廣告平台。
搜搜(SOSO)。
拍拍網。
騰訊微博。
騰訊羅盤。
QQ會員。
騰訊游戲支撐。
QQ空間。
朋友網。
騰訊開放平台。
財付通。
手機QQ。
QQ音樂。
4.奇虎360
奇虎360主要使用Hadoop-HBase作為其搜索引擎so.com的底層網頁存儲架構系統，360搜索的網頁可到千億記錄，數據量在PB級別。截至2012年年底，其HBase集群規模超過300節點，region個數大於10萬個，使用的平台版本如下。
HBase版本：facebook0.89-fb。
HDFS版本：facebookHadoop-20。
奇虎360在Hadoop-HBase方面的工作主要為了優化減少HBase集群的啟停時間，並優化減少RS異常退出後的恢復時間。
5.華為
華為公司也是Hadoop主要做出貢獻的公司之一，排在Google和Cisco的前面，華為對Hadoop的HA方案，以及HBase領域有深入研究，並已經向業界推出了自己的基於Hadoop的大數據解決方案。
6.中國移動
中國移動於2010年5月正式推出大雲BigCloud1.0，集群節點達到了1024。中國移動的大雲基於Hadoop的MapRece實現了分布式計算，並利用了HDFS來實現分布式存儲，並開發了基於Hadoop的數據倉庫系統HugeTable，並行數據挖掘工具集BC-PDM，以及並行數據抽取轉化BC-ETL，對象存儲系統BC-ONestd等系統，並開源了自己的BC-Hadoop版本。
中國移動主要在電信領域應用Hadoop，其規劃的應用領域包括：
經分KPI集中運算。
經分系統ETL/DM。
結算系統。
信令系統。
雲計算資源池系統。
物聯網應用系統。
E-mail。
IDC服務等。
7.盤古搜索
盤古搜索(目前已和即刻搜索合並為中國搜索)主要使用Hadoop集群作為搜索引擎的基礎架構支撐系統，截至2013年年初，集群中機器數量總計超過380台，存儲總量總計3.66PB，主要包括的應用如下。
網頁存儲。
網頁解析。
建索引。
Pagerank計算。
日誌統計分析。
推薦引擎等。
即刻搜索(人民搜索)
即刻搜索(目前已與盤古搜索合並為中國搜索)也使用Hadoop作為其搜索引擎的支撐系統，截至2013年，其Hadoop集群規模總計超過500台節點，配置為雙路6核心CPU，48G內存，11×2T存儲，集群總容量超過10PB，使用率在78%左右，每天處理讀取的數據量約為500TB，峰值大於1P，平均約為300TB。
即刻搜索在搜索引擎中使用sstable格式存儲網頁並直接將sstable文件存儲在HDFS上面，主要使用HadoopPipes編程介面進行後續處理，也使用Streaming介面處理數據，主要的應用包括：
網頁存儲。
解析。
建索引。
推薦引擎。
end

② MPP DB 是 大數據實時分析系統 未來的選擇嗎

大數據領域，實時分析系統（在線查詢）是最常見的一種場景，前面寫了一個《 實時分析系統 (HIVE/HBASE/IMPALA) 淺析 》討論業界當前常見的方案。互聯網公司用得比較多是 HIVE/HBASE ，如騰訊基於 HIVE 深度定製改造，改名為 TDW ，小米等公司選用 HBASE 等。關於 HIVE/HBASE/IMPALA 介紹等可以看我前面的文章。 當前在實時分析系統中，最難的是多維度復雜查詢，目前沒有一個很好的解決方案，這兩天和人討論到 MPP DB （分布式資料庫，以 Greenplum 為最典型代表）。如果從性能來講， MPP DB 在多維復雜查詢性能確實要好於 HIVE/HBASE/IMPALA 等，因此有不少聲音認為， MPP DB 是適合這種場景的未來的解決方案。 MPP DB 看似對多維度復雜查詢性能較好，但是同時有兩個致命的缺點，大家選型的時候不得不考慮： 1、 擴展性： MPP DB 都號稱都能擴展到 1000 個節點以上，實際在應用過程中，就我目前從公開資料看到的不超過 100 個節點，如支付寶中用 Greenplum 來做財務數據分析的最大一個集群 60 多台機器。另外和 Greenplum 公司交流，在廣東移動最大的用來做數據存儲的，也就 100 台以內。這和 hadoop 動不動 4,5 千個節點一個節點集群簡直不在一個數量級上。 為什麼 MPP DB 擴展性不好？ 有很多原因，有產品成熟度，也有應用廣度的問題，但是最根本的還是架構本身的問題。講到架構這里就要先講下 CAP 原則： Consistency( 一致性 ), 數據一致更新，所有數據變動都是同步的 Availability( 可用性 ), 好的響應性能 Partition tolerance( 分區容錯性 ) 可靠性 定理：任何 分布式 系統只可同時滿足二點，沒法三者兼顧。 忠告：架構師不要將精力浪費在如何設計能滿足三者的完美 分布式 系統，而是應該進行取捨。 MPP DB 還是基於原 DB 擴展而來， DB 裡面天然追求一致性（ Consistency ），必然帶來分區容錯性較差。集群規模變得太大，業務數據太多時， MPP DB 的元數據管理就完全是一個災難。元數據巨大無比，一旦出錯很難恢復，動不動導致毀庫。 所以 MPP DB 要在擴展性上有質的提示，要對元數據，以及數據存儲有架構上的突破，降低對一致性的要求，這樣擴展性才能提升，否則的話很難相信一個 MPP DB 資料庫是可以容易擴展的。 2、 並發的支持： 一個查詢系統，設計出來就是提供人用的，所以能支持的同時並發越高越好。MPP DB 核心原理是一 個大的查詢通過分析為一一個子查詢，分布到底層的執行，最後再合並結果，說白了就是通過多線程並發來暴力 SCAN 來實現高速。 這種暴力SCAN的方法，對單個查詢來說，動用了整個系統的能力，單個查詢比較快，但同時帶來用力過猛的問題，整個系統能支持的並發必然不高，從目前實際使用的經驗來說，也就支持50～100的並發能力。 當前HBASE/IMPALA應對復雜查詢時，也是通過全盤SCAN的方法來實現的，這種場景下，硬碟數量越多越好，轉速越快越好。HBASE為什麼號稱支持上千並發，這也是在特定的場景下（查詢時帶用戶標示，即帶row key)才能實現的，復雜查詢場景下，什麼系統都歇菜。 所以MPP DB應用場景已經非常明顯了，適合小集群（100以內），低並發的（50左右）的場景。MPP DB未來是不是趨勢，我不知道，但是至少目前來看，用MPP DB來應對大數據的實時分析系統是非常吃力的。

③ 個人簡歷前言怎麼寫

基本信息
盡量簡單。
主要包括：姓名/性別/電話/郵箱/居住地/教育信息

個人簡介
個人簡介是對自己的優勢、特點等進行綜合闡述的重要模塊，也是用人方了解自己的重要窗口；遺憾的是這個點被大部分人忽略了。

個人簡介應該包括：我是誰，公司/項目亮點經歷，擅長技術，風格，對事物的認知，未來的規劃等。同時個人簡介應該結合目標職位做適當調整。

以下兩個案例是我們協助候選人完善後的個人簡介，可以參考：

以下兩個案例可以參考：

案例1
我是紐約零售技術公司Caper的創始人兼首席執行官。 在Caper，我們正在領導開發一種具有AI功能的自助結賬購物車，該購物車已在美國和加拿大的主要雜貨店推出。 我們的目標是重塑實體零售格局並改變人們在實體店購物的方式（順便說一句，實體店仍佔零售總額的92％）。
我從14歲起就開始了自己的第一次創業，此後一直沒有停止過創造。 在我的整個人生旅程中，我一直擔任服務員，建築工人，收銀員，打字員和導師。 我還曾在高盛（Goldman Sachs）和摩根大通（J.P. Morgan）擔任投資銀行家兩年。 我已經嘗試過全部。
企業家精神每天都在提醒人們謙卑，而且它令人上癮。
在工作之餘，我是一個狂熱的讀者，一個體面的撲克玩家（以及任何聰明的/策略游戲），以及（一種）極簡主義者。
案例2
我是xx，具備8年以上互聯網從業經驗，先後效力於騰訊、阿里，同時2年的創業公司經歷。
擅長大數據平台構建。早期作為核心參與了騰訊分布式數據倉庫（TDW）、騰訊實時計算平台（TRC）及騰訊實時推薦系統的構建（每天實時處理200億流量），並多次獲得A級、S級考核；同時在創業型公司作為負責人，結合業務需求，主導過公司數據平台建設，成功支撐業務完成信息化轉型。
技術的價值在於支撐業務，形成商業閉環，所以近兩年在關注技術實現的同時也注重業務和技術的結合，不能為了技術而技術，最低成本高效的解決實際問題，才是技術的核心。

④ BAT的互聯網大數據應用有何不同

從數據類型看，騰訊數據最為全面，這與其互聯網業務全面相關，其最為突出的是社交數據和游戲數據，其中：社交數據最為核心的是關系鏈數據、用戶間的互動數據、用戶產生的文字、圖片和視頻內容；游戲數據主要包括大型網游數據、網頁游戲數據和手機游戲數據，游戲數據中最為核心的是游戲的活躍行為數據和付費行為數據，騰訊的數據最大的特點是基於社交的各種用戶行為和娛樂數據。阿里最為突出的是電商數據，尤其是用戶在淘寶和天貓上的商品瀏覽、搜索、點擊、收藏和購買等數據，其數據最大特點是從瀏覽到支付形成的用戶漏斗式轉化數據。網路的數據以用戶搜索的關鍵詞、爬蟲抓取的網頁、圖片和視頻數據為主，網路的數據特點是通過搜索關鍵詞更直接反映用戶興趣和需求，網路的數據以非結構化數據更多。

網路、阿里巴巴和騰訊的數據應用場景
網路、阿里巴巴和騰訊的數據應用場景都有共同的體系，該體系一共分為七層，代表了企業不同層面的數據價值應用場景，形成了企業運營的數據價值金字塔：

（1）數據基礎平台層。金字塔的最底層也是整個金字塔的基礎層，如果基礎層搭建不好，上面的應用層也很難在企業運營中發揮效果，這一層的技術目標是實現數據的有效存儲、計算和質量管理；業務目標是把企業的所有用戶（客戶）數據用唯一的ID串起來，包括用戶（客戶）的畫像（如性別、年齡等）、行為以及興趣愛好等，以達到全面的了解用戶（客戶）的目的；
（2）業務運營監控層。這一層首要的是搭建業務運營的關鍵數據體系，在此基礎上通過智能化模型開發出來的數據產品，監控關鍵數據的異動，通過各種分析模型等可以快速定位數據異動的原因，輔助運營決策；
（3）用戶/客戶體驗優化層。這一層主要是通過數據來監控和優化用戶/客戶的體驗問題。這裡面既運用了結構化的數據來監控，也運用非結構化的數據（如文本）來監控體驗的問題。前者更多的是應用各種用戶（客戶）體驗監測的模型或者工具來實現，後者更多的是通過監測微博、論壇和企業內部的客戶反饋系統的文本來發現負面的口碑，以及時的優化產品或服務；
（4）精細化運營和營銷層。這一層主要通過數據驅動業務精細化運營和營銷。主要可以分為四方面：第一，構建基於用戶的數據提取和運營工具，以方便運營和營銷人員通過人群定向把客戶提取出來，從而對客戶進行營銷或運營活動；第二方面，通過數據挖掘的手段提升客戶對活動的響應；第三，通過數據挖掘的手段進行客戶生命周期管理；第四，主要是用個性化推薦演算法基於用戶不同的興趣和需求推薦不同的商品或者產品，以實現推廣資源效率和效果最大化，如淘寶商品的個性化推薦；
（5）數據對外服務和市場傳播層面。數據對外服務一般為服務該互聯網企業的客戶或用戶，如網路通過提供網路輿情、網路代言人、網路指數等服務其廣告主客戶；淘寶通過數據魔方、淘寶情報和在雲端等產品服務其客戶；騰訊通過騰訊分析和騰訊雲分析等服務其開放商客戶。在市場傳播層面，主要通過有趣的數據信息圖譜和數據可視化產品來實現（如淘寶指數、網路指數、網路春節遷徙地圖）。
（6）經營分析層面。主要通過分析師對大數據進行統計，形成經驗分析周報、月報和季度報告等，對用戶經營情況和收入完成等情況進行分析，發現問題，優化經營策略。
（7）戰略分析層面。這方面既要結合內部的大數據形成決策層的數據視圖，也要結合外部數據尤其是各種競爭情報監控數據、國外趨勢研究數據來輔助決策層進行戰略分析。
雖然網路、阿里巴巴和騰訊在企業運營的數據價值的應用體繫上有共同的特點，但由於企業的商業模式以及數據資產不同，他們在整體的大數據發展策略也有顯著的不同。
網路大數據策略
網路大數據最重要的是來源是通過爬蟲搜集的100多個國家的近萬億網頁數據，數據量是在EB級的規模。網路的數據非常多樣化，其收集的數據既有為非結構化的或者半結構化的數據，包括網頁數據、視頻和圖片等數據，也有結構化的數據，如用戶的點擊行為數據，廣告客戶的付費行為數據等。
網路大數據主要服務三類人群：一類是互聯網網民，通過大數據和自然語言處理技術讓網民的搜索更加准確；第二類是廣告主，通過大數據讓廣告主的廣告和搜索關鍵詞的匹配度更高，或者和網民正在看的網頁內容匹配度更高；第三類是，也是在重點推進的網路大數據引擎，重點是服務傳統行業擁有一定規模數據的企業。
網路大數據引擎代表了互聯網企業數據服務能力開放和合作的趨勢，網路大數據引擎由以下三方面構成：

開放雲：網路的大規模分布式計算和超大規模存儲雲，開放雲大數據開放的是基礎設施和硬體能力。過去的網路雲主要面向開發者，大數據引擎的開放雲則是面向有大數據存儲和處理需求的「大開發者」。據網路相關人員稱，網路開放雲還擁有CPU利用率高、彈性高、成本低等特點。網路是全球首家大規模商用ARM伺服器的公司，而ARM架構的特徵是能耗小和存儲密度大，同時網路還是首家將GPU（圖形處理器）應用在機器學習領域的公司，實現了能耗節省的目的。
數據工廠：數據工廠為網路將海量數據組織起來的軟體能力，與資料庫軟體的作用類似，不同的是數據工廠是被用作處理TB級甚至更大的數據。網路數據工廠支持超大規模異構數據查詢，支持SQL-like以及更復雜的查詢語句，支持各種查詢業務場景。同時網路數據工廠還將承載對於TB級別大表的並發查詢和掃描，大查詢、低並發時每秒可達百GB。
網路大腦：網路大腦將網路此前在人工智慧方面的能力開放出來，主要是大規模機器學習能力和深度學習能力。此前它們被應用在語音、圖像、文本識別，以及自然語言和語義理解方面，並通過網路Inside等平台開放給了智能硬體。現在這些能力將被用來對大數據進行智能化的分析、學習、處理、利用，並對外開放。
網路將基礎設施能力、軟體系統能力以及智能演算法技術打包在一起，通過大數據引擎開放出來之後，擁有大數據的行業可以將自己的數據接入到這個引擎進行處理。從架構來看，企業或組織也可以只選擇三件套中的一種來使用，例如數據存放在自己的雲，但要運用網路大腦的一些智能演算法或者數據存放在網路雲，自己寫演算法。
網路大數據引擎的作用
我們可以從兩方面來具體看網路大數據引擎的作用：
（1）對於政府機構：如交通部門有車聯網、物聯網、路網監控、船聯網、碼頭車站監控等地方的大數據，如果這些數據與網路的搜索記錄、全網數據、LBS數據結合，在利用網路大數據引擎的大數據能力，則可以實現智能路徑規劃和運力管理；衛生部門擁有流感法定報告數據、全國流感樣病例哨點監測和病原學監測數據，如果和網路的搜索記錄及全網數據結合，便可進行流感預測、疫苗接種指導。
（2）對於企業：很多企業也擁有海量大數據，不過很多企業的大數據處理和挖掘能力比較弱，如果應用網路大數據引擎，則可以對海量數據進行可靠低成本的存儲，進行智能化的由淺入深的價值挖掘。如在2014年4月的網路技術開放日上，中國平安便介紹了如何利用網路的大數據能力加強消費者理解和預測，細分客戶群制定個性化產品和營銷方案。
阿里巴巴大數據策略
阿里巴巴大數據整體發展方向是以激活生產力為目的的DT(data technology，數據技術驅動)數據時代發展。阿里巴巴大數據未來將由「基於雲計算的數據開放+大數據工具化應用」組成：
（1）基於雲計算的數據開放。雲計算使中小企業可以在阿里雲上獲得數據存儲、數據處理服務，也可以構建自己的數據應用。雲計算是數據開放的基礎，雲計算可以為全球的數據開發者提供數據工作平台，阿里分布式的存儲平台和在這個平台上的演算法工具，可以更好的為數據開發者所用；同時，阿里巴巴還需要做好數據的脫敏，把數據的商業定義，每個標簽打得足夠清晰，能夠讓全球的數據開發者在阿里巴巴平台展開數據思維，讓數據為政府所用、消費者所用以及行業所用。阿里的大數據開放之後，線上線下的數據能夠串聯起來，所有人都是數據提供方，也是數據的使用者。
（2）在大數據應用上，馬雲已經在整個數據應用上確定了兩個方針：
第一個方針：從IT到DT（數據技術），DT就是點燃整個數據和激發整個數據的力量，被管理所用，被社會所用，被銷售所用，為製造業所用，為消費者信用所用。前文已經分析道，阿里巴巴的數據資產是以電商為主，其中，淘寶和天貓每天會產生豐富多樣的數據，阿里巴巴已經沉澱了包括交易、金融、生活服務等多種類型的數據。這些數據能夠幫助阿里巴巴進行數據化運營（如下圖）。

另外一個其最為重要的應用是金融領域——小微金融。在小微金融企業融資領域。由於銀行無法掌握小微企業真實的經營數據，不僅導致很多企業無法拿到貸款，還因為數據類型的不足導致整個判斷流程過長，阿里已經通過其電商數據中的交易、信用、SNS等多種數據來決定是否可以發放貸款以及放貸的額度。
第二個方針：讓阿里巴巴的數據、讓阿里巴巴的工具能夠成為中國商業的基礎設施。阿里巴巴已經開始在轉型，阿里將由自己直接面對消費者變成支持網商面對消費者，阿里會根據其已有的運營和數據經驗，開發更多的工具，幫助網商成長，讓網商們更懂得用最好的工具、服務去服務好消費者。正如馬雲所言「我相信沒有一個網商不希望擁有自己的客戶，沒有一個網商不希望知道客戶對自己的體驗到底好還是壞，如何持久的擁有這些客戶，我們覺得一個國家的經濟，應該讓給企業家群體去做，我們覺得淘寶網商未來的經濟，是應該留給網商們去決定，而不是我們去做決定」。
騰訊大數據策略
騰訊的大數據目前更多的是為騰訊企業內部運營服務，相對於阿里和網路，數據開放程度並不高。因此，對於騰訊我們主要重點介紹騰訊大數據在服務企業內部的應用場景和服務。
騰訊90%以上的數據已經實現集中化管理，數據集中在數據平台部，有超過100多個產品的數據已經集中管理起來，而且是集中存儲在騰訊自研數據倉庫（TDW）。騰訊大數據從數據應用的不同環節可以分為四個層面，包括數據分析、數據挖掘、數據管理和數據可視化：

（1）數據分析層有四個產品：自助分析、用戶畫像、實時多維度分析和異動智能定位工具。自助分析可以幫助非技術人員通過簡單的條件配置實現數據的統計和展示功能；用戶畫像則是對某一群用戶或者某一業務的用戶實現自動化的人群畫像；實時多維度分析工具則是可以對某一指標可以實現實時的多個維度的切分，方便分析人員從不同角度對某一指標進行多維度分析；異動智能定位工具則實現數據異動問題的智能化定位。
（2）數據挖掘層面的產品應用有：精準廣告系統、用戶個性化推薦引擎和客戶生命周期管理。精準廣告系統如廣點通，是基於騰訊大社交平台的海量數據為基礎，通過精準推薦演算法，以智能定向推廣位導向實現廣告精準投放；用戶個性化推薦引擎根據每位用戶的興趣和喜好，通過個性化推薦演算法（協同過濾、基於內容推薦、圖演算法、貝葉斯等），實現產品的個性化推薦需求；客戶生命周期管理系統，則是基於大數據，根據用戶/客戶的所處的不同生命周期進行數據挖掘，建立預測、預警和用戶特徵模型，以根據用戶/客戶所處的不同生命周期特點進行精細化運營和營銷。
（3）在數據管理層面則有：TDW（騰訊數據倉庫）、TDBank（數據銀行）、元數據管理平台和任務調度系統和數據監控。這一層面主要是實現數據的高效集中存儲、數據的業務指標定義管理、數據質量管理、計算任務的及時調度和計算以及數據問題的監控和告警。
（4）在數據可視化層面有：自助報表工具、騰訊羅盤、騰訊分析和騰訊雲分析等工具。自助報表工具可以自助化的實現結構相對簡單和邏輯相對簡單的報表。騰訊羅盤分為內部版和外部版，內部版則是服務於騰訊內部用戶（產品經理、運營人員和技術人員等）的高效報表工具，外部版則是服務於騰訊合作夥伴如開發商的報表工具。騰訊分析是網站分析工具，幫助網站主進行網站的全方位分析。騰訊雲分析則是幫助應用開發商決策和運營優化的分析工具。
總的來看，網路、阿里巴巴和騰訊三大互聯網企業都擁有大數據，三大互聯網巨頭的數據都用來優化自己業務的運營效果，從這個層面看，其數據價值應用場景比較類似。但由於其業務和商業模式的不同決定了三者數據資產的不同，也決定了三者未來大數據策略的不同，尤其是基於大數據的開放和合作角度看，網路和阿里巴巴相對更加開放。對於重視大數據開放和合作的互聯網企業，他們最為期待的是借著大數據開放的策略，與更多的傳統行業交換更多的數據，從而更好的豐富其在線下數據，形成線上和線下數據的協同，從中拓展新的商業模式，如智能硬體和大數據健康。

⑤ 中國雲計算大會的第五屆中國雲計算大會

第5屆中國雲計算大會6月5日在國家會議中心召開。
時間:2013年6月5日-7日
地點:國家會議中心
指導單位:工業和信息化部、國家發展和改革委員會、科學技術部、北京市人民政府、中國科學技術協會
主辦單位:中國電子學會
承辦:中國雲計算技術與產業聯盟 中國電子學會雲計算專家委員會 時間：2012年5月23日—25日
地點：北京國家會議中心
指導單位：國家發展和改革委員會、工業和信息化部、北京市人民政府、中國科學技術協會
主辦單位：中國電子學會
協辦單位：北京市經濟和信息化委員會、CSDN 、《程序員》雜志
承辦單位：中國雲計算技術與產業聯盟、中國電子學會雲計算專家委員會 【5月23日】
09:00—17:30 開源雲計算平台技術專場：OpenStack、CloudStack、Hadoop
1、OpenStack的發展之路——來自Rackspace的觀點 Andy Schroepfer Rackspace CTO、企業戰略副總裁
2、Intel雲視點，IT開放雲 Billy Cox 英特爾雲戰略、軟體與服務事業部主管 Xu Meng 英特爾工程計算部門IT經理
3、Dell OpenStack and Crowbar Dan Choquette Dell雲計算及大數據集成解決方案部主任Panel
4、Discussion：OpenStack技術演進趨勢
5、Apache CloudStack：現代數據中心的雲操作系統 Kevin Kluge Citrix公司雲計算產品事業部副總裁
6、通過來自Cloudera的Hadoop來壓縮大數據 Amr Awadallah Cloudera創始人兼CTO
7、持續增量海量數據管理和處理平台 韓軼平雅虎北京全球研發中心高級技術經理
8、TDW在Hadoop上的實踐分享 郭瑋騰訊公司數據平台高級架構師
9、支付寶HBase系統故障恢復的優化實踐分享 代志遠支付寶數據平台架構師
10、Panel Discussion：CloudStack和Hadoop技術演進趨勢
2012 IBM雲計算高峰論壇（09:00—17:10）
1、雲的力量：推動業務模式變革 Paul Moung IBM副總裁，全球技術服務部，增長型市場
2、雲計算在中國的實踐 王勝航IBM大中華區雲計算事業部總經理
3、走進雲數據中心 袁東坡IBM大中華區全球信息科技服務部數據中心服務總顧問
4、Power Cloud新一代企業級基礎雲平台 谷建IBM Power Systems產品經理
5、為雲注入活力的關鍵 梁志輝IBM中國軟體開發中心雲計算項目總監
6、為雲注入靈魂－業務應用情景 陳谷IBM大中華區軟體集團首席技術官
7、為雲提供基石—雲環境下的數據和存儲管理 張冠群IBM大中華區存儲銷售顧問
8、IBM 商業觀點：雲計算推動產業創新 王靜璽IBM中國全球咨詢服務部CTO及首席架構師
9、IBM公有雲服務SCE/SCE 溫海峰IBM資深雲計算架構師
10、IBM 智慧雲服務助企業實現業務增長及敏捷性 劉登科IBM企業服務產品線經理
11、雲安全的建設路徑與最佳實踐 萬濤IBM大中華區雲計算服務部首席安全顧問
12、公共雲協助產業升級 朱紹康IBM軟體集團雲計算大中華區總經理
雲基地專場（14:00—16:40）
1、 綠色便捷的雲時代數據中心
2、 雲端時代-一個新的時代，雲端時代
第二屆雲計算國際交流與合作論壇（僅限受邀人員參加）
第二屆海峽兩岸雲計算合作論壇 （僅限受邀人員參加）
首屆雲計算與智慧城市發展論壇 （僅限受邀人員參加）
【5月24日】
1、超越「虛擬的美麗」——雲計算實踐再分析 李德毅中國電子學會雲計算專家委員會主任委員、中國工程院院士
2、中國電信雲計算實踐與創新 張繼平中國雲計算技術與產業聯盟副理事長、中國電信集團公司副總經理
3、軟體主導的數據中心 Steve Herrod VMware全球首席技術官兼研發高級副總裁
4、打造開放雲平台，推動產業鏈共贏 李正茂中國雲計算技術與產業聯盟副理事長、中國移動通信集團副總裁
5、以雲之力驅動業務創新 鞠立IBM大中華區副總裁，全球科技服務部整合科技事業部總經理
6、精簡IT，敏捷商道 朱近之中國電子學會雲計算專委會委員、華為IT產品線副總裁
雲計算的新進展 張亞勤中國電子學會雲計算專委會副主任委員、微軟公司全球資深副總裁、微軟亞太研發集團主席
7、聯通沃雲的創新服務實踐 姜正新中國聯合網路通信集團有限公司副總經理
8、雲計算在中國的實踐 王堅阿里巴巴集團首席架構師、阿里雲計算總裁
9、雲計算與軟體開發變革 李未中國科學院院士
10、對雲計算時代軟體技術發展的若干思考和實踐 梅宏中國電子學會雲計算專委會委員、中國科學院院士
11、雲計算數據中心架構設計 Billy Cox英特爾雲戰略與規劃總監
12、化雲落地，推動行業雲創新實踐 王恩東中國電子學會雲計算專委會副主任委員、浪潮集團高級副總裁、浪潮電子信息公司總裁
13、業務服務創新—敏捷交付雲業務 孫志偉CA Technologies中國區副總裁
14、中興通訊雲計算創新應用實踐 羅聖美中國電子學會雲計算專委會委員、中興通訊集團首席架構師
15、基於雲計算技術的新一代企業信息系統基礎架構 姚宏宇中國電子學會雲計算專委會委員、友友系統CEO
北京數字出版雲專場
2012品高軟體新產品發布會暨合作夥伴簽約儀式
【5月25】
09:00—17:30 專題論壇一 雲計算核心技術架構
08：55—12:50 專題論壇二 雲計算與大數據
09:00—17:30 專題論壇三 雲計算平台與應用實踐
09:00—12:20 專題論壇四 雲計算時代的信息安全
13:30—17:30 專題論壇五 雲計算數據中心
13:30—17:10 專題論壇六 雲計算存儲與虛擬化
09:00—12:20 專題論壇七 雲計算與移動互聯網及新型終端
13:30—17:00 示範應用研討會一：雲計算與醫療信息化創新
13:30—17:50 示範應用研討會二：雲計算與教育信息化創新