騰訊干貨大數據

A. BAT三巨頭開始挖掘大數據

BAT三巨頭開始挖掘大數據
阿里巴巴CTO即阿里雲負責人王堅博士說過一句話：雲計算和大數據，你們都理解錯了。
實際上，對於大數據究竟是什麼業界並無共識。大數據並不是什麼新鮮事物。信息革命帶來的除了信息的更高效地生產、流通和消費外，還帶來數據的爆炸式增長。「引爆點」到來之後，人們發現原有的零散的對數據的利用造成了巨大的浪費。移動互聯網浪潮下，數據產生速度前所未有地加快。人類達成共識開始系統性地對數據進行挖掘。這是大數據的初心。數據積累的同時，數據挖掘需要的計算理論、實時的數據收集和流通通道、數據挖掘過程需要使用的軟硬體環境都在成熟。
概念、模式、理論很重要，但在最具實干精神的互聯網領域，行動才是最好的答案。國內互聯網三巨頭BAT坐擁數據金礦，已陸續踏上了大數據掘金之路。
BAT都是大礦主，但礦山性質不同
數據如同蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。
網路擁有兩種類型的大數據：用戶搜索表徵的需求數據;爬蟲和阿拉丁獲取的公共web數據。
阿里巴巴擁有交易數據和信用數據。這兩種數據更容易變現，挖掘出商業價值。除此之外阿里巴巴還通過投資等方式掌握了部分社交數據、移動數據。如微博和高德。
騰訊擁有用戶關系數據和基於此產生的社交數據。這些數據可以分析人們的生活和行為,從裡面挖掘出政治、社會、文化、商業、健康等領域的信息，甚至預測未來。
下面，就將三家公司的情況一一掃描與分析。
一、網路：含著數據出生且擁有挖掘技術，研究和實用結合
搜索巨頭網路圍繞數據而生。它對網頁數據的爬取、網頁內容的組織和解析，通過語義分析對搜索需求的精準理解進而從海量數據中找准結果，以及精準的搜索引擎關鍵字廣告，實質上就是一個數據的獲取、組織、分析和挖掘的過程。
除了網頁外，網路還通過阿拉丁計劃吸收第三方數據，通過業務手段與葯監局等部門合作拿到封閉的數據。但是，盡管網路擁有核心技術和數據礦山，卻還沒有發揮出最大潛力。網路指數、網路統計等產品算是對數據挖掘的一些初級應用，與Google相比，網路在社交數據、實時數據的收集和由數據流通到數據挖掘轉換上有很大潛力，還有很多事情要做。
2月底在北京出差時，寫了一篇《搜索引擎的大數據時代》發在虎嗅。創造了零回復的記錄。盡管如此，仍然沒有打消我對搜索引擎在大數據時代深層次變革的思考。 搜索引擎在大數據時代面臨的挑戰有：更多的暗網數據;更多的WEB化但是沒有結構化的數據;更多的WEB化、結構化但是封閉的數據。這幾個挑戰使得數據正在遠離傳統搜索引擎。不過，搜索引擎在大數據上畢竟具備技術沉澱以及優勢。
接下來，網路會向企業提供更多的數據和數據服務。前期網路與寶潔、平安等公司合作，為其提供消費者行為分析和挖掘服務，通過數據結論指導企業推出產品，是一種典型的基於大數據的C2B模式。與此類似的還有Netflix的《紙牌屋》美劇，該劇的男主角凱文·史派西和導演大衛·芬奇都是通過對網路數據挖掘之後，根據受歡迎情況選中的。
網路還會利用大數據完成移動互聯網進化。核心攻關技術便是深度學習。基於大數據的機器學習將改善多媒體搜索效果和智能搜索，如語音搜索、視覺搜索和自然語言搜索。這將催生移動互聯網的革命性產品的出現。盡管網路已經出發，其在大數據上可做的事情還有很多。
在數據收集方面，網路需要聚合更多高價值的交易、社交和實時數據。例如加強自己貼吧知道的社交能力、盡快讓地圖服務與O2O結合進而掌握交易數據，以及推進移動App、穿戴式設備等數據收集系統。
在數據處理技術上，網路成立深度學習研究院加強自己在人工智慧領域的探索，在多媒體和中文自然語言處理領域已經有一些進展;雲存儲、雲計算的基礎設施建設也在逐步完善。但深度學習仍然是一個巨大的挑戰，網路等探索者還有很多待解問題，如：無監督式學習、立體圖像識別。
在數據變現方面，網路需將數據挖掘能力、數據內容聚合和提取等形成標准化的服務和產品，進而開拓大數據領域的企業和開發者市場。而不僅僅是頗為個性化、定製化地為大型企業提供解決。
網路的優勢體現在海量的數據、沉澱十多年的用戶行為數據、自然語言處理能力和深度學習領域的前沿研究。在技術人才方面網路是聚集國內最多大數據相關領域頂尖人才的公司。聽說網路前段時間花五千萬挖了數據挖掘、自然語言處理、深度學習領域的十來位大牛，包括一些學者和教授。例如Facebook科學家徐偉。
在挖人上，捨得花錢不夠，還得用心。對於真正的大牛來說，錢只是一個影響因素。能否實現自己的夢想，公司的資源能否幫助自己的研究至關重要。徐偉在回國前就曾問過其他從矽谷回國工程師的意見，得到答案是積極的，最終促成他作出決定。
總體來看，網路擁有大數據也具備大數據挖掘的能力，並且正在進行積極地准備和探索。在加強面向未來的研究和人才布局的同時，也注重實用性的技術產出。
二、騰訊：數據為產品所用，自產自銷
微創新提出者金錯刀有個關於騰訊的故事。 1999年騰訊公司剛剛成立不久，天使投資人劉曉松決定向其注資的一個主要原因就是因為他發現，「當時雖然他們的公司還很小,但已經有用戶運營的理念,後台對於用戶的每一個動作都有記錄和分析。」而另一個投資人卻因為馬化騰在公司很小時就花錢在數據上表示不滿。此後騰訊的產品生產及運營、騰訊游戲的崛起都離不開對數據的重視。
騰訊擁有社交大數據，在企鵝帝國完成數據的製造、流通、消費和挖掘。 騰訊大數據目前釋放價值更多是改進產品。據騰訊Q1財報，增值服務占總收入的78.7%;電子商務業務佔14.1%;網路廣告收入佔6.3%。從廣告收入比例可以看出騰訊的大數據在精準營銷領域暫時還未大量釋放出價值。與其產品線對應的GMAIL、Google+的Google以及社交巨頭Facebook則通過廣告賺得盆滿缽滿。
在筆者看來，騰訊的思路主要是補齊產品，注重QZONE、微信、電商等產品的後端數據打通。例如最近騰訊微博利用「大數據技術」實現好友關系自動分組、低質量信息自動過濾、優質信息分類閱讀等智能化功能。明顯的用數據改進產品的思路。 那麼如果騰訊要深入大數據挖掘缺少什麼呢?筆者認為其只需馬化騰「摁下啟動按鈕」。數據已經准備好了，就差模式，也就是找到需求或者能更深層次驅動大數據利用的產品，而不是用大數據改進自己的產品。騰訊還在觀望，等其他人去試錯驗證出一套模式或者產品後，自己可以「站在巨人肩上」。這是騰訊的典型思維。
在人才方面，騰訊很早便開始重金挖人。尤其是2010年在Google宣布退出中國後，Google圖片搜索創始人朱會燦、Google中國工程研究院副院長顏偉鵬、Google中日韓文搜索演算法的主要設計者，《浪潮之巔》及《數學之美》作者吳軍相繼加入騰訊。搜搜花了很多錢，但被認定為一款無法承載騰訊重託的產品，最後這些大牛都走了。大都回Google了。
騰訊在大數據領域也缺少技術帶頭人。其對公關也不重視。技術大牛很少出來做報告，更不會向網路、阿里那樣主動包裝宣傳技術大牛。其技術雖然低調，但執行力很強。據騰訊的程序員朋友說封閉開發、集體加班是常有的事情。但配套的重金激勵也能跟上。重金之下必有勇夫、騰訊用制度保障技術產出。另外騰訊在高校合作領先一步，在2010年便與清華大學合作成立了清華騰訊聯合實驗室。這么看騰訊的技術人才這塊似乎有短板。會不會到時候馬化騰按下啟動按鈕，發現沒數據挖掘能力呢?不會，騰訊搞不定數據挖掘，到時候依然可以挖到大牛，甚至讀論文來搞定這事兒。數據挖掘已較為成熟。數據挖掘實際是資料庫、統計學、機器學習三個領域的融合。在學術界已經發展多年。不過自然語言識別和深度學習等方面要趕上網路，就難了。除非將網路的數據和眾大牛一起倒騰過來。
總體來看，騰訊目前的大數據策略是先將產品補全，產品後台數據打通，形成穩定生態圈。本階段先利用大數據挖掘改進自己的產品。後期有成熟的模式合適的產品，則利用自家的社交及關系數據時，開展對大數據的進一步挖掘。
三、阿里巴巴：坐擁金數據，嘗試做面向未來的數據集市
阿里巴巴B2B出身，在外貿蓬勃的大環境下，依靠服務中小企業發家。淘寶、支付寶等toC的產品出生前，阿里並不依賴也不擅長技術。業界普遍認為阿里沒有技術基因。直到淘寶、支付寶以及天貓三個產品後，對海量用戶大並發量交易、海量貨架數據的管理、安全性等方面的嚴苛要求，阿里完成進化，在電商技術上取得不菲的成績。在一段時期阿里仍然浪費了手裡掌握的大量數據。這些數據還是「最值錢」的金數據。
數據挖掘無非是從原始數據提取價值。阿里現有的數據產品例如數據魔方、量詞統計、推薦系統、排行榜以及時光倒流相對來說是比較簡單的BI(商業智能)，沒到大數據的階段。「大數據」浪潮襲來，阿里提出「數據、金融和平台」戰略。前所未有地重視起對數據的收集、挖掘和共享。馬雲在「退居」前動不動都對外提「數據」。有位阿里朋友甚至開玩笑說，馬雲英文名可以從Jack Ma改為Data Ma。阿里現CEO陸兆禧曾做過CDO，首席數據官。為了用數據來驅動阿里電商帝國，阿里還成立了橫跨各大事業部的「數據委員會」。
阿里的各項投資案也顯示其整合、利用和完善數據的野心：新浪微博的社交及媒體數據、高德的地圖數據和線下數據以及友盟的移動應用數據，都是其數據及平台戰略的一部分。數據戰略正在首席人工智慧官(CBO)車品覺領頭下逐步落地，王堅的雲為其提供基礎設施、基礎技術支撐。
就在馬雲退休之後，王堅對外透露其跟馬雲開玩笑說的一句話：阿里巴巴對數據的理解深度，不會超過蘇寧對電子商務的理解。估計馬雲不一定認同他這話。馬雲對大數據已經有著自己的理解和考量。馬雲曾經說過其對大數據的思考。大致意思是：現在從信息時代進入數據時代了。區別是信息時代更多的是精英玩的游戲。我比別人聰明，我能提取出信息出來;數據時代，別人比我聰明，將數據開放給更聰明的人處理，數據即資產，分析即服務。
計算機發展的過程是從象牙塔、到平民到草根。大數據也是這樣，一開始在象牙塔階段，少數精英公司才能玩;但到後面只要有數據就有價值。數據也有所有權，產生數據、流通數據、挖掘數據的都會獲得相應的價值。而阿里擅長的便是「建立市場」，建立一個數據交易市場。屆時任何個人和企業都可以將數據和挖掘服務拿上去，交易。初期阿里會將自己珍藏的電商和信用數據逐步放到上面。 有數據的人，拿上去賣，或者讓別人分析，分析即服務。沒有數據的人，即可以去買，也可以去幫別人挖掘，做礦工。
阿里並不是技術驅動，而是業務驅動的。因此在技術層面我們看到，基於前面提到的阿里大數據思路，其技術重心主要在系統層面。阿里擁有LVS(Linux Virtual Server，Linux虛擬伺服器)開源軟體創始人章文嵩，Linux Kernal、文件系統、大牛DBA等領域的大牛。從人才布局可以看到阿里擅長的技術領域，體現在對於並發訪問、電信級別的電商業務的支撐方面的得心應手。在去年雙十一期間，支撐了單日過億的訂單量。鐵道部奇葩網12306在日均40萬時已經不行了。
總體來看，阿里更多是在搭建數據的流通、收集和分享的底層架構。自己並不擅長似乎也不會著重來做數據挖掘的活兒。而是將自己擅長的「交易」生意擴展到數據。讓天下沒有難做的「數據生意」。
總結一下
移動互聯網浪潮下，現實世界正在加速數字化，每個人，每個物體、每件事情、每一個時間節點，都在向網上映射。空間和時間兩個維度的聯網，使得數字世界正在接近一步步模擬現實世界。歷史、現在和未來都會映射到網上。對大數據的挖掘正是對世界的二次發現和感知。BAT三巨頭已經出發。

B. 專訪騰訊蘇奎峰：從數據要素到三大平台，自動駕駛落地提速

數據是自動駕駛的「燃料」已成為業界共識。

4月9日，中央決策層下發的一個重要文件，讓「數據要素」的重要性蓋上了官方蓋章，成為生產要素之一，數據資源成為了亟待挖掘的黃金寶礦。

事實上，數據要素的重要性和想像力不僅局限於此。未來 汽車 將不再是信息孤島，是一個移動的感知終端，將與路、雲端互聯，通過大數據、人工智慧等技術實現智慧出行，數據是鏈接這一切的核心因素。

在眾多的自動駕駛玩家當中，構建「數據閉環」是騰訊助力產業發展，實現突圍的關鍵路徑。

數據要素高效利用背後更深層次的邏輯在於產業理解和基礎架構支撐，騰訊雲提供強大的雲服務能力，並基於此構建高效的自動駕駛數據服務體系。因此，在關於數據要素如何驅動自動駕駛的問題上，騰訊有著自己的一番理解。

基於此，騰訊在自動駕駛業務上擺出了三個具有殺傷力的產品：大數據雲平台、模擬測試平台和高精度地圖。

雷鋒網新智駕將對話騰訊自動駕駛業務中心總經理蘇奎峰，試圖了解騰訊如何用數據要素驅動自動駕駛，三大業務之間高效聯動的邏輯。

在浩瀚的賽博空間里，數據是建成海量虛擬建築的一塊塊磚瓦。

於自動駕駛而言， 數據以各種形式貫穿研發、生產、測試、運營等生命周期。 與此同時，數據的爆發也呈指數級增長，可以想像，玩家們面臨的是如海嘯一般涌來的數據。

因此在數據要素使用上，玩家們在兩個維度上的能力就顯得十分重要：一是數據閉環，沒有閉環，數據的有效性就無法驗證；二是在數據閉環的基礎之上如何實現數據高效運轉。

蘇奎峰向新智駕表示：自動駕駛的核心競爭力在於數據要素和計算資源的低成本獲取和高效利用。對數據要素進行高效收集和利用，提高數據循環鏈路的速度，是整個自動駕駛技術迭代的關鍵點。

為此，騰訊在自動駕駛業務上推出了大數據雲平台和模擬測試平台、高精度地圖三大業務。要理解這三大業務平台對數據閉環的高效驅動，需要追溯自動駕駛數據產生的鏈條。蘇奎峰給新智駕舉了一個例子：

由此可見，一個圍繞數據採集、場景構建、測試驗證、運營更新的數據流通鏈條得以形成。

蘇奎峰也認為，數據要素利用效率的提升是全鏈條事情，並非一個單點就能解決。

比如從數據採集角度看，知道採集何種數據就十分重要。在了解白天黑夜、擁堵與非擁堵路段等數據需求之後，可以將動態場景進行自動或手動標定觸發，從而提升數據獲取效率，避免重復。

而在車輛真正在路上運行之後，也可以根據相應的觸發條件，自動篩選一些有用的數據回傳到雲端；此外，騰訊還會提供數據管理系統，將採集回來的數據進行標簽化，快速清洗、篩選、查找需要的數據，進行高效流轉。

工具鏈涵蓋從數據採集、數據訓練、到演算法模塊評測（包括模型在環、軟體在環、車輛在環、硬體在環），再到實際路測的整個自動駕駛鏈路。

「這個閉環體系的每個工具的每一個環節，都在提高數據要素的流轉和利用效率，以便快速解決問題或加速研發。」蘇奎峰如此表示。

比如遇到一個Corner case，騰訊能夠從資料庫里找到相關案例來標注演算法訓練，或快速採集相應的數據，以保證數據閉環的穩定有效。

目前，針對L2.5級以上的自動駕駛系統，騰訊都能提供雲端工具鏈包括場景分類器等生產工具，同時提供車端與雲端的一些標准，用戶可以根據自己的演算法需求進行選取。

基於對數據閉環和高效運作的理解，騰訊在自動駕駛的目的也呼之欲出：為行業客戶提供，能夠對數據要素進行高效收集和利用，提高數據循環鏈路速度的軟體與服務，助力產業技術的演進，加速產品落地。

換言之，為行業客戶提供自動駕駛雲開發的工具鏈，集數據採集、訓練、評測、更新等環節於一身。這也是蘇奎峰一直在強調的騰訊在自動駕駛上的工具屬性。

騰訊的大數據雲平台、模擬測試平台、高精度地圖三大業務，構成了這些工具鏈的產品形態。

以模擬測試平台為例，可以理解為，騰訊的模擬平台TAD Sim就是一部大型的、針對自動駕駛車輛的角色扮演 游戲 ，結合了專業的 游戲 引擎、工業級車輛動力學模型、虛實一體交通流等技術。

蘇奎峰告訴新智駕，模擬測試非常核心的一個功能就是，能夠將採集到的數據轉換成有用的測試場景。

他強調道：「工具本身要求我們會使用數據，我們也有數據要素儲備。但對模擬來講，核心功能在於工具而非數據本身。有了這個工具，車輛採集的數據就可以生產大量的測試場景。」

騰訊的TAD Sim模擬平台也能夠提供單機版本和雲端版本。

單機版能夠進行場景編輯，做各種測試驗證。而雲端版本則是提供雲端高並發的測試能力，包括場景雲模擬和虛擬城市型雲模擬。

場景雲模擬通過大量數據生成幾十萬甚至上百萬的測試場景，在雲端大規模並行加速，實現自動駕駛演算法的高效驗證。

虛擬城市雲模擬，則是能夠載入一個真實或編輯的城市級高精度地圖，實現上百萬輛交通流車輛和上千台自動駕駛主車的並行加速，進行7×24小時的不間斷測試。

通過不斷尋找Corner case、或是將演算法處理不好的場景積累下來，豐富自動駕駛測試的場景庫。

當然，這背後可以很明顯地看到騰訊強大的 游戲 技術支撐的痕跡。

「模擬系統可以把數據鏈條打碎，然後分階段驗證，同時也會將這個鏈條集成驗證。這從一定意義上來說更接近於實際的道路測試。但是還是要強調，實車測試永遠是需要的，模擬永遠代替不了實車測試。」蘇奎峰說。

此前，騰訊和國家智能網聯 汽車 （長沙）試驗區合作了智能網聯 汽車 模擬實驗室。

利用高精度地圖和模擬模擬技術對試驗區的地理全貌進行數字化建模，實現在模擬環境下進行安全、高效的智能 汽車 實驗。

除此之外，模擬測試平台的還離不開大數據雲平台和高精度地圖的組合。

蘇奎峰表示，雲化是未來的一大趨勢，不光是數據存放在雲端，目前在客戶端的很多服務和終端決策也會隨著雲端趨勢的加強而發生改變。

「未來隨著5G通訊鏈路的增強、軟體架構和硬體架構升級、以及雲端能力的增強，自動駕駛一定會從端的分布逐漸向雲端遷移。」這也是騰訊構建大數據平台的原因。

此外，騰訊表示，TAD Sim提供地圖編輯器，可以直接編輯高精度地圖，也可以直接導入生產的實際高精度地圖， TAD Sim提供通用的高精度地圖介面，能夠載入地圖中的道路要素信息，也可以導入建築物、樹木等等三維環境信息。

「總體來說，無論車端還是雲端，這個閉環是互相嵌套的體系。最終的呈現形式可以是單獨模塊，但如果想提高數據的流轉效率和開發效率，就需要把這個體系緊密地耦合在一起，才能發揮最大效率。」蘇奎峰說。

而閉環體系中演算法、數據流轉的效率越高，自動駕駛的成本也越低，核心競爭力也會更強。

在工具鏈上有一個完整的閉環，但在商業策略上，騰訊的商業模式是靈活的。

現階段，「全家桶」式的打包顯然不能滿足當下主機廠們對產品定製化的需求。

既可單兵作戰，也能齊同上陣。也就是說，三大業務既可以模塊化輸出，也能集大成者，進行團戰。總而言之，根據行業需求靈活組配甚至一定程度的定製。

與此同時，在三大核心業務能力的加持下，騰訊也一直打磨自己的自動駕駛解決方案。

相比其他玩家，騰訊並不以自動駕駛分級來劃分解決方案，而是從用戶高頻的需求出發，提供場景化的自動駕駛解決方案，分場景、分需求逐步實現自動駕駛落地。

從2019年開始，騰訊就瞄準了高速及泊車兩大用戶剛需場景，並將針對這兩大場景推出自動駕駛量產解決方案。

蘇奎峰告訴新智駕，目前，騰訊高精度地圖團隊已經完成了全國高速及快速路的高精度地圖數據採集及繪制工作，為實現高速場景的自動駕駛打好了基礎。

至於在商業落地上，蘇奎峰表示，由於互聯網公司的介入，傳統主機廠的固有合作模式會發生變化，尤其是軟硬體分離的趨勢越來越明顯。「合作的模式和機制都在改變，目前騰訊與主機廠也在通過一些合作來推動模式的升級。」

比如在車端的解決方案上，騰訊既可以提供地圖定位的演算法模塊，也可以提供感知、融合演算法模塊。但是不同的車廠、不同的感測器配置，仍然需要進行定製化，通用模塊很難適配所有車型。

而大數據雲平台方面，騰訊和寶馬中國聯合開發的自動駕駛高性能數據開發平台已經交付使用。

就像 游戲 中輔助角色一樣，在「輔助輸出」的理念下，騰訊正在用非常靈活的姿態融進主機廠、業內玩家們的自動駕駛生態之中。

正如騰訊CEO馬化騰在朋友圈寫道：「助力車企開發自己的自動駕駛AI演算法和大數據平台」。騰訊憑借自己對數據閉環高效運作的理解與實踐，有望助力車企們早日抵達自動駕駛的未來。

（雷鋒網） 雷鋒網

C. 阿里，騰訊和百度的互聯網大數據應用有何不同

阿里，騰訊和網路的互聯網大數據應用有何不同

網路、阿里巴巴和騰訊三大互聯網企業都擁有大數據，三大互聯網巨頭的數據都用來優化自己業務的運營效果，從這個層面看，其數據價值應用場景比較類似。但由於其業務和商業模式的不同決定了三者數據資產的不同，也決定了三者未來大數據策略的不同，尤其是基於大數據的開放和合作角度看，網路和阿里巴巴相對更加開放。對於重視大數據開放和合作的互聯網企業，他們最為期待的是借著大數據開放的策略，與更多的傳統行業交換更多的數據，從而更好的豐富其在線下數據，形成線上和線下數據的協同，從中拓展新的商業模式，如智能硬體和大數據健康。

BAT的互聯網大數據應用有何不同

從數據類型看，騰訊數據最為全面，這與其互聯網業務全面相關，其最為突出的是社交數據和游戲數據，其中：社交數據最為核心的是關系鏈數據、用戶間的互動數據、用戶產生的文字、圖片和視頻內容；游戲數據主要包括大型網游數據、網頁游戲數據和手機游戲數據，游戲數據中最為核心的是游戲的活躍行為數據和付費行為數據，騰訊的數據最大的特點是基於社交的各種用戶行為和娛樂數據。阿里最為突出的是電商數據，尤其是用戶在淘寶和天貓上的商品瀏覽、搜索、點擊、收藏和購買等數據，其數據最大特點是從瀏覽到支付形成的用戶漏斗式轉化數據。網路的數據以用戶搜索的關鍵詞、爬蟲抓取的網頁、圖片和視頻數據為主，網路的數據特點是通過搜索關鍵詞更直接反映用戶興趣和需求，網路的數據以非結構化數據更多。
網路、阿里巴巴和騰訊的數據應用場景
網路、阿里巴巴和騰訊的數據應用場景都有共同的體系，該體系一共分為七層，代表了企業不同層面的數據價值應用場景，形成了企業運營的數據價值金字塔：
（1）數據基礎平台層。金字塔的最底層也是整個金字塔的基礎層，如果基礎層搭建不好，上面的應用層也很難在企業運營中發揮效果，這一層的技術目標是實現數據的有效存儲、計算和質量管理；業務目標是把企業的所有用戶（客戶）數據用唯一的ID串起來，包括用戶（客戶）的畫像（如性別、年齡等）、行為以及興趣愛好等，以達到全面的了解用戶（客戶）的目的；
（2）業務運營監控層。這一層首要的是搭建業務運營的關鍵數據體系，在此基礎上通過智能化模型開發出來的數據產品，監控關鍵數據的異動，通過各種分析模型等可以快速定位數據異動的原因，輔助運營決策；
（3）用戶/客戶體驗優化層。這一層主要是通過數據來監控和優化用戶/客戶的體驗問題。這裡面既運用了結構化的數據來監控，也運用非結構化的數據（如文本）來監控體驗的問題。前者更多的是應用各種用戶（客戶）體驗監測的模型或者工具來實現，後者更多的是通過監測微博、論壇和企業內部的客戶反饋系統的文本來發現負面的口碑，以及時的優化產品或服務；
（4）精細化運營和營銷層。這一層主要通過數據驅動業務精細化運營和營銷。主要可以分為四方面：第一，構建基於用戶的數據提取和運營工具，以方便運營和營銷人員通過人群定向把客戶提取出來，從而對客戶進行營銷或運營活動；第二方面，通過數據挖掘的手段提升客戶對活動的響應；第三，通過數據挖掘的手段進行客戶生命周期管理；第四，主要是用個性化推薦演算法基於用戶不同的興趣和需求推薦不同的商品或者產品，以實現推廣資源效率和效果最大化，如淘寶商品的個性化推薦；
（5）數據對外服務和市場傳播層面。數據對外服務一般為服務該互聯網企業的客戶或用戶，如網路通過提供網路輿情、網路代言人、網路指數等服務其廣告主客戶；淘寶通過數據魔方、淘寶情報和在雲端等產品服務其客戶；騰訊通過騰訊分析和騰訊雲分析等服務其開放商客戶。在市場傳播層面，主要通過有趣的數據信息圖譜和數據可視化產品來實現（如淘寶指數、網路指數、網路春節遷徙地圖）。
（6）經營分析層面。主要通過分析師對大數據進行統計，形成經驗分析周報、月報和季度報告等，對用戶經營情況和收入完成等情況進行分析，發現問題，優化經營策略。
（7）戰略分析層面。這方面既要結合內部的大數據形成決策層的數據視圖，也要結合外部數據尤其是各種競爭情報監控數據、國外趨勢研究數據來輔助決策層進行戰略分析。
雖然網路、阿里巴巴和騰訊在企業運營的數據價值的應用體繫上有共同的特點，但由於企業的商業模式以及數據資產不同，他們在整體的大數據發展策略也有顯著的不同。
網路大數據策略
網路大數據最重要的是來源是通過爬蟲搜集的100多個國家的近萬億網頁數據，數據量是在EB級的規模。網路的數據非常多樣化，其收集的數據既有為非結構化的或者半結構化的數據，包括網頁數據、視頻和圖片等數據，也有結構化的數據，如用戶的點擊行為數據，廣告客戶的付費行為數據等。
網路大數據主要服務三類人群：一類是互聯網網民，通過大數據和自然語言處理技術讓網民的搜索更加准確；第二類是廣告主，通過大數據讓廣告主的廣告和搜索關鍵詞的匹配度更高，或者和網民正在看的網頁內容匹配度更高；第三類是，也是在重點推進的網路大數據引擎，重點是服務傳統行業擁有一定規模數據的企業。
網路大數據引擎代表了互聯網企業數據服務能力開放和合作的趨勢，網路大數據引擎由以下三方面構成：
開放雲：網路的大規模分布式計算和超大規模存儲雲，開放雲大數據開放的是基礎設施和硬體能力。過去的網路雲主要面向開發者，大數據引擎的開放雲則是面向有大數據存儲和處理需求的「大開發者」。據網路相關人員稱，網路開放雲還擁有CPU利用率高、彈性高、成本低等特點。網路是全球首家大規模商用ARM伺服器的公司，而ARM架構的特徵是能耗小和存儲密度大，同時網路還是首家將GPU（圖形處理器）應用在機器學習領域的公司，實現了能耗節省的目的。
數據工廠：數據工廠為網路將海量數據組織起來的軟體能力，與資料庫軟體的作用類似，不同的是數據工廠是被用作處理TB級甚至更大的數據。網路數據工廠支持超大規模異構數據查詢，支持SQL-like以及更復雜的查詢語句，支持各種查詢業務場景。同時網路數據工廠還將承載對於TB級別大表的並發查詢和掃描，大查詢、低並發時每秒可達百GB。
網路大腦：網路大腦將網路此前在人工智慧方面的能力開放出來，主要是大規模機器學習能力和深度學習能力。此前它們被應用在語音、圖像、文本識別，以及自然語言和語義理解方面，並通過網路Inside等平台開放給了智能硬體。現在這些能力將被用來對大數據進行智能化的分析、學習、處理、利用，並對外開放。
網路將基礎設施能力、軟體系統能力以及智能演算法技術打包在一起，通過大數據引擎開放出來之後，擁有大數據的行業可以將自己的數據接入到這個引擎進行處理。從架構來看，企業或組織也可以只選擇三件套中的一種來使用，例如數據存放在自己的雲，但要運用網路大腦的一些智能演算法或者數據存放在網路雲，自己寫演算法。
網路大數據引擎的作用
我們可以從兩方面來具體看網路大數據引擎的作用：
（1）對於 *** 機構：如交通部門有車聯網、物聯網、路網監控、船聯網、碼頭車站監控等地方的大數據，如果這些數據與網路的搜索記錄、全網數據、LBS數據結合，在利用網路大數據引擎的大數據能力，則可以實現智能路徑規劃和運力管理；衛生部門擁有流感法定報告數據、全國流感樣病例哨點監測和病原學監測數據，如果和網路的搜索記錄及全網數據結合，便可進行流感預測、疫苗接種指導。
（2）對於企業：很多企業也擁有海量大數據，不過很多企業的大數據處理和挖掘能力比較弱，如果應用網路大數據引擎，則可以對海量數據進行可靠低成本的存儲，進行智能化的由淺入深的價值挖掘。如在2014年4月的網路技術開放日上，中國平安便介紹了如何利用網路的大數據能力加強消費者理解和預測，細分客戶群制定個性化產品和營銷方案。
阿里巴巴大數據策略
阿里巴巴大數據整體發展方向是以激活生產力為目的的DT(data technology，數據技術驅動)數據時代發展。阿里巴巴大數據未來將由「基於雲計算的數據開放+大數據工具化應用」組成：
（1）基於雲計算的數據開放。雲計算使中小企業可以在阿里雲上獲得數據存儲、數據處理服務，也可以構建自己的數據應用。雲計算是數據開放的基礎，雲計算可以為全球的數據開發者提供數據工作平台，阿里分布式的存儲平台和在這個平台上的演算法工具，可以更好的為數據開發者所用；同時，阿里巴巴還需要做好數據的脫敏，把數據的商業定義，每個標簽打得足夠清晰，能夠讓全球的數據開發者在阿里巴巴平台展開數據思維，讓數據為 *** 所用、消費者所用以及行業所用。阿里的大數據開放之後，線上線下的數據能夠串聯起來，所有人都是數據提供方，也是數據的使用者。
（2）在大數據應用上，馬雲已經在整個數據應用上確定了兩個方針：
第一個方針：從IT到DT（數據技術），DT就是點燃整個數據和激發整個數據的力量，被管理所用，被社會所用，被銷售所用，為製造業所用，為消費者信用所用。前文已經分析道，阿里巴巴的數據資產是以電商為主，其中，淘寶和天貓每天會產生豐富多樣的數據，阿里巴巴已經沉澱了包括交易、金融、生活服務等多種類型的數據。這些數據能夠幫助阿里巴巴進行數據化運營（如下圖）。
另外一個其最為重要的應用是金融領域——小微金融。在小微金融企業融資領域。由於銀行無法掌握小微企業真實的經營數據，不僅導致很多企業無法拿到貸款，還因為數據類型的不足導致整個判斷流程過長，阿里已經通過其電商數據中的交易、信用、SNS等多種數據來決定是否可以發放貸款以及放貸的額度。
第二個方針：讓阿里巴巴的數據、讓阿里巴巴的工具能夠成為中國商業的基礎設施。阿里巴巴已經開始在轉型，阿里將由自己直接面對消費者變成支持網商面對消費者，阿里會根據其已有的運營和數據經驗，開發更多的工具，幫助網商成長，讓網商們更懂得用最好的工具、服務去服務好消費者。正如馬雲所言「我相信沒有一個網商不希望擁有自己的客戶，沒有一個網商不希望知道客戶對自己的體驗到底好還是壞，如何持久的擁有這些客戶，我們覺得一個國家的經濟，應該讓給企業家群體去做，我們覺得淘寶網商未來的經濟，是應該留給網商們去決定，而不是我們去做決定」。
騰訊大數據策略
騰訊的大數據目前更多的是為騰訊企業內部運營服務，相對於阿里和網路，數據開放程度並不高。因此，對於騰訊我們主要重點介紹騰訊大數據在服務企業內部的應用場景和服務。
騰訊90%以上的數據已經實現集中化管理，數據集中在數據平台部，有超過100多個產品的數據已經集中管理起來，而且是集中存儲在騰訊自研數據倉庫（TDW）。騰訊大數據從數據應用的不同環節可以分為四個層面，包括數據分析、數據挖掘、數據管理和數據可視化：
（1）數據分析層有四個產品：自助分析、用戶畫像、實時多維度分析和異動智能定位工具。自助分析可以幫助非技術人員通過簡單的條件配置實現數據的統計和展示功能；用戶畫像則是對某一群用戶或者某一業務的用戶實現自動化的人群畫像；實時多維度分析工具則是可以對某一指標可以實現實時的多個維度的切分，方便分析人員從不同角度對某一指標進行多維度分析；異動智能定位工具則實現數據異動問題的智能化定位。
（2）數據挖掘層面的產品應用有：精準廣告系統、用戶個性化推薦引擎和客戶生命周期管理。精準廣告系統如廣點通，是基於騰訊大社交平台的海量數據為基礎，通過精準推薦演算法，以智能定向推廣位導向實現廣告精準投放；用戶個性化推薦引擎根據每位用戶的興趣和喜好，通過個性化推薦演算法（協同過濾、基於內容推薦、圖演算法、貝葉斯等），實現產品的個性化推薦需求；客戶生命周期管理系統，則是基於大數據，根據用戶/客戶的所處的不同生命周期進行數據挖掘，建立預測、預警和用戶特徵模型，以根據用戶/客戶所處的不同生命周期特點進行精細化運營和營銷。
（3）在數據管理層面則有：TDW（騰訊數據倉庫）、TDBank（數據銀行）、元數據管理平台和任務調度系統和數據監控。這一層面主要是實現數據的高效集中存儲、數據的業務指標定義管理、數據質量管理、計算任務的及時調度和計算以及數據問題的監控和告警。
（4）在數據可視化層面有：自助報表工具、騰訊羅盤、騰訊分析和騰訊雲分析等工具。自助報表工具可以自助化的實現結構相對簡單和邏輯相對簡單的報表。騰訊羅盤分為內部版和外部版，內部版則是服務於騰訊內部用戶（產品經理、運營人員和技術人員等）的高效報表工具，外部版則是服務於騰訊合作夥伴如開發商的報表工具。騰訊分析是網站分析工具，幫助網站主進行網站的全方位分析。騰訊雲分析則是幫助應用開發商決策和運營優化的分析工具。
總的來看，網路、阿里巴巴和騰訊三大互聯網企業都擁有大數據，三大互聯網巨頭的數據都用來優化自己業務的運營效果，從這個層面看，其數據價值應用場景比較類似。但由於其業務和商業模式的不同決定了三者數據資產的不同，也決定了三者未來大數據策略的不同，尤其是基於大數據的開放和合作角度看，網路和阿里巴巴相對更加開放。對於重視大數據開放和合作的互聯網企業，他們最為期待的是借著大數據開放的策略，與更多的傳統行業交換更多的數據，從而更好的豐富其在線下數據，形成線上和線下數據的協同，從中拓展新的商業模式，如智能硬體和大數據健康。

bat的互聯網大數據應用有何不同

這個得從BAT各自的基因來分析。網路主要是以搜索產品，所以大數據對於網路來說主要用於搜索方面，使搜索更加的精準和匹配；阿里巴巴以電子商務為主，所以大數據對於阿里巴巴來說會主要用戶商品方面；騰訊主要是社交，所以大數據對於騰訊來說可能更多的應用於社會網路分析。大數據的主要用途為預測，所以BAT對於大數據的共同點都是為了通過對用戶的分析，進行更加准確的服務和營銷。

看網路，阿里與騰訊是如何利用互聯網大數據應用

阿里有數據魔方，為賣家提供收費服務。

網路里，「互聯網」和「所有空間」有何不同？

「互聯網」
和
「所有空間」
互聯網 就是指Inter上所有的信息
對網路來說
主要就是中文信息
所有空間
就是指網路中的所有用戶
建了網路空間
（博客+相冊+留言板）
顯然搜索後者
是不包括網路空間 以外的博客的

如何獲取並應用互聯網大數據

大數據是大量、高速、多變的信息，它需要新型的處理方式去促成更強的決策能力、洞察力與最佳化處理。大數據為企業獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。
藉助大數據及相關技術，我們可針對不同行為特徵的客戶進行針對性營銷，甚至能從「將一個產品推薦給一些合適的客戶」到「將一些合適的產品推薦給一個客戶」，得以更聚焦客戶，進行個性化精準營銷。
大數據時代下的精準營銷是指通過大數據獲取對象的喜好，行為偏好，對不同對象進行不同營銷。大數據精準營銷的核心可以概括為幾大關鍵詞：用戶、需求、識別、體驗。
億美軟通推出數據雲服務，延續億美的客戶服務、客戶營銷、客戶管理的公司經營理念，通過龐大的消費數據資源，為客戶提供數據驗證，精準營銷等數據級服務。簡單說就是為企業提供數據驗證和數據篩選業務。
-

互聯網大數據培訓應用前景如何?

不用擔心，學好了就會有好的前景。｛變數9｝

大數據和小數據有何不同？

1.大數據重預測，小數據重解釋；2.大數據重發現，而小數據重實證；3.大數據重相關，小數據重因果；4.大數據重全體，小數據重抽樣；5.大數據重感知，小數據重精確。

企業數據中心和互聯網數據中心有何不同

DCCI互聯網數據中心（DCCI DATA CENTER OF CHINA INTERNET，簡稱DCCI），互聯網監測研究權威機構&數據平台，互動營銷之測量、分析、優化服務提供者。以Panel軟體、代碼嵌入、海量數據挖掘、語義信息處理等多種領先技術手段為基礎，進行網站、用...

互聯網數據中心：是idc 他是主要存放網路數據的（網站+數據+下載站點等）囊括比較廣泛，任何的正規企業或者是中小型站長都是可以進行選擇的。
企業數據中心：它的更加具有針對性，它可以隸屬於互聯網數據中心的一部分的。

D. 區塊鏈上騰訊做了什麼

馬化騰：區塊鏈，行；ICO，不行

在兩會上，馬化騰表示區塊鏈話題最近非常熱，甚至有人調侃區塊鏈之前的互聯網都是「古典互聯網」。雖然區塊鏈技術是創新的，但是怎麼用好這種技術是另一方面的問題。

在馬化騰看來，區塊鏈技術可以應用在很多領域，尤其是在數字化認證實物的唯一性方面。就像現實中的一個文件、一個票據等等，可以用區塊鏈技術來保證它們不可被復制、不可被篡改。相比過去的傳統IT 技術，區塊鏈在真正模擬現實社會中的單據、收據的唯一性上，是有劃時代意義的。

關於做數字貨幣ICO，馬化騰認為還是有很多風險。他說：「如果大家都可以用區塊鏈技術隨便發行數字貨幣，那會引發很多監管方面的問題。」

比如2017 年春節內測的黃金紅包項目，就是騰訊用區塊鏈技術來記錄用戶數字資產的一次嘗試。還有在公益尋人方面，騰訊也利用了區塊鏈技術來減少信息不對稱的問題。

在金融和公益之外， 騰訊還在2017 年9 月和英特爾達成合作，宣布雙方將共同開發區塊鏈技術，用來提高物聯網場景中的安全防護能力。

E. 大數據對游戲精細化運營的意義

大數據對游戲精細化運營的意義

在大數據時代來臨之際，移動互聯網面臨的挑戰有哪些?如何在大數據的背景下做到精細化運營?移動游戲又如何和大數據相結合，在未來找准自己的等位?帶著這一系列問題，今天來看看騰訊數據平台部王滔是如何理解的。

王滔(taowang):騰訊數據平台部高級產品經理，曾任職網路數據部門，對基於大數據的移動分析架構設計、移動APP運營以及移動信息推送有豐富的經驗，騰訊雲分析、騰訊移動推送信鴿項目負責人。

以下是采訪實錄：

在大數據下的背景下，移動游戲面臨的挑戰有哪些?

王滔：移動游戲和端游頁游最大的區別就是有了渠道的整合。在端游時代，並沒有專門的渠道把游戲放在一起，玩家可能只知道CF或者是DNF，但是卻很難知道這些游戲的競品有哪些，在哪裡。但是到了移動游戲或者說移動互聯網時代，由於有了像APP Store，GooglePlay和國內眾多渠道，游戲或者應用就會被放在一起比較。這樣就導致了兩個結果，第一，用戶很清楚自己有多少個選擇，並且會知道每一款游戲或者應用的評分是怎麼樣的。第二，用戶的切換成本會降低了許多。舉個例子，在PC時代，大家看新聞都會慣性地上同一個門戶網站，並沒有人會告訴你各個門戶的排名和得分之類的信息，在同一個垂直領域並沒有知道他們的排名是怎麼樣的。但在移動互聯網時代，這個格局已經明顯的改變了，你的游戲或者應用是和很多開發者一起去競爭。特別是在APPStore上，你是和全球的開發者競爭。

騰訊數據平台部王滔:大數據對游戲精細化運營的意義

其次，隨著信息的扁平化，全球信息的交流已經越來越快，時間差也漸漸減少，可能大城市發生的事情一分鍾之後整個小山村裡面的人都知道了。如果說10年前還是賺的是信息不對稱的錢的話，隨著大數據、信息化的時代到來，你的游戲或者應用要脫穎而出，就變得非常困難。

一款移動游戲怎麼樣才能留住更多的用戶?

王滔：現在我發現很多用戶都有一個特徵，就是喜歡把Top5的游戲都下載下來再進行帥選。所以如何做到差異化，我認為要抓住玩家的最重要一點還是是畫面，其實每個人都是外面協會，這個是不可否認的。所以說怎麼用畫面在游戲的前五分鍾抓住玩家是最最重要的。因為那時候玩家還沒有接觸到你游戲的核心玩法。

留住用戶第二步，可以在三十分鍾內製造一個小高潮。可以設置一些很絢麗的戰斗，或者讓用戶去戰勝一些有挑戰性的副本，千萬不能在讓游戲一開始非常平緩。第一天開始之後就可以讓用戶接觸游戲的核心玩法，告訴自己和別人有什麼不同，自己的創新之處在哪。用戶在一關關地過關的同時，開發者其實也是在過關，五分鍾、三十分鍾、一天，如何讓用戶留下來，才去考慮如何讓用戶去付費。

通過你們對大數據的分析，導致玩家離開游戲的最重要原因有哪些?

王滔：我們在微信和其他的游戲做了非常大量的統計，設定了幾百個變數，通過騰訊對每天過億的用戶計算，最後發現了影響玩家去留的最大因素就是兩點。

騰訊數據平台部王滔:大數據對游戲精細化運營的意義

1.挫敗感

挫敗感是影響用戶留存的最重要因素。我們通過對「失敗數」、「連續失敗數」、「任務完成情況」等這些數據，我們可以看到，一旦這些數值超過一定的量，玩家離開游戲的流失率就會大大增加。通過對數據的研究，發現用戶通過率比游戲設定的時候低的時候，這個時候就可以通過降低游戲的難度來提升用戶留存。

對於那些因為挫敗感離開了游戲的用戶，我們可以同對消息的推送或者運營的活動把他們拉回到游戲裡面來。對於那些搖搖欲墜的用戶，我們可以送他一些道具或者禮包，幫助他通過面對的困難。所以這個就需要數據的支付，針對每一個用戶，選擇適合他們的運營，做精細化運營。

2.孤獨感

現在的移動游戲總有一種孤獨感。同樣是網游，在端游時代，類似公會、國戰、幫派這些玩法，大家用Q群或者YY在相互聯系，大家的聯系非常非常高。但是現在的移動游戲都在各大孤獨的感覺，所謂的網游都像是單機游戲一樣。每一款游戲到中後期最重要的一定是社交因素。到目前為止，移動游戲在社交這方面還沒有突破性的進展，現在的社交元素只是淺層次的社交。在端游時代，有很多中重度玩家，每天都和另外的玩家一起去打副本、PvP，這樣才是最有效的留住玩家的方法。

社交感差導致玩家的孤獨感，才是移動游戲平均壽命比較短的原因。一些好的端游和頁游壽命長達10年，而在移動游戲時代，游戲壽命能有半年有已經非常不錯了，很多開發商把游戲做出來撈一筆就走了。那些壽命比較長的游戲，玩家都是有感情在裡面的，主要是裡面有一群好的兄弟，這些才是大家留在一款游戲裡面的最重要因素。現在的手游也是比較欠缺的。通過我們的數據統計，玩家的好友數量和在游戲上的時常是成正比的，好友數量越多，玩家在游戲裡面的時間是越長的。

產品push的意義在哪裡，對於移動游戲又有何作用?

王滔：玩過類似COC游戲的玩家，這些游戲有一個特點，就是以時間或者體力作為付費點。而很多不願意付費的玩家，在建築正在修建或者體力回復的時候都會其做其他事情。但是大家去做其他事情的時候就很容易把游戲忘記掉，所以這個適合推送就起到了一個十分重要的作用了。如果在建築修建完成或者是體力恢復的時候有本地消息的同時，玩家會很快地回到游戲裡面嗎，繼續戰斗。我們做過統計，一款游戲在有推送的情況下同時在線率會比沒有推送的時候提高50%，這些都是有真實數據支撐的。

而且通過我們的信鴿Pro，還能精準地知道每一個用戶、每一個玩家的付費風格，游戲時長等等，再來做一個精準的推送，提供成功率。

以上是小編為大家分享的關於大數據對游戲精細化運營的意義的相關內容，更多信息可以關注環球青藤分享更多干貨

F. 騰訊有自己的大數據中心嗎

騰訊有自己的大數據中心。

騰訊大數據中心在西安_灞分析包含巨大的潛力但如果分析的不準確它就會轉變成阻礙由於技術限制和其他商業因素的考慮，數據分析公司解析數據得出的結果可能並不能反映實際情況如果企業想要確保通過大數據分析得出的結論是他們想要的結果，他們就需要提高大數據分析的准確性。

企業文化

開始設計品牌Logo之後從公司美工設計的鴿子、企鵝等幾種小動物的形象中選定了企鵝這個形象。第一次設計的企鵝是黑白寫實的騰訊參加中國國際高新技術成果交易會，將QQ做成了稍微有點胖的樣子，還增加了一條圍巾。

之後騰訊找來專業設計公司在基礎上再設計，脖子上圍的黑圍巾改成了一條鮮艷的紅圍巾，一隻眼睛圓圓的，另一隻眼睛眨巴著。而Q妹妹之後也正式亮相騰訊更換了新的品牌標識，由綠、黃、紅三色軌跡線環繞的小企鵝標識構成了品牌標識的主體。

也是品牌標識中最為醒目的部分，將騰訊網以用戶價值和需求為核心的品牌內涵體現無余球形標識以QQ為中心，向外擴散成不斷運轉的世界，喻示騰訊從最大的即時通訊社區起步，隨著用戶需求和互聯網應用的發展，業務范圍和運營領域不斷拓展。

G. 阿里的總監將大數據、數字化的經驗，總結成資料干貨，可以收藏

阿里把企業的數字化轉型劃分為「數字化重構」和「數字化增長」兩大類別，這個概念是不是聽著很難懂？

重構，就是轉型嘛；增長，就是更進一步嘛，說白了還是原來的老樣子，換了個解釋而已。

說到數字化轉型，我覺得這是一個非常好的話題，甚至能衍生出很多干貨，無論是傳統企業，還是頂尖的互聯網大公司，如阿里騰訊，老闆都在朝這個方向努力。

所以和大數據有關的知識，還是很有必要學習的。

我給大家整理了很多干貨，我從一個10年從業者和管理者的角度，這份干貨，無論是底層幹活的，中層管控的，上層布局的，都能夠很清楚的學習到。

涉及到的方面還是很廣的：大數據、數倉、中台、AI、IT規劃、大數據平台、BI工具。

我是怎麼總結的？

從架構入手，到每個模塊的分解，再到每個地方的注意點，基本上就行了，太細的也不是通過文字去說清楚的。

只要能做到，看了干貨資料，能對實際工作產生指導，就可以了。

這只是一部分，還有更多，自己來看就好。

H. 大數據如何幫助政府實現「精準治理」

大數據如何幫助政府實現「精準治理」

大數據緣何受到如此重視?業內專家曾以「大、智、移、雲」形容當前國內快速進入的技術變革期。大數據、智能化、移動互聯、雲計算成為驅動中國經濟社會轉型進步的重要力量。而大數據這一幾乎橫跨所有社會經濟領域的技術變革，無疑會給中國帶來更多的改變。

大數據如何支撐政府服務能力提升?走在互聯網技術創新前沿的BAT(網路、阿里巴巴、騰訊)等大型互聯網企業正立足既有資源再創新，推動政務服務便利化。如騰訊與廣東省政府達成基於大數據的政務服務體系建設目標。騰訊支持廣東省網上辦事大廳和政務雲平台建設，在廣東各地市全面部署微信「城市服務」網路，為交通、公安、民政、住房城鄉建設等政府部門提供業務整合、在線辦理雲平台、大數據支撐等服務。

這僅僅是大數據支撐政府治理能力提升的第一步，更多的對政策走向、決策支撐、精準治理和多方協作的大數據創新仍需持續發力。

大數據撬動社會治理、市場監管創新

「當數據的價值被發現之後，可以提升國家和政府治理能力現代化，深刻影響每個人的生活形態。」龍信數據(北京)有限公司董事長李鈺說。

商事制度改革正在為經濟社會帶來活力。然而，政府管理需要關注的不僅是注冊企業數量的增長，民營企業生存狀態、活躍度、就業拉動、稅收貢獻度等情況也應受到關注。

為此，龍信數據與相關部門聯合，將企業注冊等關鍵數據分析處理。相關方與龍信組成「企業發展與宏觀經濟發展關系分析」課題組，匯總政府數據，加之數據挖掘、電話抽樣、焦點組訪談等多種方法結合，取得一般量化統計難以完成的數據結論——國內商事制度改革不僅讓市場主體數量增加，更讓產業結構持續優化，企業社會總成本持續下降等等，其中僅人員成本就下降近40%。

「大數據應用也將社會治理、市場監管轉變為實時監測。」李鈺舉例，工商部門治理「非法集資」一直是高成本任務。一方面，違法企業以各種名目遮掩違法行為;另一方面，注冊企業數目快速攀升，數量巨大。大數據破解了這一難題。

「我們匯總分析大量數據，通過指標計算比對、模型篩選，可以在數以百萬的企業中讓『高度疑似』的企業呈現。我們最後篩選出1000多戶企業，供政府部門進一步檢查。」李鈺說，這個復雜過程在以往難以想像。

大數據不僅為政府部門的治理節約時間、人力成本，也更新了治理思路和模式。「以前很多違法行為的治理可以說是事後去追究，現在一些監測治理可以讓很多行為提前發現、及早治理。」李鈺說。

開放、標准、產業、安全：大數據發展關鍵詞

目前，推動政府運用大數據創新支撐治理能力提升，包括數據資源開放、人才培養、數據立法、介面標准、安全機制等問題仍然有待突破。

實際上，《綱要》已明確提出彌補這些「短板」，即「三項主要任務」：首先要加快政府數據開放共享，推動資源整合，提升治理能力;同時要推動產業創新發展，培育新興業態，助力經濟轉型;還要強化安全保障，提高管理水平，促進健康發展。開放、標准、產業、安全成為關鍵詞。

多位業內人士接受采訪時表示，當前首要工作是推動政府部門數據加速開放共享。

事實上，此前包括北京等地的政府部門數據陸續開放共享，為數據創新迎來利好。北京市科學技術委員會牽頭打造「首都科技大數據平台」，整合長期分散於各個政府部門、科研院所、行業部門的科技數據資源，並逐步向社會數據需求方開放，提升科技資源的公共服務能力。

「北京每年有大量的醫療科研、臨床數據、交通運轉數據、金融行業數據產生，科研院所也有不少技術成果、技術交易數據、新技術新產品等數據。」北京市科學技術委員會主任閆傲霜說，然而，這些政府科技數據資源大多存於不同平台，分割嚴重，大多處於沉睡狀態，缺乏整合開發。

「有些政府部門把數據資源守得緊緊的，捨不得共享。共享機制不順暢將制約產業發展、數據應用、服務國家戰略等。」李鈺說，國家需要進一步讓政府部門數據開放，讓產業與政府數據充分融合。

產業離不了人才，人才是大數據發展的重要支撐。北京大學校長林建華表示，數據科學人才培養成為亟須加強的方面。「大數據能否做成，關鍵在能不能聚焦人才培養。」

然而，高校和產業界人士普遍認為，當前大數據人才的培養相對滯後。北京航空航天大學軟體學院院長孫偉認為，傳統IT教育很難將前沿技術和課堂傳授知識結合起來，培養出的人才難以與產業接軌。人才培養應更加面向市場需求、技術前沿。

與此同時，大數據產業發展的理念、標准、安全等也應當得到重視。李鈺等產業界人士說，當前國內要實現「數數相連」，相關部門仍需要推動標准制定，將數據產業與數據資源有效打通。

法制的跟進也需要得到重視。當前，國內關於政府信息數據的加工、應用、推廣等仍處於相對鬆散、自發狀態。業內人士建議，國家需要有明確的法律條文規范大數據的發展，特別需要以法律法規劃定大數據開發利用的邊界。

以上是小編為大家分享的關於大數據如何幫助政府實現「精準治理」的相關內容，更多信息可以關注環球青藤分享更多干貨

I. 大數據背景管理信息系統有哪些

大數據背景管理信息系統有騰訊純孝分析、阿里雲大數據、國家電網智能化管理信息系統。
1、騰訊分析：騰訊分析是騰訊公司推出的一款大數據分析工具，主要用於對社交媒體、電子商務、游戲等業務數據進行分析和挖掘，以幫助企業做出更好的決策。
2、阿里雲大數據：阿里雲大數據是阿里雲推出的一整套大數據解決方案，包括數據存儲、計算、分析和可視化等各個環節，能夠滿足企業在大數據管理和應用方面的需求。
3、國家電網智能化管理信息系統：國家電網智能化管理信息系統是叢褲液中國國家電網公司推出的一款大滲物數據管理和決策支持系統，主要用於電力系統的數據採集、存儲、分析和決策支持。