Ⅰ 阿里巴巴運用大數據包括哪些
大數據計算服務(MaxCompute,原ODPS)
Data IDE(原BASE)
數據集成(原CDP雲道)
大數據基礎服務包括 Maxcompute 分析型資料庫等
大數據分析於展現包括 Date V Quick BI 畫像分析等
大數據應用 包括 推薦引擎 企業圖譜
Ⅱ BAT三巨頭開始挖掘大數據
BAT三巨頭開始挖掘大數據
阿里巴巴CTO即阿里雲負責人王堅博士說過一句話:雲計算和大數據,你們都理解錯了。
實際上,對於大數據究竟是什麼業界並無共識。大數據並不是什麼新鮮事物。信息革命帶來的除了信息的更高效地生產、流通和消費外,還帶來數據的爆炸式增長。「引爆點」到來之後,人們發現原有的零散的對數據的利用造成了巨大的浪費。移動互聯網浪潮下,數據產生速度前所未有地加快。人類達成共識開始系統性地對數據進行挖掘。這是大數據的初心。數據積累的同時,數據挖掘需要的計算理論、實時的數據收集和流通通道、數據挖掘過程需要使用的軟硬體環境都在成熟。
概念、模式、理論很重要,但在最具實干精神的互聯網領域,行動才是最好的答案。國內互聯網三巨頭BAT坐擁數據金礦,已陸續踏上了大數據掘金之路。
BAT都是大礦主,但礦山性質不同
數據如同蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數據並不在「大」,而在於「有用」。價值含量、挖掘成本比數量更為重要。
網路擁有兩種類型的大數據:用戶搜索表徵的需求數據;爬蟲和阿拉丁獲取的公共web數據。
阿里巴巴擁有交易數據和信用數據。這兩種數據更容易變現,挖掘出商業價值。除此之外阿里巴巴還通過投資等方式掌握了部分社交數據、移動數據。如微博和高德。
騰訊擁有用戶關系數據和基於此產生的社交數據。這些數據可以分析人們的生活和行為,從裡面挖掘出政治、社會、文化、商業、健康等領域的信息,甚至預測未來。
下面,就將三家公司的情況一一掃描與分析。
一、網路:含著數據出生且擁有挖掘技術,研究和實用結合
搜索巨頭網路圍繞數據而生。它對網頁數據的爬取、網頁內容的組織和解析,通過語義分析對搜索需求的精準理解進而從海量數據中找准結果,以及精準的搜索引擎關鍵字廣告,實質上就是一個數據的獲取、組織、分析和挖掘的過程。
除了網頁外,網路還通過阿拉丁計劃吸收第三方數據,通過業務手段與葯監局等部門合作拿到封閉的數據。但是,盡管網路擁有核心技術和數據礦山,卻還沒有發揮出最大潛力。網路指數、網路統計等產品算是對數據挖掘的一些初級應用,與Google相比,網路在社交數據、實時數據的收集和由數據流通到數據挖掘轉換上有很大潛力,還有很多事情要做。
2月底在北京出差時,寫了一篇《搜索引擎的大數據時代》發在虎嗅。創造了零回復的記錄。盡管如此,仍然沒有打消我對搜索引擎在大數據時代深層次變革的思考。 搜索引擎在大數據時代面臨的挑戰有:更多的暗網數據;更多的WEB化但是沒有結構化的數據;更多的WEB化、結構化但是封閉的數據。這幾個挑戰使得數據正在遠離傳統搜索引擎。不過,搜索引擎在大數據上畢竟具備技術沉澱以及優勢。
接下來,網路會向企業提供更多的數據和數據服務。前期網路與寶潔、平安等公司合作,為其提供消費者行為分析和挖掘服務,通過數據結論指導企業推出產品,是一種典型的基於大數據的C2B模式。與此類似的還有Netflix的《紙牌屋》美劇,該劇的男主角凱文·史派西和導演大衛·芬奇都是通過對網路數據挖掘之後,根據受歡迎情況選中的。
網路還會利用大數據完成移動互聯網進化。核心攻關技術便是深度學習。基於大數據的機器學習將改善多媒體搜索效果和智能搜索,如語音搜索、視覺搜索和自然語言搜索。這將催生移動互聯網的革命性產品的出現。盡管網路已經出發,其在大數據上可做的事情還有很多。
在數據收集方面,網路需要聚合更多高價值的交易、社交和實時數據。例如加強自己貼吧知道的社交能力、盡快讓地圖服務與O2O結合進而掌握交易數據,以及推進移動App、穿戴式設備等數據收集系統。
在數據處理技術上,網路成立深度學習研究院加強自己在人工智慧領域的探索,在多媒體和中文自然語言處理領域已經有一些進展;雲存儲、雲計算的基礎設施建設也在逐步完善。但深度學習仍然是一個巨大的挑戰,網路等探索者還有很多待解問題,如:無監督式學習、立體圖像識別。
在數據變現方面,網路需將數據挖掘能力、數據內容聚合和提取等形成標准化的服務和產品,進而開拓大數據領域的企業和開發者市場。而不僅僅是頗為個性化、定製化地為大型企業提供解決。
網路的優勢體現在海量的數據、沉澱十多年的用戶行為數據、自然語言處理能力和深度學習領域的前沿研究。在技術人才方面網路是聚集國內最多大數據相關領域頂尖人才的公司。聽說網路前段時間花五千萬挖了數據挖掘、自然語言處理、深度學習領域的十來位大牛,包括一些學者和教授。例如Facebook科學家徐偉。
在挖人上,捨得花錢不夠,還得用心。對於真正的大牛來說,錢只是一個影響因素。能否實現自己的夢想,公司的資源能否幫助自己的研究至關重要。徐偉在回國前就曾問過其他從矽谷回國工程師的意見,得到答案是積極的,最終促成他作出決定。
總體來看,網路擁有大數據也具備大數據挖掘的能力,並且正在進行積極地准備和探索。在加強面向未來的研究和人才布局的同時,也注重實用性的技術產出。
二、騰訊:數據為產品所用,自產自銷
微創新提出者金錯刀有個關於騰訊的故事。 1999年騰訊公司剛剛成立不久,天使投資人劉曉松決定向其注資的一個主要原因就是因為他發現,「當時雖然他們的公司還很小,但已經有用戶運營的理念,後台對於用戶的每一個動作都有記錄和分析。」而另一個投資人卻因為馬化騰在公司很小時就花錢在數據上表示不滿。此後騰訊的產品生產及運營、騰訊游戲的崛起都離不開對數據的重視。
騰訊擁有社交大數據,在企鵝帝國完成數據的製造、流通、消費和挖掘。 騰訊大數據目前釋放價值更多是改進產品。據騰訊Q1財報,增值服務占總收入的78.7%;電子商務業務佔14.1%;網路廣告收入佔6.3%。從廣告收入比例可以看出騰訊的大數據在精準營銷領域暫時還未大量釋放出價值。與其產品線對應的GMAIL、Google+的Google以及社交巨頭Facebook則通過廣告賺得盆滿缽滿。
在筆者看來,騰訊的思路主要是補齊產品,注重QZONE、微信、電商等產品的後端數據打通。例如最近騰訊微博利用「大數據技術」實現好友關系自動分組、低質量信息自動過濾、優質信息分類閱讀等智能化功能。明顯的用數據改進產品的思路。 那麼如果騰訊要深入大數據挖掘缺少什麼呢?筆者認為其只需馬化騰「摁下啟動按鈕」。數據已經准備好了,就差模式,也就是找到需求或者能更深層次驅動大數據利用的產品,而不是用大數據改進自己的產品。騰訊還在觀望,等其他人去試錯驗證出一套模式或者產品後,自己可以「站在巨人肩上」。這是騰訊的典型思維。
在人才方面,騰訊很早便開始重金挖人。尤其是2010年在Google宣布退出中國後,Google圖片搜索創始人朱會燦、Google中國工程研究院副院長顏偉鵬、Google中日韓文搜索演算法的主要設計者,《浪潮之巔》及《數學之美》作者吳軍相繼加入騰訊。搜搜花了很多錢,但被認定為一款無法承載騰訊重託的產品,最後這些大牛都走了。大都回Google了。
騰訊在大數據領域也缺少技術帶頭人。其對公關也不重視。技術大牛很少出來做報告,更不會向網路、阿里那樣主動包裝宣傳技術大牛。其技術雖然低調,但執行力很強。據騰訊的程序員朋友說封閉開發、集體加班是常有的事情。但配套的重金激勵也能跟上。重金之下必有勇夫、騰訊用制度保障技術產出。另外騰訊在高校合作領先一步,在2010年便與清華大學合作成立了清華騰訊聯合實驗室。這么看騰訊的技術人才這塊似乎有短板。會不會到時候馬化騰按下啟動按鈕,發現沒數據挖掘能力呢?不會,騰訊搞不定數據挖掘,到時候依然可以挖到大牛,甚至讀論文來搞定這事兒。數據挖掘已較為成熟。數據挖掘實際是資料庫、統計學、機器學習三個領域的融合。在學術界已經發展多年。不過自然語言識別和深度學習等方面要趕上網路,就難了。除非將網路的數據和眾大牛一起倒騰過來。
總體來看,騰訊目前的大數據策略是先將產品補全,產品後台數據打通,形成穩定生態圈。本階段先利用大數據挖掘改進自己的產品。後期有成熟的模式合適的產品,則利用自家的社交及關系數據時,開展對大數據的進一步挖掘。
三、阿里巴巴:坐擁金數據,嘗試做面向未來的數據集市
阿里巴巴B2B出身,在外貿蓬勃的大環境下,依靠服務中小企業發家。淘寶、支付寶等toC的產品出生前,阿里並不依賴也不擅長技術。業界普遍認為阿里沒有技術基因。直到淘寶、支付寶以及天貓三個產品後,對海量用戶大並發量交易、海量貨架數據的管理、安全性等方面的嚴苛要求,阿里完成進化,在電商技術上取得不菲的成績。在一段時期阿里仍然浪費了手裡掌握的大量數據。這些數據還是「最值錢」的金數據。
數據挖掘無非是從原始數據提取價值。阿里現有的數據產品例如數據魔方、量詞統計、推薦系統、排行榜以及時光倒流相對來說是比較簡單的BI(商業智能),沒到大數據的階段。「大數據」浪潮襲來,阿里提出「數據、金融和平台」戰略。前所未有地重視起對數據的收集、挖掘和共享。馬雲在「退居」前動不動都對外提「數據」。有位阿里朋友甚至開玩笑說,馬雲英文名可以從Jack Ma改為Data Ma。阿里現CEO陸兆禧曾做過CDO,首席數據官。為了用數據來驅動阿里電商帝國,阿里還成立了橫跨各大事業部的「數據委員會」。
阿里的各項投資案也顯示其整合、利用和完善數據的野心:新浪微博的社交及媒體數據、高德的地圖數據和線下數據以及友盟的移動應用數據,都是其數據及平台戰略的一部分。數據戰略正在首席人工智慧官(CBO)車品覺領頭下逐步落地,王堅的雲為其提供基礎設施、基礎技術支撐。
就在馬雲退休之後,王堅對外透露其跟馬雲開玩笑說的一句話:阿里巴巴對數據的理解深度,不會超過蘇寧對電子商務的理解。估計馬雲不一定認同他這話。馬雲對大數據已經有著自己的理解和考量。馬雲曾經說過其對大數據的思考。大致意思是:現在從信息時代進入數據時代了。區別是信息時代更多的是精英玩的游戲。我比別人聰明,我能提取出信息出來;數據時代,別人比我聰明,將數據開放給更聰明的人處理,數據即資產,分析即服務。
計算機發展的過程是從象牙塔、到平民到草根。大數據也是這樣,一開始在象牙塔階段,少數精英公司才能玩;但到後面只要有數據就有價值。數據也有所有權,產生數據、流通數據、挖掘數據的都會獲得相應的價值。而阿里擅長的便是「建立市場」,建立一個數據交易市場。屆時任何個人和企業都可以將數據和挖掘服務拿上去,交易。初期阿里會將自己珍藏的電商和信用數據逐步放到上面。 有數據的人,拿上去賣,或者讓別人分析,分析即服務。沒有數據的人,即可以去買,也可以去幫別人挖掘,做礦工。
阿里並不是技術驅動,而是業務驅動的。因此在技術層面我們看到,基於前面提到的阿里大數據思路,其技術重心主要在系統層面。阿里擁有LVS(Linux Virtual Server,Linux虛擬伺服器)開源軟體創始人章文嵩,Linux Kernal、文件系統、大牛DBA等領域的大牛。從人才布局可以看到阿里擅長的技術領域,體現在對於並發訪問、電信級別的電商業務的支撐方面的得心應手。在去年雙十一期間,支撐了單日過億的訂單量。鐵道部奇葩網12306在日均40萬時已經不行了。
總體來看,阿里更多是在搭建數據的流通、收集和分享的底層架構。自己並不擅長似乎也不會著重來做數據挖掘的活兒。而是將自己擅長的「交易」生意擴展到數據。讓天下沒有難做的「數據生意」。
總結一下
移動互聯網浪潮下,現實世界正在加速數字化,每個人,每個物體、每件事情、每一個時間節點,都在向網上映射。空間和時間兩個維度的聯網,使得數字世界正在接近一步步模擬現實世界。歷史、現在和未來都會映射到網上。對大數據的挖掘正是對世界的二次發現和感知。BAT三巨頭已經出發。
Ⅲ 阿里大數據營銷存在哪些問題
問題有如下幾點:
1、數據存在失真情況。數據的失真主要體現在兩個方面:一方面,消費者在注冊時可能會輸入虛假的個人信息或者是一人使用多個賬戶、使用他人賬戶等,其在網路操作過程中產生的數據信息本身就不真實,另一方面,由於網路技術的發展和消費者的個性化需求促使阿里巴巴每隔一段時間就要進行網站維護與更新,在這個過程中,會有不少用戶因為不熟悉新的界面而進行錯誤的操作,這些錯誤的操作信息也被阿里巴巴記錄,造成資料庫中真假信息混雜,嚴重影響了大數據的質量。
2、消費者的個人權益難以保障。直至目前,阿里巴巴仍沒有提出有效預防用戶信息泄露的方法或是用戶信息泄露之後的維護方法。
3、大數據營銷效果易出現兩極化。用戶在使用淘寶的過程中會將自己的手機號碼、郵箱等聯系方式提供給阿里巴巴,為了擴大經營,阿里巴巴會進一步分析資料庫中的客戶需求,針對不同的客戶,通過簡訊、郵件等形式向客戶推銷產品,這在某些方面增加了客戶,然而大多情況下這些信息會被消費者無視,更有甚者,會引起消費者的反感,因此,大數據營銷的效果如何,仍存在極大的不確定性,效果難以預料。
Ⅳ 從IT到DT 阿里大數據背後的商業秘密
從IT到DT:阿里大數據背後的商業秘密
空氣污染究竟在多大程度上影響了人們的網購行為?有多少比重的線上消費屬於新增消費?為什麼中國的「電商百佳縣」中浙江有41個而廣東只有4個?
這些電商的秘密就隱藏在阿里巴巴商業生態的「大數據」中。
「未來製造業的最大能源不是石油,而是數據。」阿里巴巴董事局主席馬雲如此形容「數據」的重要意義。
在他看來,阿里巴巴本質上是一家數據公司,做淘寶的目的是為了獲得零售的數據和製造業的數據;做螞蟻金服的目的是建立信用體系;做物流不是為了送包裹,而是這些數據合在一起,「電腦會比你更了解你」。與此同時,產業的發展也正在從IT時代走向以大數據技術為代表的DT時代。
而在阿里巴巴內部,由電子商務、互聯網金融、電商物流、雲計算與大數據等構成的阿里巴巴互聯網商業生態圈,也正是阿里研究院所紮根的「土壤」。
具體而言,阿里巴巴平台的所有海量數據來自於數百萬充滿活力的小微企業、個人創業者以及數億消費者,阿里研究院通過對他們的商務活動和消費行為等進行研究分析,從某種程度上可以反映出一個地方乃至宏觀經濟的結構和發展趨勢。
而隨著阿里巴巴生態體系的不斷拓展和延伸,阿里巴巴的數據資源一定程度上將能夠有效補充傳統經濟指標在衡量經濟冷暖方面存在的滯後性,幫助政府更全面、及時、准確地掌握微觀經濟的運行情況。
從IT到DT
不同於一些企業以技術研究為導向的研究院,阿里研究院副院長宋斐告訴《第一財經日報》記者,阿里研究院定位於面向研究者和智庫機構,主要的研究方向包括未來研究(如信息經濟)、微觀層面上的模式創新研究(如C2B模式、雲端制組織模式)、中觀層面上的產業互聯網化研究(如電商物流、互聯網金融、農村電商等)、宏觀層面上新經濟與傳統經濟的互動研究(如互聯網與就業、消費、進出口等)、互聯網治理研究(如網規、電商立法)等。
具體到數據領域,就是在阿里巴巴互聯網商業生態基礎上,從企業數據、就業數據、消費數據、商品數據和區域數據等入手,通過大數據挖掘和建模,開發若干數據產品與服務。
例如,將互聯網數據與宏觀經濟統計標准對接的互聯網經濟數據統計標准,包括了中國城市分級標准;網路消費結構分類標准;網上商品與服務分類標准等。
而按經濟主題劃分的經濟信息統計資料庫則包括商品信息統計資料庫;網購用戶消費信息統計資料庫;小企業與就業統計資料庫;區域經濟統計資料庫。
還有反映電商經濟發展的「晴雨表」——阿里巴巴互聯網經濟系列指數。其中包括反映網民消費意願的阿里巴巴消費者信心指數aCCI、反映網購商品價格走勢的阿里巴巴全網網購價格指數aSPI和固定籃子的網購核心價格指數aSPI-core、反映網店經營狀態的阿里巴巴小企業活躍度指數aBAI、反映區域電子商務發展水平的阿里巴巴電子商務發展指數aEDI等等。其中,現有aSPI按月呈報給國家統計局。
而面向地方政府決策與分析部門的數據產品「阿里經濟雲圖」,則將分階段地推出地方經濟總覽、全景分析、監測預警以及知識服務等功能。宋斐告訴記者,其數據可覆蓋全國各省、市、區縣各級行政單位,地方政府用戶經過授權後,可以通過阿里經濟雲圖看到當地在阿里巴巴平台上產生的電子商務交易規模、結構特徵及發展趨勢。
「藉助數據可視化和多維分析功能,用戶可以對當地優勢產業進行挖掘、對消費趨勢與結構變動進行監測、與周邊地區進行對比等等。」宋斐表示,該產品未來還可以提供API服務模式,以整合更多的宏觀經濟數據和社會公開數據,為當地經濟全貌進行畫像,給大數據時代的政府決策體系帶來新的視角和工具。
數據會「說話」
對於如何利用「大數據」,馬雲在公司內部演講中曾提到:「未來幾年內,要把一切業務數據化,一切數據業務化。」
其中,後半句話可以理解為,讓阿里巴巴各項業務所產生、積累的大數據來豐富阿里的生態,同時讓生態蘊含的數據產生新的價值,再反哺生態,這是一個相輔相成的循環邏輯。
宋斐對記者舉例稱,螞蟻金服旗下的芝麻信用已獲得人民銀行個人徵信牌照批准籌備,未來將通過分析大量的網路交易及行為數據,如用戶信用歷史、行為偏好、履約能力、身份特質、人脈等信息,對用戶進行信用評估,這些信用評估可以幫助互聯網金融企業對用戶的還款意願及還款能力做出結論,繼而為用戶提供快速授信及現金分期服務。本質上來說,「芝麻信用」是一套徵信系統,該系統收集來自政府、金融系統的數據,還會充分分析用戶在淘寶、支付寶等平台的行為記錄。
再如,對於如火如荼的農村電商領域,阿里研究院從2010年就已開始對「沙集模式」個案進行研究,後續一系列基於數據和案例調研所驅動的農村電商研究成果,對於地方政府科學決策,推動當地農村電子商務發展、創造就業和發展地方經濟起到了助力作用。到2014年底,全國已經涌現了212個淘寶村,而阿里巴巴也在這一年啟動千縣萬村計劃,將在三至五年內投資100億元,在農村建立起電子商務服務體系。
除了通過數據分析去助力業務外,宋斐告訴記者,有時候大數據報告可能會與傳統的印象結論差異很大。
以區域電子商務為例,在阿里研究院發布的2014年中國電商百強縣排行榜中,浙江有41個縣入圍,福建有16個,而廣東只有4個,這個結果與傳統的印象相差比較大。而事實上,這是因為浙江和廣東兩省電商發展在地理分布、產業結構等方面的明顯不同而帶來的。
再如,外界常常認為網路零售替代了線下零售,但事實上,麥肯錫《中國網路零售革命:線上購物助推經濟增長》的研究報告,通過借鑒阿里研究中心(阿里研究院前身)和淘寶網UED用戶研究團隊的大量報告與數據,最後發現:「約60%的線上消費確實取代了線下零售;但剩餘的40%則是如果沒有網路零售就不會產生的新增消費。」
「這一研究成果,有助於社會各界准確認識網路零售與線下零售的關系,共同探索和建設良好的商業發展環境。」
Ⅳ 國內大數據公司有哪些
國內大數據主力陣營:
1.阿里巴巴
阿里巴巴擁有交易數據和信用數據,更多是在搭建數據的流通、收集和分享的底層架構。
2.華為華為雲服務
整合了高性能的計算和存儲能力,為大數據的挖掘和分析提供專業穩定的IT基礎設施平台,近來華為大數據存儲實現了統一管理40PB文件系統
3.網路
網路的優勢體現在海量的數據、沉澱十多年的用戶行為數據、自然語言處理能力和深度學習領域的前沿研究。近來網路正式發布大數據引擎,將在政府、醫療、金融、零售、教育等傳統領域率先開展對外合作。
4.浪潮
浪潮互聯網大數據採集中心已經採集超過2PB數據,並已建立5大類數據分類處理演算法。近日成功發布海量存儲系統的最新代表產品AS130000。
5.騰訊
騰訊擁有用戶關系數據和基於此產生的社交數據,騰訊的思路主要是用數據改進產品,注重QZONE、微信、電商等產品的後端數據打通。
Ⅵ 阿里,騰訊和百度的互聯網大數據應用有何不同
網路、阿里巴巴和騰訊三大互聯網企業都擁有大數據,三大互聯網巨頭的數據都用來優化自己業務的運營效果,從這個層面看,其數據價值應用場景比較類似。但由於其業務和商業模式的不同決定了三者數據資產的不同,也決定了三者未來大數據策略的不同,尤其是基於大數據的開放和合作角度看,網路和阿里巴巴相對更加開放。對於重視大數據開放和合作的互聯網企業,他們最為期待的是借著大數據開放的策略,與更多的傳統行業交換更多的數據,從而更好的豐富其在線下數據,形成線上和線下數據的協同,從中拓展新的商業模式,如智能硬體和大數據健康。
從數據類型看,騰訊數據最為全面,這與其互聯網業務全面相關,其最為突出的是社交數據和游戲數據,其中:社交數據最為核心的是關系鏈數據、用戶間的互動數據、用戶產生的文字、圖片和視頻內容;游戲數據主要包括大型網游數據、網頁游戲數據和手機游戲數據,游戲數據中最為核心的是游戲的活躍行為數據和付費行為數據,騰訊的數據最大的特點是基於社交的各種用戶行為和娛樂數據。阿里最為突出的是電商數據,尤其是用戶在淘寶和天貓上的商品瀏覽、搜索、點擊、收藏和購買等數據,其數據最大特點是從瀏覽到支付形成的用戶漏斗式轉化數據。網路的數據以用戶搜索的關鍵詞、爬蟲抓取的網頁、圖片和視頻數據為主,網路的數據特點是通過搜索關鍵詞更直接反映用戶興趣和需求,網路的數據以非結構化數據更多。
網路、阿里巴巴和騰訊的數據應用場景
網路、阿里巴巴和騰訊的數據應用場景都有共同的體系,該體系一共分為七層,代表了企業不同層面的數據價值應用場景,形成了企業運營的數據價值金字塔:
(1)數據基礎平台層。金字塔的最底層也是整個金字塔的基礎層,如果基礎層搭建不好,上面的應用層也很難在企業運營中發揮效果,這一層的技術目標是實現數據的有效存儲、計算和質量管理;業務目標是把企業的所有用戶(客戶)數據用唯一的ID串起來,包括用戶(客戶)的畫像(如性別、年齡等)、行為以及興趣愛好等,以達到全面的了解用戶(客戶)的目的;
(2)業務運營監控層。這一層首要的是搭建業務運營的關鍵數據體系,在此基礎上通過智能化模型開發出來的數據產品,監控關鍵數據的異動,通過各種分析模型等可以快速定位數據異動的原因,輔助運營決策;
(3)用戶/客戶體驗優化層。這一層主要是通過數據來監控和優化用戶/客戶的體驗問題。這裡面既運用了結構化的數據來監控,也運用非結構化的數據(如文本)來監控體驗的問題。前者更多的是應用各種用戶(客戶)體驗監測的模型或者工具來實現,後者更多的是通過監測微博、論壇和企業內部的客戶反饋系統的文本來發現負面的口碑,以及時的優化產品或服務;
(4)精細化運營和營銷層。這一層主要通過數據驅動業務精細化運營和營銷。主要可以分為四方面:第一,構建基於用戶的數據提取和運營工具,以方便運營和營銷人員通過人群定向把客戶提取出來,從而對客戶進行營銷或運營活動;第二方面,通過數據挖掘的手段提升客戶對活動的響應;第三,通過數據挖掘的手段進行客戶生命周期管理;第四,主要是用個性化推薦演算法基於用戶不同的興趣和需求推薦不同的商品或者產品,以實現推廣資源效率和效果最大化,如淘寶商品的個性化推薦;
(5)數據對外服務和市場傳播層面。數據對外服務一般為服務該互聯網企業的客戶或用戶,如網路通過提供網路輿情、網路代言人、網路指數等服務其廣告主客戶;淘寶通過數據魔方、淘寶情報和在雲端等產品服務其客戶;騰訊通過騰訊分析和騰訊雲分析等服務其開放商客戶。在市場傳播層面,主要通過有趣的數據信息圖譜和數據可視化產品來實現(如淘寶指數、網路指數、網路春節遷徙地圖)。
(6)經營分析層面。主要通過分析師對大數據進行統計,形成經驗分析周報、月報和季度報告等,對用戶經營情況和收入完成等情況進行分析,發現問題,優化經營策略。
(7)戰略分析層面。這方面既要結合內部的大數據形成決策層的數據視圖,也要結合外部數據尤其是各種競爭情報監控數據、國外趨勢研究數據來輔助決策層進行戰略分析。
雖然網路、阿里巴巴和騰訊在企業運營的數據價值的應用體繫上有共同的特點,但由於企業的商業模式以及數據資產不同,他們在整體的大數據發展策略也有顯著的不同。
網路大數據策略
網路大數據最重要的是來源是通過爬蟲搜集的100多個國家的近萬億網頁數據,數據量是在EB級的規模。網路的數據非常多樣化,其收集的數據既有為非結構化的或者半結構化的數據,包括網頁數據、視頻和圖片等數據,也有結構化的數據,如用戶的點擊行為數據,廣告客戶的付費行為數據等。
網路大數據主要服務三類人群:一類是互聯網網民,通過大數據和自然語言處理技術讓網民的搜索更加准確;第二類是廣告主,通過大數據讓廣告主的廣告和搜索關鍵詞的匹配度更高,或者和網民正在看的網頁內容匹配度更高;第三類是,也是在重點推進的網路大數據引擎,重點是服務傳統行業擁有一定規模數據的企業。
網路大數據引擎代表了互聯網企業數據服務能力開放和合作的趨勢,網路大數據引擎由以下三方面構成:
開放雲:網路的大規模分布式計算和超大規模存儲雲,開放雲大數據開放的是基礎設施和硬體能力。過去的網路雲主要面向開發者,大數據引擎的開放雲則是面向有大數據存儲和處理需求的「大開發者」。據網路相關人員稱,網路開放雲還擁有CPU利用率高、彈性高、成本低等特點。網路是全球首家大規模商用ARM伺服器的公司,而ARM架構的特徵是能耗小和存儲密度大,同時網路還是首家將GPU(圖形處理器)應用在機器學習領域的公司,實現了能耗節省的目的。
數據工廠:數據工廠為網路將海量數據組織起來的軟體能力,與資料庫軟體的作用類似,不同的是數據工廠是被用作處理TB級甚至更大的數據。網路數據工廠支持超大規模異構數據查詢,支持SQL-like以及更復雜的查詢語句,支持各種查詢業務場景。同時網路數據工廠還將承載對於TB級別大表的並發查詢和掃描,大查詢、低並發時每秒可達百GB。
網路大腦:網路大腦將網路此前在人工智慧方面的能力開放出來,主要是大規模機器學習能力和深度學習能力。此前它們被應用在語音、圖像、文本識別,以及自然語言和語義理解方面,並通過網路Inside等平台開放給了智能硬體。現在這些能力將被用來對大數據進行智能化的分析、學習、處理、利用,並對外開放。
網路將基礎設施能力、軟體系統能力以及智能演算法技術打包在一起,通過大數據引擎開放出來之後,擁有大數據的行業可以將自己的數據接入到這個引擎進行處理。從架構來看,企業或組織也可以只選擇三件套中的一種來使用,例如數據存放在自己的雲,但要運用網路大腦的一些智能演算法或者數據存放在網路雲,自己寫演算法。
網路大數據引擎的作用
我們可以從兩方面來具體看網路大數據引擎的作用:
(1)對於 *** 機構:如交通部門有車聯網、物聯網、路網監控、船聯網、碼頭車站監控等地方的大數據,如果這些數據與網路的搜索記錄、全網數據、LBS數據結合,在利用網路大數據引擎的大數據能力,則可以實現智能路徑規劃和運力管理;衛生部門擁有流感法定報告數據、全國流感樣病例哨點監測和病原學監測數據,如果和網路的搜索記錄及全網數據結合,便可進行流感預測、疫苗接種指導。
(2)對於企業:很多企業也擁有海量大數據,不過很多企業的大數據處理和挖掘能力比較弱,如果應用網路大數據引擎,則可以對海量數據進行可靠低成本的存儲,進行智能化的由淺入深的價值挖掘。如在2014年4月的網路技術開放日上,中國平安便介紹了如何利用網路的大數據能力加強消費者理解和預測,細分客戶群制定個性化產品和營銷方案。
阿里巴巴大數據策略
阿里巴巴大數據整體發展方向是以激活生產力為目的的DT(data technology,數據技術驅動)數據時代發展。阿里巴巴大數據未來將由「基於雲計算的數據開放+大數據工具化應用」組成:
(1)基於雲計算的數據開放。雲計算使中小企業可以在阿里雲上獲得數據存儲、數據處理服務,也可以構建自己的數據應用。雲計算是數據開放的基礎,雲計算可以為全球的數據開發者提供數據工作平台,阿里分布式的存儲平台和在這個平台上的演算法工具,可以更好的為數據開發者所用;同時,阿里巴巴還需要做好數據的脫敏,把數據的商業定義,每個標簽打得足夠清晰,能夠讓全球的數據開發者在阿里巴巴平台展開數據思維,讓數據為 *** 所用、消費者所用以及行業所用。阿里的大數據開放之後,線上線下的數據能夠串聯起來,所有人都是數據提供方,也是數據的使用者。
(2)在大數據應用上,馬雲已經在整個數據應用上確定了兩個方針:
第一個方針:從IT到DT(數據技術),DT就是點燃整個數據和激發整個數據的力量,被管理所用,被社會所用,被銷售所用,為製造業所用,為消費者信用所用。前文已經分析道,阿里巴巴的數據資產是以電商為主,其中,淘寶和天貓每天會產生豐富多樣的數據,阿里巴巴已經沉澱了包括交易、金融、生活服務等多種類型的數據。這些數據能夠幫助阿里巴巴進行數據化運營(如下圖)。
另外一個其最為重要的應用是金融領域——小微金融。在小微金融企業融資領域。由於銀行無法掌握小微企業真實的經營數據,不僅導致很多企業無法拿到貸款,還因為數據類型的不足導致整個判斷流程過長,阿里已經通過其電商數據中的交易、信用、SNS等多種數據來決定是否可以發放貸款以及放貸的額度。
第二個方針:讓阿里巴巴的數據、讓阿里巴巴的工具能夠成為中國商業的基礎設施。阿里巴巴已經開始在轉型,阿里將由自己直接面對消費者變成支持網商面對消費者,阿里會根據其已有的運營和數據經驗,開發更多的工具,幫助網商成長,讓網商們更懂得用最好的工具、服務去服務好消費者。正如馬雲所言「我相信沒有一個網商不希望擁有自己的客戶,沒有一個網商不希望知道客戶對自己的體驗到底好還是壞,如何持久的擁有這些客戶,我們覺得一個國家的經濟,應該讓給企業家群體去做,我們覺得淘寶網商未來的經濟,是應該留給網商們去決定,而不是我們去做決定」。
騰訊大數據策略
騰訊的大數據目前更多的是為騰訊企業內部運營服務,相對於阿里和網路,數據開放程度並不高。因此,對於騰訊我們主要重點介紹騰訊大數據在服務企業內部的應用場景和服務。
騰訊90%以上的數據已經實現集中化管理,數據集中在數據平台部,有超過100多個產品的數據已經集中管理起來,而且是集中存儲在騰訊自研數據倉庫(TDW)。騰訊大數據從數據應用的不同環節可以分為四個層面,包括數據分析、數據挖掘、數據管理和數據可視化:
(1)數據分析層有四個產品:自助分析、用戶畫像、實時多維度分析和異動智能定位工具。自助分析可以幫助非技術人員通過簡單的條件配置實現數據的統計和展示功能;用戶畫像則是對某一群用戶或者某一業務的用戶實現自動化的人群畫像;實時多維度分析工具則是可以對某一指標可以實現實時的多個維度的切分,方便分析人員從不同角度對某一指標進行多維度分析;異動智能定位工具則實現數據異動問題的智能化定位。
(2)數據挖掘層面的產品應用有:精準廣告系統、用戶個性化推薦引擎和客戶生命周期管理。精準廣告系統如廣點通,是基於騰訊大社交平台的海量數據為基礎,通過精準推薦演算法,以智能定向推廣位導向實現廣告精準投放;用戶個性化推薦引擎根據每位用戶的興趣和喜好,通過個性化推薦演算法(協同過濾、基於內容推薦、圖演算法、貝葉斯等),實現產品的個性化推薦需求;客戶生命周期管理系統,則是基於大數據,根據用戶/客戶的所處的不同生命周期進行數據挖掘,建立預測、預警和用戶特徵模型,以根據用戶/客戶所處的不同生命周期特點進行精細化運營和營銷。
(3)在數據管理層面則有:TDW(騰訊數據倉庫)、TDBank(數據銀行)、元數據管理平台和任務調度系統和數據監控。這一層面主要是實現數據的高效集中存儲、數據的業務指標定義管理、數據質量管理、計算任務的及時調度和計算以及數據問題的監控和告警。
(4)在數據可視化層面有:自助報表工具、騰訊羅盤、騰訊分析和騰訊雲分析等工具。自助報表工具可以自助化的實現結構相對簡單和邏輯相對簡單的報表。騰訊羅盤分為內部版和外部版,內部版則是服務於騰訊內部用戶(產品經理、運營人員和技術人員等)的高效報表工具,外部版則是服務於騰訊合作夥伴如開發商的報表工具。騰訊分析是網站分析工具,幫助網站主進行網站的全方位分析。騰訊雲分析則是幫助應用開發商決策和運營優化的分析工具。
總的來看,網路、阿里巴巴和騰訊三大互聯網企業都擁有大數據,三大互聯網巨頭的數據都用來優化自己業務的運營效果,從這個層面看,其數據價值應用場景比較類似。但由於其業務和商業模式的不同決定了三者數據資產的不同,也決定了三者未來大數據策略的不同,尤其是基於大數據的開放和合作角度看,網路和阿里巴巴相對更加開放。對於重視大數據開放和合作的互聯網企業,他們最為期待的是借著大數據開放的策略,與更多的傳統行業交換更多的數據,從而更好的豐富其在線下數據,形成線上和線下數據的協同,從中拓展新的商業模式,如智能硬體和大數據健康。
這個得從BAT各自的基因來分析。網路主要是以搜索產品,所以大數據對於網路來說主要用於搜索方面,使搜索更加的精準和匹配;阿里巴巴以電子商務為主,所以大數據對於阿里巴巴來說會主要用戶商品方面;騰訊主要是社交,所以大數據對於騰訊來說可能更多的應用於社會網路分析。大數據的主要用途為預測,所以BAT對於大數據的共同點都是為了通過對用戶的分析,進行更加准確的服務和營銷。
阿里有數據魔方,為賣家提供收費服務。
「互聯網」
和
「所有空間」
互聯網 就是指Inter上所有的信息
對網路來說
主要就是中文信息
所有空間
就是指網路中的所有用戶
建了網路空間
(博客+相冊+留言板)
顯然搜索後者
是不包括網路空間 以外的博客的
大數據是大量、高速、多變的信息,它需要新型的處理方式去促成更強的決策能力、洞察力與最佳化處理。大數據為企業獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。
藉助大數據及相關技術,我們可針對不同行為特徵的客戶進行針對性營銷,甚至能從「將一個產品推薦給一些合適的客戶」到「將一些合適的產品推薦給一個客戶」,得以更聚焦客戶,進行個性化精準營銷。
大數據時代下的精準營銷是指通過大數據獲取對象的喜好,行為偏好,對不同對象進行不同營銷。大數據精準營銷的核心可以概括為幾大關鍵詞:用戶、需求、識別、體驗。
億美軟通推出數據雲服務,延續億美的客戶服務、客戶營銷、客戶管理的公司經營理念,通過龐大的消費數據資源,為客戶提供數據驗證,精準營銷等數據級服務。簡單說就是為企業提供數據驗證和數據篩選業務。
-
不用擔心,學好了就會有好的前景。{變數9}
1.大數據重預測,小數據重解釋;2.大數據重發現,而小數據重實證;3.大數據重相關,小數據重因果;4.大數據重全體,小數據重抽樣;5.大數據重感知,小數據重精確。
DCCI互聯網數據中心(DCCI DATA CENTER OF CHINA INTERNET,簡稱DCCI),互聯網監測研究權威機構&數據平台,互動營銷之測量、分析、優化服務提供者。以Panel軟體、代碼嵌入、海量數據挖掘、語義信息處理等多種領先技術手段為基礎,進行網站、用...
互聯網數據中心:是idc 他是主要存放網路數據的(網站+數據+下載站點等)囊括比較廣泛,任何的正規企業或者是中小型站長都是可以進行選擇的。
企業數據中心:它的更加具有針對性,它可以隸屬於互聯網數據中心的一部分的。
Ⅶ 阿里的總監將大數據、數字化的經驗,總結成資料干貨,可以收藏
阿里把企業的數字化轉型劃分為「數字化重構」和「數字化增長」兩大類別,這個概念是不是聽著很難懂?
重構,就是轉型嘛;增長,就是更進一步嘛,說白了還是原來的老樣子,換了個解釋而已。
說到數字化轉型,我覺得這是一個非常好的話題,甚至能衍生出很多干貨,無論是傳統企業,還是頂尖的互聯網大公司,如阿里騰訊,老闆都在朝這個方向努力。
所以和大數據有關的知識,還是很有必要學習的。
我給大家整理了很多干貨,我從一個10年從業者和管理者的角度,這份干貨,無論是底層幹活的,中層管控的,上層布局的,都能夠很清楚的學習到。
涉及到的方面還是很廣的:大數據、數倉、中台、AI、IT規劃、大數據平台、BI工具。
我是怎麼總結的?
從架構入手,到每個模塊的分解,再到每個地方的注意點,基本上就行了,太細的也不是通過文字去說清楚的。
只要能做到,看了干貨資料,能對實際工作產生指導,就可以了。
這只是一部分,還有更多,自己來看就好。
Ⅷ 阿里大數據學院的詳細情況,有了解的嗎
阿里大數據學院由阿里雲、慧科集團和高校三方聯手共建,是近兩年產教融合、校企合專作的新嘗試。屬學院採用「產學合作協同育人」人才培養模式,校企共同辦學,共建大數據、雲計算、雲安全等專業(不只是你說的大數據專業哦)、 實訓基地、 雙師團隊、 大數據教學資源庫,以項目實戰和課(程)證(書)融合的教學模式培養大數據技術應用型創新型人才,為當地大數據、雲計算等前沿信息產業高速發展提供人才支撐。
除了你提到的成都信息工程大學外,還有貴州理工學院、北京城市學院、福州職業技術學院與阿里雲、慧科合作成立了阿里大數據學院,培養符合市場需求緊缺的技術人才。