㈠ 大數據技術及應用
大數據技術及應用
半個世紀以來,隨著計算機技術全面融入社會生活,信息爆炸已經積累到了一個開始引發變革的程度。21世紀是數據信息大發展的時代,移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍,各種數據正在迅速膨脹並變大。互聯網(社交、搜索、電商)、移動互聯網(微博)、物聯網(感測器,智慧地球)、車聯網、GPS、醫學影像、安全監控、金融(銀行、股市、保險)、電信(通話、簡訊)都在瘋狂產生著數據。2011年5 月,在「雲計算相遇大數據」 為主題的EMC World 2011 會議中,EMC 拋出了Big Data概念。正如《紐約時報》2012年2月的一篇專欄中所稱,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於數據和分析而作出,而並非基於經驗和直覺。哈佛大學社會學教授加里?金說:「這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。」
二、什麼是大數據
大數據(Big Data)是指那些超過傳統資料庫系統處理能力的數據。它的數據規模和轉輸速度要求很高,或者其結構不適合原本的資料庫系統。為了獲取大數據中的價值,我們必須選擇另一種方式來處理它。數據中隱藏著有價值的模式和信息,在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業都要付高昂的代價才能從大數據中挖掘信息。而當今的各種資源,如硬體、雲架構和開源軟體使得大數據的處理更為方便和廉價。即使是在車庫中創業的公司也可以用較低的價格租用雲服務時間了。對於企業組織來講,大數據的價值體現在兩個方面:分析使用和二次開發。對大數據進行分析能揭示隱藏其中的信息。例如零售業中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數據的二次開發則是那些成功的網路公司的長項。例如Facebook通過結合大量用戶信息,定製出高度個性化的用戶體驗,並創造出一種新的廣告模式。這種通過大數據創造出新產品和服務的商業行為並非巧合,谷歌、雅虎、亞馬遜和Facebook它們都是大數據時代的創新者。
(一)大數據的4V特徵
大量化(Volume):企業面臨著數據量的大規模增長。例如,IDC最近的報告預測稱,到2020年,全球數據量將擴大50倍。目前,大數據的規模尚是一個不斷變化的指標,單一數據集的規模範圍從幾十TB到數PB不等。簡而言之,存儲1PB數據將需要兩萬台配備50GB硬碟的個人電腦。此外,各種意想不到的來源都能產生數據。
多樣化(Variety):一個普遍觀點認為,人們使用互聯網搜索是形成數據多樣性的主要原因,這一看法部分正確。然而,數據多樣性的增加主要是由於新型多結構數據,以及包括網路日誌、社交媒體、互聯網搜索、手機通話記錄及感測器網路等數據類型造成。其中,部分感測器安裝在火車、汽車和飛機上,每個感測器都增加了數據的多樣性。
快速化(Velocity):高速描述的是數據被創建和移動的速度。在高速網路時代,通過基於實現軟體性能優化的高速電腦處理器和伺服器,創建實時數據流已成為流行趨勢。企業不僅需要了解如何快速創建數據,還必須知道如何快速處理、分析並返回給用戶,以滿足他們的實時需求。根據IMS Research關於數據創建速度的調查,據預測,到2020年全球將擁有220億部互聯網連接設備。
價值(Value):大量的不相關信息,浪里淘沙卻又彌足珍貴。對未來趨勢與模式的可預測分析,深度復雜分析(機器學習、人工智慧Vs傳統商務智能(咨詢、報告等)
三、大數據時代對生活、工作的影響
大數據,其影響除了經濟方面的,它同時也能在政治、文化等方面產生深遠的影響,大數據可以幫助人們開啟循「數」管理的模式,也是我們當下「大社會」的集中體現,三分技術,七分數據,得數據者得天下。
「大數據」的影響,增加了對信息管理專家的需求。事實上,大數據的影響並不僅僅限於信息通信產業,而是正在「吞噬」和重構很多傳統行業,廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中,數據分析的技術與手段更是得到廣泛的應用,傳統企業如沃爾瑪通過數據挖掘重塑並優化供應鏈,新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析,為用戶提供更加專業化和個性化的服務。
大數據在個人隱私的方面,大量數據經常含有一些詳細的潛在的能夠展示有關我們的信息,逐漸引起了我們對個人隱私的擔憂。一些處理大數據公司需要認真的對待這個問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個科學家提出,我們不應該簡單地服從法律方面的隱私保護問題,這些遠遠不夠的,公司都應該遵從谷歌不作惡的原則,甚至更應該做出更積極的努力。
四、大數據時代的發展方向、趨勢
根據ESM國際電子商情針對2013年大數據應用現狀和趨勢的調查顯示:被調查者最關注的大數據技術中,排在前五位的分別是大數據分析(12.91%)、雲資料庫(11.82%)、Hadoop(11.73%)、內存資料庫(11.64%)以及數據安全(9.21%)。Hadoop已不再是人們心目中僅有的大數據技術,而大數據分析成為最被關注的技術。從中可以看出,人們對大數據的了解已經逐漸深入,關注的技術點也越來越多。既然大數據分析是最被關注的技術趨勢,那麼大數據分析中的哪項功能是最重要的呢?從下圖可以看出,排在前三位的功能分別是實時分析(21.32%)、豐富的挖掘模型(17.97%)和可視化界面(15.91%)。2012年也曾做過類似的調查,當時選擇豐富的挖掘模型(27.22%)比實時分析(19.88%)多7.34%。短短一年時間內,企業對實時分析的需求激增,成就了很多以實時分析為創新技術的大數據廠商。從調查結果可以看出:企業在未來一兩年中有迫切部署大數據的需求,並且已經從一開始的基礎設施建設,逐漸發展為對大數據分析和整體大數據解決方案的需求。與此同時,大數據還面臨人才的缺乏的挑戰,需要企業和高校聯合起來,培養數據領域的復合型人才,幫助企業打贏這場「數據戰」。
五、大數據的應用
(一)行業拓展者,打造大數據行業基石
IBM:IBM大數據提供的服務包括數據分析,文本分析,藍色雲杉(混搭供電合作的網路平台);業務事件處理;IBM Mashup Center的計量,監測,和商業化服務(MMMS)。 IBM的大數據產品組合中的最新系列產品的InfoSphere bigInsights,基於Apache Hadoop。
該產品組合包括:打包的Apache Hadoop的軟體和服務,代號是bigInsights核心,用於開始大數據分析。軟體被稱為bigsheet,軟體目的是幫助從大量數據中輕松、簡單、直觀的提取、批註相關信息為金融,風險管理,媒體和娛樂等行業量身定做的行業解決方案。
微軟:2011年1月與惠普(具體而言是HP資料庫綜合應用部門) 合作目標是開發了一系列能夠提升生產力和提高決策速度的設備。
EMC:EMC 斬獲了紐交所和Nasdaq;大數據解決方案已包括40多個產品。
Oracle:Oracle大數據機與Oracle Exalogic中間件雲伺服器、Oracle Exadata資料庫雲伺服器以及Oracle Exalytics商務智能雲伺服器一起組成了甲骨文最廣泛、高度集成化系統產品組合。
(二)大數據促進了政府職能變革
重視應用大數據技術,盤活各地雲計算中心資產:把原來大規模投資產業園、物聯網產業園從政績工程,改造成智慧工程;在安防領域,應用大數據技術,提高應急處置能力和安全防範能力;在民生領域,應用大數據技術,提升服務能力和運作效率,以及個性化的服務,比如醫療、衛生、教育等部門;解決在金融,電信領域等中數據分析的問題:一直得到得極大的重視,但受困於存儲能力和計算能力的限制,只局限在交易數型數據的統計分析。一方面大數據的應用促進了政府職能變革,另一方面政府投入將形成示範效應,大大推動大數據的發展。
(三)打造「智慧城市」
美國奧巴馬政府在白宮網站發布《大數據研究和發展倡議》,提出「通過收集、處理龐大而復雜的數據信息,從中獲得知識和洞見,提升能力,加快科學、工程領域的創新步伐,強化美國國土安全,轉變教育和學習模式」 ;中國工程院院士鄔賀銓說道,「智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯和有效,隨著智慧城市的建設,社會將步入「大數據」時代。」
(四)未來,改變一切
未來,企業會依靠洞悉數據中的信息更加了解自己,也更加了解客戶。
數據的再利用:由於在信息價值鏈中的特殊位置,有些公司可能會收集到大量的數據,但他們並不急需使用也不擅長再次利用這些數據。例如,行動電話運營商手機用戶的位置信息來傳輸電話信號,這對以他們來說,數據只有狹窄的技術用途。但當它被一些發布個性化位置廣告服務和促銷活動的公司再次利用時,則變得更有價值。
六、機遇和挑戰
大數據賦予了我們洞察未來的能力,但同時諸多領域的問題亟待解決,最重要的是每個人的信息都被互聯網所記錄和保留了下來,並且進行加工和利用,為人所用,而這正是我們所擔憂的信息安全隱患!更多的隱私、安全性問題:我們的隱私被二次利用了。多少密碼和賬號是因為「社交網路」流出去的?
眼下中國互聯網熱門的話題之一就是互聯網實名制問題,我願意相信這是個好事。畢竟我們如果明著亮出自己的身份,互聯網才能對我們的隱私給予更好保護
㈡ 大數據時代的產生背景
一、大數據時代城市管理的機遇:
首先,有利於數字化城市建設。城市化過程中出現的管理問題,傳統的城市管理方式早已對我國出現的城市問題束手無策,在大數據時代到來的背景下,數字化城市建設就呼之欲出。
其次,有利於電子政務建設。長期以來,我國政府在處理公共事務時都基本採用了傳統的處理方式,紙質化的模式占據了主要地位。隨著信息技術的不斷更新以及大數據時代的到來,電子政務也隨之應運而生。由於大數據時代的特點以及不斷更新發展,電子政務的形式也不斷得到更新。
最後,有利於智慧城市建設。智慧城市建設則是在大數據技術上產生的城市建設和管理方案。可見,大數據時代的到來更加有利於我國的智慧城市建設,為智慧城市的最終建成提供真實可靠的信息基礎。會在一定程度上難以實現真正共享。另外,因為信息化很不平衡,各地各部門使用的信息技術標准很難統一,最後導致數據孤島的現象也並非個例。
二、大數據時代城市管理的挑戰 :
大數據時代,機遇存在的同時也不可避免會遇到許多挑戰,數據開放不足、數據共享不足、數據質量不優等等都面臨著嚴峻的挑戰。
首先,數據開放不足。數據是信息的重要載體,信息的公開在一定意義上就是數據的公開。在所有的數據公開中,政府相關數據公開尤為引人矚目。國外早就對數據公開確立了「公開為原則,不公開為例外」的原則,我國也有類似規定,但是真實執行情況令人堪憂。
其次,數據共享不足。就目前來看,誰掌握了大量真實可靠的信息,誰就掌握了主動權,信息在一定程度上就是權威的象徵,權力和利益的象徵。再者,政府各部門大部分存在利己傾向, 信息就會在一定程度上難以實現真正共享。另外,因為信息化很不平衡,各地各部門使用的信息技術標准很難統一,最後導致數據孤島的現象也並非個例。
然後,數據質量不優。數據質量問題直接影響依靠數據獲得的信息的真實有效性,最終影響整體決策的有效性。數據質量主要包括數據的真實性、完整性和有效性。數據在收集、整合、存儲和使用四個階段當中,每個階段都極有可能出現數據質量問題。在我國城市管理中,各級各部門每天都會面對大量繁瑣的數據,數據收集渠道主要有下級單位上報數據、調查統計、普查等等,每一個渠道也同樣會有很多因素影響數據質量。
㈢ 大數據的應用案例以及未來發展趨勢
趕超發達國家的重要機遇
半個世紀以來,隨著計算機技術全面融入社會生活,信息爆炸已經積累到了一個開始引發變革的程度,不僅使世界充斥著比以往更多的信息,而且其增長速度也在加快。信息爆炸的學科如天文學和基因學,創造出來大數據這個概念,如今,這個概念幾乎應用到了所有人類智力與發展的領域中。21世紀是數據信息大發展的時代,移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍,各種數據正在迅速膨脹並變大。互聯網(社交、搜索、電商)、移動互聯網(微博)、物聯網(感測器、智慧地球)、車聯網、GPS、醫學影像、安全監控、金融(銀行、股市、保險)、電信(通話、簡訊)都在瘋狂產生著數據,大數據時代已經到來。
當前全球和我國大數據都呈現了井噴式爆發性增長,大數據已經滲透到各個行業和業務職能領域,成為重要的生產因素,大數據的演進與生產力的提高有著直接的關系。其發展特點,一是數據量呈現指數級增長。二是不同行業的大數據內容和開發應用特點各有不同,如證券、投資服務以及銀行等金融服務領域擁有最高的平均數字化數據存儲量,通信和媒體公司、公共事業公司以及政府等組織也有規模顯著的數字化數據存儲,這些行業更加具有通過大數據來創造價值的潛力。三是可以預見到大數據高速增長的現有趨勢將繼續推動數據增長,例如在各部門和地區之間,企業正在加快收集數據的步伐,推動了傳統的事務資料庫的增長;醫療衛生等面向消費者的行業中,多媒體的廣泛使用刺激了大數據的增長;社交媒體的廣泛普及以及物聯網中應用的不斷創新都進一步推動了大數據不斷增長……這些相互交叉的動力刺激了數據的增長,並將繼續推動數據池的迅速擴張。
發展大數據及其相關服務業將成為新興經濟體特別是我國在戰略性新興產業領域發揮後發優勢趕超發達國家的重要機遇。只要條件具備,發展中經濟體能夠利用大數據發揮巨大的潛力。例如,亞洲地區移動手機用戶最多,終端設備最多,其中中國設備數量最多,個人位置數據在亞洲已經領先。此外,在IT資產方面,盡管一些新興市場組織落後於發達市場,但發展中經濟體可以用最新技術跳躍式前進。大數據的應用不僅僅是商務,通過用戶行為分析實現精準管理、科學決策和人性化服務是大數據的典型應用,大數據在各行各業特別是公共服務領域具有廣闊的應用前景,包括消費行業、金融服務、食品安全、醫療衛生、軍事、交通環保、電子商務、氣象等。發展大數據產業機遇可貴潛力巨大。從經濟和產業發展維度看大數據及相關產業發展的潛力,我國獨特的位勢和經濟社會高速穩定發展,給大數據及其應用帶來了巨大的發展空間。大數據在我國各領域和不同行業的應用潛力巨大、機遇重大。大數據的核心技術進展和大數據應用有可能帶來我國新興戰略性產業發展的新機遇。
信息服務業發展的重要推力
研究表明,大數據是繼傳統IT之後下一個提高生產率的技術前沿和信息服務業發展的重要推動力。大數據的使用將成為未來提高競爭力、生產力、創新能力以及創造消費者盈餘的關鍵要素。
例如醫療衛生行業,能夠利用大數據避免過度治療、減少錯誤治療和重復治療,從而降低系統成本、提高工作效率,改進和提升治療質量;公共管理領域,能夠利用大數據有效推動稅收工作開展,提高教育部門和就業部門的服務效率;零售業領域,通過在供應鏈和業務方面使用大數據,能夠改善和提高整個行業的效率;市場和營銷領域,能夠利用大數據幫助消費者在更合理的價格範圍內找到更合適的產品以滿足自身的需求,提高附加值。數據已經成為可以與物質資產和人力資產相提並論的重要的生產要素,伴隨著信息化發展,企業將收集更多的信息,從而帶來數據呈現指數級的增長。大數據在同時為商業和消費者創造價值方面有巨大的發展潛力。
大數據應用能夠發揮重要的經濟作用,不但有利於私人商業活動,更有利於國民經濟和公民。數據可以為世界經濟創造重要價值,提高企業和公共部門的生產率與競爭力,並為消費者創造大量的經濟剩餘。例如,能夠富有創造性而有效地利用大數據來提高效率和質量。麥卡錫公司研究報告指出,預計美國醫療行業每年通過數據獲得的潛在價值可超過3000億美元,能夠使得美國醫療衛生支出降低超過8%,充分利用大數據的零售商有可能將其經營利潤提高60%以上。通過利用大數據實現政府行政管理方面的運作效率提高。估計歐洲發達經濟體可以節省開支超過1000億歐元,其中尚不包括可以用來減少欺詐、錯誤以及稅差的影響作用。可以預見的是,隨著人們存儲、匯聚和組合數據然後利用其結果進行深入分析的能力超過以往,隨著越來越尖端技術的軟體與不斷提高的計算能力相結合,從數據中提取洞見的能力也在顯著提高。
大數據及其開發利用能夠催生新的產業形態,拓展成為戰略性新興產業的重要組成部分。大數據的生產、整合、開發利用具有廣泛的高附加值,可以形成和應用於各行業的關鍵發現,大數據的有效利用可以創造巨大的潛在價值,許多行業和承擔業務職能的組織可以利用大數據提高人力、物力資源的分配和協調能力,減少浪費,增加透明度,並促進新想法和新見解的產生。其價值一是提高透明度,讓利益相關方能夠更加容易地及時獲取信息,例如在公安部門,讓原本相互分離的部門之間更加容易地獲取相關數據,就可大大降低搜索和處理時間;在製造業,整合來自研發、工程和製造部門的數據以便實現並行工程,可以顯著縮短產品上市時間並提高質量。二是可以通過實驗來發現需求、暴露可變因素並提高業績。隨著組織創造並存儲更多數字形式的交易數據,並以實時或接近實時的方式收集更多准確而詳細的績效數據,組織能夠通過安排對比實驗,運用數據分析獲取更好的決策,例如在線零售商,通過將流量和銷售結合的試驗論證決定價格調整和促銷活動的制定。三是更加精準地組織市場,根據客戶需求細分人群。利用大數據使組織能夠對人群進行非常具體的細分,以便精確地定製產品和服務以滿足用戶需求。例如在公共部門如公共勞動力機構,利用大數據為不同的求職者提供工作培訓服務,確保採用最有效和最高效的干預措施使不同的人重返工作崗位。四是可以協助決策者更加科學地進行決策。大數據的自動處理能夠更好地為決策者提供更加精準恰當的決策支持,通過對大數據的自動處理來替換或支持人為決策。有些組織已經在通過分析來自客戶、雇員甚至嵌入產品中的感測器的整個數據集而做出更有效的決策。五是能夠創新商業模式、產品和服務。例如在醫療保健領域,通過分析病人的臨床和行為數據已經創造了瞄準最適當群體的預防保健項目。例如互聯網公司收集大量的在線行為數據,創新速度非常快。
應組織實施大數據產業專項
發展大數據及其相關服務業具有重要意義,有望使各個行業產生更多收益。隨著我國經濟和社會信息化的高速發展,不僅信息產業自身獲取了巨大的數據池,各個行業都存在利用大數據獲取價值的潛力。大數據促使信息化建設模式大轉變,結構化數據向非結構化數據演進,使得未來IT投資重點不再是建系統為核心,而是圍繞大數據為核心。政府和企業決策者應對大數據發展研究制定發展戰略和策略給予高度重視。
大數據真正的問題是大數據應用,讓大數據更有意義。目前大數據管理多從架構和並行等方面考慮,解決高並發數據存取的性能要求及數據存儲的橫向擴展,但對非結構化數據的內容理解仍缺乏實質性的突破和進展,這是實現大數據資源化、知識化、普適化的核心。非結構化海量信息的智能化處理包括自然語言理解、多媒體內容理解、機器學習等。例如2012年3月29日白宮發布美國政府的大數據計劃:通過提高從大型復雜的數據集中提取知識和觀點的能力,承諾幫助加快在科學與工程中的步伐,加強國家安全,並改變教學研究。
由此,我們提出組織實施大數據產業專項的初步設想。一是圍繞拓展新興信息服務業態,組織實施以大數據示範、加工、處理、整合和深加工的信息資源與內容服務業示範工程,面向重點行業和重點民生領域包括金融證券、醫療衛生、稅務海關、交通運輸、社會保障、電子商務等領域,開展大數據重大應用示範,提升基於大數據的公共服務能力;二是加快推動北斗導航核心技術研發和產業化,推動北斗導航與移動通信、地理信息、衛星遙感、移動互聯網等融合發展,支持位置信息服務市場拓展,完善北斗導航基礎設施,推進服務模式和產品創新,在重點區域和領域開展示範應用;三是大力發展地理信息產業,拓寬地理信息服務市場,推進大數據技術和服務模式融合創新,支持大數據服務創新和商業模式創新;四是組織實施基於大數據的信息內容加工服務業典型示範工程,包括關鍵技術產品產業化和大數據生產、轉換、加工、投送平台及專用工具的產業化項目,為豐富信息消費內容產品供給提供支撐;五是組織實施自主可控的大數據關鍵技術產品產業化項目,主要包括商業智能、數據倉庫、數據集市、元數據、可視化技術等。
㈣ 大數據在金融行業的應用與挑戰
大數據在金融行業的應用與挑戰
A 具有四大基本特徵
金融業基本是全世界各個行業中最依賴於數據的,而且最容易實現數據的變現。全球最大的金融數據公司Bloomberg在1981年成立時「大數據」概念還沒有出現。Bloomberg的最初產品是投資市場系統(IMS),主要向各類投資者提供實時數據、財務分析等。
隨著信息時代降臨,1983年估值僅1億美元的Bloomberg以30%股份的代價換取美林3000萬美元投資,先後推出Bloomberg Terminal、News、Radio、TV等各類產品。1996年Bloomberg身價已達20億美元,並以2億美元從美林回購了10%的股份。2004年Bloomberg在紐約曼哈頓中心建成246米摩天高樓。到2008年次貸危機,美林面臨崩盤,其剩餘20%的Bloomberg股份成為救命稻草。Bloomberg趁美林之危贖回所有股份,估值躍升至225億美元。2016年Bloomberg全球布局192個辦公室,擁有1.5萬名員工,年收入約100億美元,估值約1000億美元,超過同年市值為650億美元的華爾街標桿高盛。
大數據概念形成於2000年前後,最初被定義為海量數據的集合。2011年,美國麥肯錫公司在《大數據的下一個前沿:創新、競爭和生產力》報告中最早提出:大數據指大小超出典型資料庫軟體工具收集、存儲、管理和分析能力的數據集。
具體來說,大數據具有四大基本特徵:
一是數據體量大,指代大型數據集,一般在10TB規模左右,但在實際應用中,很多企業用戶把多個數據集放在一起,已經形成了PB級的數據量。
二是數據類別大,數據來自多種數據源,數據種類和格式日漸豐富,已沖破了以前所限定的結構化數據范疇,囊括了半結構化和非結構化數據。現在的數據類型不僅是文本形式,更多的是圖片、視頻、音頻、地理位置信息等多類型的數據。
三是處理速度快,在數據量非常龐大的情況下,也能夠做到數據的實時處理。數據處理遵循「1秒定律」,可從各種類型的數據中快速獲得高價值的信息。
四是數據的真實性高,隨著社交數據、企業內容、交易與應用數據等新數據源的興起,傳統數據源的局限被打破,信息的真實性和安全性顯得極其重要。
而相比其他行業,金融數據邏輯關系緊密,安全性、穩定性和實時性要求更高,通常包含以下關鍵技術:數據分析,包括數據挖掘、機器學習、人工智慧等,主要用於客戶信用、聚類、特徵、營銷、產品關聯分析等;數據管理,包括關系型和非關系型數據、融合集成、數據抽取、數據清洗和轉換等;數據使用,包括分布式計算、內存計算、雲計算、流處理、任務配置等;數據展示,包括可視化、歷史流及空間信息流展示等,主要應用於對金融產品健康度、產品發展趨勢、客戶價值變化、反洗錢反欺詐等監控和預警。
B 重塑金融行業競爭新格局
「互聯網+」之後,隨著世界正快速興起「大數據+」,金融行業悄然出現以下變化:
大數據特徵從傳統數據的「3個V」增加到「5個V」。在數量(Volume)、速度(Velocity)、種類(Variety)基礎上,進一步完善了價值(Value)和真實性(Veracity),真實性包括數據的可信性、來源和信譽、有效性和可審計性等。
金融業按經營產品分類變為按運營模式分類。傳統金融業按經營產品劃分為銀行、證券、期貨、保險、基金五類,隨著大數據產業興起和混業經營的發展,現代金融業按運營模式劃分為存貸款類、投資類、保險類三大類別。
大數據市場從壟斷演變為充分市場競爭。全球大數據市場企業數量迅速增多,產品和服務的差異增大,技術門檻逐步降低,市場競爭日益激烈。行業解決方案、計算分析服務、存儲服務、資料庫服務和大數據應用成為市場份額排名最靠前的五大細分市場。
大數據形成新的經濟增長點。Wikibon數據顯示,2016年,全球大數據硬體、軟體和服務整體市場增長22%達到281億美元,預計到2027年,全球在大數據硬體、軟體和服務上的整體開支的復合年增長率為12%,將達到大約970億美元。
數據和IT技術替代「重復性」業務崗位。數據服務公司Eurekahedge通過追蹤23家對沖基金,發現5位對沖基金經理薪金總額為10億美元甚至更高。過去10年,靠數學模型分析金融市場的物理學家和數學家「寬客」一直是對沖基金的寵兒,其實大數據+人工智慧更精於此道。高盛的紐約股票現金交易部門2000年有600名交易員而如今只剩兩人,其任務全由機器包辦,專家稱10年後高盛員工肯定比今天還要少。
美國大數據發展走在全球前列。美國政府宣稱:「數據是一項有價值的國家資本,應對公眾開放,而不是將其禁錮在政府體制內。」作為大數據的策源地和創新引領者,美國大數據發展一直走在全球最前列。自20世紀以來,美國先後出台系列法規,對數據的收集、發布、使用和管理等做出具體的規定。2009年,美國政府推出Data.gov政府數據開放平台,方便應用領域的開發者利用平台開發應用程序,滿足公共需求或創新創業。2010年,美國國會通過更新法案,進一步提高了數據採集精度和上報頻度。2012年3月,奧巴馬政府推出《大數據研究與開發計劃》,大數據迎來新一輪高速發展。
英國是歐洲金融中心,大數據成為其領先科技之一。2013年,英國投資1.89億英鎊發展大數據。2015年,新增7300萬英鎊,創建了「英國數據銀行」data.gov.uk網站。2016年,倫敦舉辦了超過22000場科技活動,同年,英國數字科技投資逾68億英鎊,而收入則超過1700億英鎊。另外,英國統計局利用政府資源開展「虛擬人口普查」,僅此一項每年節省5億英鎊經費。
C 打造高效金融監管體系
大數據用已發生的總體行為模式和關聯邏輯預測未來,決策未來,作為現代數字科技的核心,其靈魂就是——預測。
偵測、打擊逃稅、洗錢與金融詐騙
全球每年因欺詐造成的經濟損失約3.7萬億美元,企業因欺詐受損通常為年營收額的5%。全球最大軟體公司之一美國SAS公司與稅務、海關等政府部門和全球各國銀行、保險、醫療保健等機構合作,有效應對日益復雜化的金融犯罪行為。如在發放許可之前,通過預先的數據分析檢測客戶是否有過行受賄、欺詐等前科,再確定是否發放借貸或海關通關。SAS開發的系統已被國際公認為統計分析的標准軟體,在各領域廣泛應用。英國政府利用大數據檢測行為模式檢索出200億英鎊的逃稅與詐騙,追回了數十億美元損失。被福布斯評為美國最佳銀行的德克薩斯資本銀行(TCBank),不斷投資大數據技術,反金融犯罪系統與銀行發展同步,近3年資產從90億美元增至210億美元。荷蘭第三大人壽保險公司CZ依靠大數據對騙保和虛假索賠行為進行偵測,在支付賠償金之前先期阻斷,有效減少了欺詐發生後的司法補救。
大數據風控建立客戶信用評分、監測對照體系
美國注冊舞弊審核師協會(ACFE)統計發現,缺乏反欺詐控制的企業會遭受高額損失。美國主流個人信用評分工具FICO能自動將借款人的歷史資料與資料庫中全體借款人總體信用習慣相比較,預測借款人行為趨勢,評估其與各類不良借款人之間的相似度。美國SAS公司則通過集中瀏覽和分析評估客戶銀行賬戶的基本信息、歷史行為模式、正在發生行為模式(如轉賬)等,結合智能規則引擎(如搜索到該客戶從新出現的國家為特有用戶轉賬,或在新位置在線交易等),進行實時反欺詐分析。
美國一家互聯網信用評估機構通過分析客戶在Facebook、Twitter等社交平台留下的信息,對銀行的信貸和投保申請客戶進行風險評估,並將結果出售給銀行、保險公司等,成為多家金融機構的合作夥伴。
D 數據整合困難
應用經濟指標預測系統分析市場走勢
IBM使用大數據信息技術成功開發了「經濟指標預測系統」,該系統基於單體數據進行提煉整合,通過搜索、統計、分析新聞中出現的「新訂單」等與股價指標有關的單詞來預測走勢,然後結合其他相關經濟數據、歷史數據分析其與股價的關系,從而得出行情預測結果。
追蹤社交媒體上的海量信息評估行情變化
當今搜索引擎、社交網路和智能手機上的微博、微信、論壇、新聞評論、電商平台等每天生成幾百億甚至千億條文本、音像、視頻、數據等,涵蓋廠商動態、個人情緒、行業資訊、產品體驗、商品瀏覽和成交記錄、價格走勢等,蘊含巨大財富價值。
2011年5月,規模為4000萬美元的英國對沖基金DC Markets,通過大數據分析Twitter的信息內容來感知市場情緒指導投資,首月盈利並以1.85%的收益率一舉戰勝其他對沖基金僅0.76%的平均收益率。
美國佩斯大學一位博士則利用大數據追蹤星巴克、可口可樂和耐克公司在社交媒體的圍觀程度對比其股價,證明Facebook、Twitter和 Youtube上的粉絲數與股價密切相關。
提供廣泛的投資選擇和交易切換
日本個人投資理財產品Money Design在應用程序Theo中使用演算法+人工智慧,最低門檻924美元,用戶只需回答風險承受水平、退休計劃等9個問題,就可使用35種不同貨幣對65個國家的1.19萬只股票進行交易和切換,年度管理費僅1%。Money Design還能根據用戶投資目標自動平衡其賬戶金額,預計2020年將超過2萬億美元投資該類產品。
利用雲端資料庫為客戶提供記賬服務
日本財富管理工具商Money Forward提供雲基礎記賬服務,可管理工資、收付款、寄送發票賬單、針對性推送理財新項目等,其軟體系統連接並整合了2580家各類金融機構的各類型帳戶,運用大數據分析的智能儀表盤顯示用戶當前財富狀況,還能分析用戶以往的數據以預測未來的金融軌跡。目前其已擁有50萬商家和350萬個體用戶,並與市值2.5萬億美元的山口金融集團聯合開發新一款APP。
為客戶定製差異化產品和營銷方案
金融機構迫切需要掌握更多用戶信息,繼而構建用戶360度立體畫像,從而對細分客戶進行精準營銷、實時營銷、智慧營銷。
一些海外銀行圍繞客戶「人生大事」,分析推算出大致生活節點,有效激發其對高價值金融產品的購買意願。如一家澳大利亞銀行通過大數據分析發現,家中即將誕生嬰兒的客戶對壽險產品的潛在需求最大,於是通過銀行卡數據監控准媽媽開始購買保胎葯品和嬰兒相關產品等現象,識別出即將添丁的家庭,精準推出定製化金融產品套餐,受到了客戶的積極響應,相比傳統的簡訊群發模式大幅提高了成功率。
催生並支撐人工智慧交易
「量化投資之王」西蒙斯被公認為是最能賺錢的基金經理人,自1988年創立文藝復興科技公司的旗艦產品——大獎章基金以來,其憑借不斷更新完善的大數據分析系統,20年中創造出35%的年均凈回報率,比索羅斯同期高10%,比股神巴菲特同期高18%,成為有史以來最成功的對沖基金,並於1993年基金規模達2.7億美元時停止接受新投資。在美國《Alpha》雜志每年公布的對沖基金經理排行榜上,西蒙斯2005年、2006年分別以15億美元、17億美元凈收入穩居全球之冠,2007年以13億美元位列第五,2008年再以25億美元重返榜首。
推動金融產品和服務創新
E 面臨三大挑戰
目前,全球各行業數據量的增長速度驚人,在我國尤其集中在金融、交通、電信、製造業等重點行業,信息化的不斷深入正在進一步催生更多新的海量數據。
據統計,2015年中國的數據總量達到1700EB以上,同比增長90%,預計到2020年這一數值將超過8000EB。以銀行業為例,每創收100萬元,銀行業平均產生130GB的數據,數據強度高踞各行業之首。但在金融企業內部數據處於割裂狀態,業務條線、職能部門、渠道部門、風險部門等各個分支機構往往是數據的真正擁有者,缺乏順暢的共享機制,導致海量數據往往處於分散和「睡眠」狀態,雖然金融行業擁有的數據量「富可敵國」,但真正利用時卻「捉襟見肘」。
數據安全暗藏隱患
大數據本質是開放與共享,但如何界定、保護個人隱私權卻成為法律難題。大數據存儲、處理、傳輸、共享過程中也存在多種風險,不僅需要技術手段保護,還需相關法律法規規范和金融機構自律。多項實際案例表明,即使無害的數據大量囤積也會滋生各種隱患。安全保護對象不僅包括大數據自身,也包含通過大數據分析得出的知識和結論。在線市場平台英國Handshake.uk.com就嘗試允許用戶協商個人數據被品牌分享所得的報酬。
人才梯隊建設任重道遠
人才是大數據之本。與信息技術其他細分領域人才相比,大數據發展對人才的復合型能力要求更高,需要掌握計算機軟體技術,並具備數學、統計學等方面知識以及應用領域的專業知識。
㈤ 盤點政府推動大數據應用及發展的舉措
盤點政府推動大數據應用及發展的舉措
一、政府:推動大數據應用的最關鍵力量
(一)政府掌握大量最具應用價值的核心數據,是推動大數據應用的最關鍵力量
根據麥肯錫大數據研究報告指出, 各個行業利用大數據價值的難易度以及發展潛力 對比下,政府利用大數據難度最低而潛力最大。
大數據
另一方面政府開放大數據運用已經是大勢所趨:
1、 政府掌握了大量最具應用價值的核心數據。 過去十多年來政府投資進行了大量電子政務或者稱為政府信息化的工作,後台積累了大量的數據,而這些數據和公眾的生產生活息息相關。有研究表明政府所掌握的數據使政府成為了一個國家最重要的信息保有者,有百分之七十到八十的核心數據存在於政府的後台 。
2、 開放數據本身就是政府在大數據時代提供的一項公共服務。 政府數據本質上是國家機關在履行職責時所獲取的數據,採集這些數據的經費來自於公共財政,因而這些數據是公共產品,歸全社會所有,應取之於民,用之於民。
3、 政府開放數據供社會進行增值開放和創新應用,推動經濟增長乃至整個經濟增長方式的轉型。 數據是互聯網創新的重要基礎,如果政府不開放這一部分數據,很多創新應用沒有數據作為支持,數據開發者能利用政府開放的數據,提供更好的服務,創造更多的價值, 這個過程能夠提高整個國家在大數據時代的競爭力。
4、 政府開放數據推動經濟增長獲得的稅收高於單純賣數據獲得的收入。 201 年世界經合組織在關於開放政府數據的報告中提到政府通過開放數據推動經濟增長,從而獲得的稅收收入遠高於單賣數據所能獲得收入。開放數據激發經濟活力從而得到稅收提升,這是一個良 性循環,更是一個能創造巨大公共價值的全局性的戰略。
(二) 國內外政府開放數據的情況
在 2009 年奧巴馬簽署開放政府數據的行政命令後,這些年來開放政府數據已成為了世界性的一個趨勢。美國聯邦數據平台 Data.gov 上線後,在美洲、歐洲、亞洲等地,開放政府數據已成為了政府的一項重要工作。美國聯邦政府的開放政府數據平台開放了來自多個領 域的 13 萬個數據集的數據。這些領域包括圖中所列的農業、商業、氣候、生態、教育、能源、金融、衛生、科研等十多個主題。這些主題下的數據都是美國聯邦政府的各個部委所開放的。英國、加拿大、紐西蘭等國在 2009 年之後都建立起了政府數據開放平台,成為 了國際信息化和大數據領域的一個重要趨勢。
大數據
在我國, 2011 年香港特區政府上線了 data.gov.hk,稱為香港政府資料一線通。上海在 2012年 6 月推出了中國大陸第一個數據開放平台。之後,北京、武漢、無錫、佛山南海等城市也都上線了自己的數據平台。
大數據
(三)、 大數據對於政府治理具有極大的價值
大數據其實對政府的治理帶來了全新的價值,無論是對宏觀經濟的決策能力、產業聚集能力、協同治理能力、社會管理能力、公眾服務能力、快速響應能力的提升,大數據都可以在有很大層面上幫助政府治理。
大數據大數據
(四)、大數據上升至國家戰略成為共識。
大數據時代,對大數據的開發、利用與保護的爭奪日趨激烈,制信權成為繼制陸權、制海權、制空權之後的新制權,大數據處理能力成為強國弱國區分的又一重要指標。國際上以美國為代表的發達國家紛紛布局大數據產業,相繼推出大數據相關政策,大力支持大數據產 業在本國的發展。以美國為例,美國從開展關鍵技術研究、推動大數據應用和開放政府數據三方面布局大數據產業,尤其在開放政府數據方面非常積極,通過 Data.gov開放 37 萬個數據集,並開放網站的 API 和源代碼,提供上千個數據應用。我們認為,大數據未來將 引發新一輪大國競爭,大數據對整個世界的影響力會呈現爆發性增長趨勢,因此包括我國在內的國家會在政策支持力度上不斷提升,大數據戰略將上升至國家戰略已毋庸臵疑。
大數據
(五)、 我國 高度重視大數據未來發展
自去年 3 月「大數據」首次出現在《政府工作報告》中以來,國務院常務會議一年內 6次提及大數據運用。近期在 6 月 17 日的國務院常務會議上,李克強總理再次強調「我們正在推進簡政放權,放管結合、優化服務,而大數據手段的運用十分重要。」 7 月 1 日, 國務院辦公廳印發了《關於運用大數據加強對市場主體服務和監管的若干意見》。
大數據
大數據大數據
(六). 各部委行動時間表已經確,我國大數據發展面臨歷史性機遇
值得注意的是,近期國務院出台文件對各個部委推進大數據任務制定了明確的時間表,很多推進工作任務要求在 2015 年 12 月底前出台政策並實施,近期將是我國大數據發展政策出台的密集期。
表 3: 各部委推進大數據應用時間表
序號工作任務負責單位時間進度1加快建立公民、法人和其他組織統一社會信用代碼制度。發展改革委、中央編辦、公安部、民政部、人民銀行、稅務總局、工商總局、質檢總局2015 年 12 月底前出台並實施2全面實行工商營業執照、組織機構代碼證和稅務登記證「三證合一」、 「一照一碼」登記制度改革。工商總局、中央編辦、發展改革委、質檢總局、稅務總局2015 年 12 月底前實施3建立多部門網上項目並聯審批平台,實現跨部門、跨層級項目審批、核准、備案的「統一受理、同步審查、信息共享、透明公開」。發展改革委會同有關部門2015 年 12 月底前完成4推動政府部門整合相關信息,緊密結合企業需求,利用網站和微博、微信等新興媒體為企業提供服務。網信辦、工業和信息化部持續實施5研究制定在財政資金補助、政府采購、政府購買服務、政府投資工程建設招投標過程中使用信用信息和信用報告的政策措施。財政部、發展改革委2015 年 12 月底前出台並實施6充分運用大數據技術,改進經濟運行監測預測和風險預警,並及時向社會發布相關信息,合理引導市場預期。發展改革委、統計局持續實施7支持銀行、證券、信託、融資租賃、擔保、保險等專業服務機構和行業協會、商會運用大數據為企業提供服務。人民銀行、銀監會、證監會、保監會、民政部持續實施8健全事中事後監管機制,匯總整合和關聯分析有關數據,構建大數據監管模型,提升政府科學決策和風險預判能力。各市場監管部門2015 年 12 月底前取得階段性成果9在辦理行政許可等環節全面建立市場主體准入前信用承諾制度。 信用承諾向社會公開,並納入市場主體信用記錄。各行業主管部門2015 年廣泛開展試點, 2017 年 12 月底前完成10加快建設地方信用信息共享交換平台、部門和行業信用信息系統,通過國家統一的信用信息共享交換平台實現互聯共享。各省級人民政府,各有關部門2016 年 12 月底前完成11建立健全失信聯合懲戒機制,將使用信用信息和信用報告嵌入行政管理和公共服務的各領域、各環節,作為必要條件或重要參考依據。在各領域建立跨部門聯動響應和失信約束機制。建立各行業「黑名單」制度和市場退出機制。推動將申請人良好的信用狀況作為各類行政許可的必備條件。各有關部門,各省級人民政府2015 年 12 月底前取得階段性成果12建立產品信息溯源制度,加強對食品、葯品、農產品、日用消費品、特種設備、地理標志保護產品等重要產品的監督管理,利用物聯網、射頻識別等信息技術,建立產品質量追溯體系,形成來源可查、去向可追、責任可究的信息鏈條。商務部、網信辦會同食品葯品監管總局、農業部、質檢總局、工業和信息化部2015 年 12 月底前出台並實施13加強對電子商務平台的監督管理,加強電子商務信息採集和分析,指導開展電子商務網站可信認證服務,推廣應用網站可信標識,推進電子商務可信交易環境建設。健全權益保護和爭議調處機制。工商總局、商務部、網信辦、工業和信息化部持續實施14進一步加大政府信息公開和數據開放力度。除法律法規另有規定外,將行政許可、行政處罰等信息自作出行政決定之日起 7 個工作日內上網公開。各有關部門,各省級人民政府持續實施15加快實施經營異常名錄制度和嚴重違法失信企業名單制度。建設國家企業信用信息公示系統,依法對企業注冊登記、行政許可、行政處罰等基本信用信息以及企業年度報告、經營異常名錄和嚴重違法失信企業名單進行公示,並與國家統一的信用信息共享交換平台實現有機對接和信息共享。工商總局、其他有關部門,各省級人民政府持續實施16支持探索開展社會化的信用信息公示服務。建設「信用中國 」網站,歸集整合各地區、各部門掌握的應向社會公開的信用信息,實現信用信息一站式查詢,方便社會了解市場主體信用狀況。各級政府及其部門網站要與 「信用中國 」網站連接,並將本單位政務公開信息和相關市場主體違法違規信息在「信用中國 」網站公開。發展改革委、人民銀行、其他有關部門,地方各級人民政府2015 年 12 月底前完成17推動各地區、各部門已建、在建信息系統互聯互通和信息交換共享。在部門信息系統項目審批和驗收環節,進一步強化對信息共享的要求。發展改革委、其他有關部門持續實施18健全國家電子政務網路,加快推進國家政務信息化工程建設,統籌建立人口、法人單位、自然資源和空間地理、宏觀經濟等國家信息資源庫,加快建設完善國家重要信息系統。發展改革委、其他有關部門分年度推進實施, 2020 年前基本建成19加強對市場主體相關信息的記錄,形成信用檔案。對嚴重違法失信的市場主體,按照有關規定列入「黑名單」,並將相關信息納入企業信用信息公示系統和國家統一的信用信息共享交換平台。各有關部門2015 年 12 月底前實施20探索建立政府信息資源目錄。各有關部門2016 年 12 月底前出台目錄編制指南21引導徵信機構根據市場需求,大力加強信用服務產品創新,進一步擴大信用報告在行政管理和公共服務及銀行、證券、保險等領域的應用。發展改革委、人民銀行、銀監會、證監會、保監會2017 年 12 月底前取得階段性成果22落實和完善支持大數據產業發展的財稅、金融、產業、人才等政策,推動大數據產業加快發展。發展改革委、工業和信息化部、財政部、人力資源社會保障部、人民銀行、網信辦、銀監會、證監會、保監會2017 年 12 月底前取得階段性成果23加快研究完善規范電子政務,監管信息跨境流動,保護國家經濟安全、信息安全,以及保護企業商業秘密、個人隱私方面的管理制度,加快制定出台相關法律法規。網信辦、公安部、工商總局、工業和信息化部、發展改革委等部門會同法制辦2017 年 12 月底前出台(涉及法律、行政法規的,按照立法程序推進)24推動出台相關法規,對政府部門在行政管理、公共服務中使用信用信息和信用報告作出規定,為聯合懲戒市場主體違法失信行為提供依據。發展改革委、人民銀行、法制辦2017 年 12 月底前出台(涉及法律、行政法規的,按照立法程序推進)25建立大數據標准體系,研究制定有關大數據的基礎標准、技術標准、應用標准和管理標准等。加快建立政府信息採集、存儲、公開、共享、使用、質量保障和安全管理的技術標准。引導建立企業間信息共享交換的標准規范。工業和信息化部、國家標准委、發展改革委、質檢總局、網信辦、統計局2020 年前分步出台並實施26推動實施大數據示範應用工程,在工商登記、統計調查、質量監管、競爭執法、消費維權等領域率先開展示範應用工程,實現大數據匯聚整合。在宏觀管理、稅收征繳、資源利用與環境保護、食品葯品安全、安全生產、信用體系建設、健康醫療、勞動保障、教育文化、交通旅遊、金融服務、中小企業服務、工業製造、現代農業、商貿物流、社會綜合治理、收入分配調節等領域實施大數據示範應用工程。
㈥ 美國公布大數據下的中國女人,為何如此讓人吃驚
最近一份美國勞務部統計的報告引發了很多網友的熱議,同時,這份報告中的內容也讓很多美國人都心生感嘆,在這份報告中,有一份關於世界全國勞動參與率的數據分析,而在這些數據分析中,中國位列世界第一,不管是勞動總量還是勞動參與率,全都是世界第一,這讓很多外國友人都非常的吃驚。
據統計,中國的勞動力參加達到了76%,這就意味著只有24%的人沒有參加工作,而在這24%中,還包括了很多年邁的老人,以及正在上學的小孩,在中國幾乎所有處於合法工作年齡的人都在工作,這樣的數據讓很多的人都感到非常的驚訝,尤其是美國,要知道美國的勞動參與率才只有65%。
在中國的家庭里,一家老小都在工作,大家都希望能夠努力賺錢,養家糊口,為自己的家庭貢獻自己的一份力量,這也是我們中國傳統的美德。
㈦ 看美國實體店如何應用「大數據」
最近,大數據一詞在營銷全可謂火熱。美國Place公司的技術興許可以在如何應用大數據方面給我們一些啟迪。該公司把網路營銷的某些分析方法應用到了真實世界中。一旦消費者下載它的手機應用,它就能利用定位技術搜集消費者的數據。他們是否進店了?進店之後干什麼了?離開之後又去哪兒了?不過,所有的信息只是以大數據的形式用作分析,不會聯繫到具體的某一個用戶。 位於西雅圖市的Placed公司發布報告稱,今年第一季度,進入美國各大書店的人流量增加了27%。Placed公司致力於把網路上常用的營銷分析法帶入線下的世界。 Placed發布的這個數據似乎有些驚人。我們很難知道這個數據到底有多准確,也不清楚它是否能吸引各大企業開始採用Placed公司的服務,不過它的確為這家公司帶來了媒體的關注。說起來有點諷刺,因為Placed公司為客戶提供的分析方法要比單純計算人流量復雜得多。它的Placed Insights服務可以自動從下載這款手機應用的用戶那裡收集信息,從這一點上來看,Placed公司研究的人群都是主動成為研究對象的,因此樣本可能不夠全面。不過公司創始人兼CEO大衛?希姆否認這一點。現實中許多實體店都在統計客流量,Placed給出的數據肯定不如他們的第一手數據精確。 盡管如此,Placed公司的技術還是很誘人的,而且很有前景——甚至可能是革命性的。雖然許多大型連鎖超市和連鎖餐廳也開發了一些復雜的方法,用來計算自家門店的人流量,但是Placed的獨特之處在於,它還知道顧客進店之前或是離店之後會干什麼。更重要的是,它還可以根據人口統計學特徵對顧客群體進行劃分,然後可以向實體店提供像尼爾森公司(Nielsen)和康姆斯科(comScore)公司提供給網路營銷公司的那種服務。 希姆說,營銷人員可能想知道:「當麥當勞(McDonald)的顧客不在麥當勞吃飯時,他們會去哪兒吃飯?」如果說他們更喜歡去熊貓快餐(Panda Express,美國知名中餐館——譯注)或是漢堡王(Burger King),而不是去蘋果蜜蜂(Applebee)餐廳,那麼這就是一個有用的數據點。(Placed公司沒有透露客戶的名單,不過希姆表示,它的客戶以大零售商、連鎖餐廳和廣告公司居多。)如果能知道顧客群的人口統計學特徵就更有用了,比如麥當勞的西班牙裔顧客與其他顧客群相比,更喜歡吃熊貓快餐而不是蘋果蜜蜂餐廳。 這種獲得、使用信息的能力可以說是史無前例的。從某些角度講,它比那些能夠通過追蹤人們的上網行為獲得的數據更有用,更具有啟發性。市面上也有一些公司提供類似的服務,但是它們通常是通過第三方獲得的數據(比如購物習慣),而且它們覆蓋的地域也更廣。而Placed Insights的數據是直接從消費者身上獲得的,它所針對的地理位置可以精確到平方英尺。Placed Insights包含了大約1,300億個經緯度點,而且還把它們與數以十億計的其它數據相結合,為它所提供的任何見解提供翔實的數據支持。移動技術和大數據的這種聯姻能夠使營銷人員接觸消費者的方式得到革命性的創新,尤其是當這些消費者沒有守在電腦旁邊,而是在吃飯或購物的時候。 Placed Insights使用了GPS、Wi-Fi網路、蜂窩三角網定位、加速計和陀螺儀等技術,不僅可以確定某個人是否到達了某個地理位置,還能確定他們是否進了門,甚至還能知道他們在建築內的活動情況。 如果這給你的感覺有點霸道,那麼你不妨記住,眼下有7萬人自願加入了Placed的服務,被它的顯微鏡掃描著自己的一舉一動(作為回報,Placed會給用戶提供各種激勵,比如小額獎勵或是把錢捐給慈善組織)。另外希姆還表示,他的公司把收集來的數據提交給客戶時,其中的任何數據都不會關聯到任何一個具體用戶的姓名。另外Placed公司還承諾,不會針對用戶發送商業廣告。這些數據只會匯聚成大數據模式以供分析之用。同時這些數據還會通過人口普查報告等其它數據進行「規范化」。比如如果這款手機應用的一個用戶是白人,但他所居住的社區以黑人為主,那麼這個數據點有可能會根據實際情況被納入或被篩選出去。 事實上,很多人並不願意只是作為分析研究的「小白鼠」,為別人提供營銷數據,因此願意下載這款應用的人並不多。所以Placed公司與一些應用開發者達成了協議,把Placed Insights的功能整合到其它應用里——通常是以旅遊為主的應用。需要再次說明的是,它依然本著自願原則。應用開發者也可以從這種合作中賺一點錢。希姆表示,他們「每個月可以賺幾百到幾千美元」。這一點還是挺有吸引力的,因為大部分上述應用都是免費的。譯者:朴成奎
㈧ 大數據在未來意味著什麼
大數據在未來意味著什麼
數據在未來意味著什麼?今年美國最新的調查表明, 60%的企業已經或者正在以不同形式使用大數據,相比前年提升很多。
大數據可能是一場泡沫的說法已經不攻自破。目前的趨勢告訴我們大數據不僅變得更大, 而且其重心也在轉移,從互聯網到移動互聯網再到物聯網,企業不僅要學會使用自身的數據,更重要的是學會如何有效地連接無處不在的數據。
數據作為一種新的原材料,它可以用之不盡,也可能讓你物無所用。其中的關鍵在於數據從收集、存儲、刷新、識辨、關聯、挖掘、決策、行動是一條很長的鏈條,各個環節環環相扣又互為作用。想要自如地使用大數據就需要我們合理地把科學、工程和商業三者有機結合,同時知道如何安全地進行數據共享和協作,後者也是企業的一個新課題。所以,數據從加工到使用還是任重道遠。
下面我分享一下自己從實戰中學習到的一些心得:
①一切從定義「問題」開始, 把問題問好了答案就在裡面。
②在萬物數據的年代,要以假設數據都能獲取去思考問題 。
③數據助力企業的四步曲:描述現況、深入診斷、預測趨勢、指揮行動。
④「快 + 准」的數據, 讓我們可以從已知規律中產生價值!
⑤「廣 + 亂」的數據, 給予我們從發現中巔覆過去規律的能力。
⑥大數據不是獨奏, 而是不斷連接無處不在的數據。
⑦數據技術就是加速和積累(數據、分析、服務)的能力。
⑧大數據生態的連接需要建立標准與規范。
⑨大數據是來自很多小數據的組合。
⑩數據是一種信仰。
未來是一個數據即經濟的年代,它具有改變人們習慣的能力。這一新興的趨勢很快就會進入到我們生活的每個領域。大數據將會帶來讓每個地球人重新理解這個星球的機會。當你發現不去晨跑將有75%的概率你的壽命將會縮短3年,你下一步會想什麼?人們的行為開始逐漸被演算法決定而非大腦。所以,作為地球村的一份子,你准備好了嗎?
以上是小編為大家分享的關於 大數據在未來意味著什麼的相關內容,更多信息可以關注環球青藤分享更多干貨
㈨ 如何應對大數據時代的變革機遇挑戰
大數據搭著信息時代的快車來到了我們的面前,數據的價值逐漸為人們所重視,同時也讓數據分析師的身價倍增。而隨著大數據分析工具等大數據應用技術的出現,未來的數據分析師又將遇到怎樣的挑戰和機遇呢?
工具搶了人的飯碗?
很多大數據分析工具的設計起點非常高,定位了數據分析過程中所需要的大部分功能。很多工具的功能涵蓋了從數據前期整合、收集到挖掘、分析乃至末端的數據可視化的整個數據分析過程,功能不可謂不強大。
但如果僅憑這些就認定大數據分析工具能取代數據分析師,未免有些杞人憂天了。恰恰相反,大數據分析工具不是數據分析師的競爭者,而是協助者。工具本來就是為人服務的,數據分析師的專業素養讓其能很好的發揮大數據分析工具的性能,二者相輔相成,是友非敵。
企業的支持
雖然大數據的概念已經普及,但是很多企業還是留存有一些傳統的觀念。很多企業雖然重金聘用了數據分析師甚至是組建了數據分析師團隊,但是卻並沒有建立完善的數據價值體系。對數據分析工作缺乏理解與支持。
相對於數據管理,數據分析工的工作重心還應該放在「挖掘數據價值」上。企業與數據分析師直接缺少職能的溝通,將直接影響企業對數據分析師工作性質的定位;同時,企業應該建立資料庫並部署大數據分析工具,為了能更好地對接用戶,也為企業和數據分析師留有足夠的空間。
從幕後到台前的轉變
以往的業務人員經常要磨破嘴皮才能得到別人的認同,而現在許多企業正在考慮讓數據分析師帶著數據分析結果去談業務。打算以「讓數據說話,以數據服人」去贏得客戶的信任。而主要的實施過程,是靠數據可視化技術來實現的。
數據可視化技術讓數據能以圖表和視頻的方式直觀地展示在人們面前,而數據分析師作為數據的管理者和挖掘者,是最適合不過的講解人了。這樣就要求數據分析師不僅要有扎實的數據分析能力,還要能提取數據精髓,並將之演講出來以獲得他人的認同。從幕後轉到台前,這裡面會需要許多技能,數據分析師的工作性質也將發生改變。
在大數據時代,數據分析師所扮演的角色不可能是一成不變的。而只有順應時代的潮流,響應時代的需要,數據分析師這個行業才能繼續生存並發展。其實,大數據分析工具,數據可視化這些技術的出現固然使行業受到了影響與挑戰,但對於數據分析師來說,未嘗不是一次擺脫傳統束縛的機遇!