A. 大數據分析Apache Spark的應用實例
在考慮Hadoop生態系統中的各種引擎時,重要的是要了解每個引擎在某些用例下效果最佳,並且企業可能需要使用多種工具組合才能滿足每個所需的用例。話雖如此,這里是對Apache Spark的一些頂級用例的回顧。
一、流數據
Apache Spark的關鍵用例是其處理流數據的能力。由於每天要處理大量數據,因此對於公司而言,實時流傳輸和分析數據變得至關重要。Spark Streaming具有處理這種額外工作負載的能力。一些專家甚至認為,無論哪種類型,Spark都可以成為流計算應用程序的首選平台。提出此要求的原因是,Spark Streaming統一了不同的數據處理功能,從而使開發人員可以使用單個框架來滿足其所有處理需求。
當今企業使用Spark Streaming的一般方式包括:
1、流式ETL –在數據倉庫環境中用於批處理的傳統ETL(提取,轉換,載入)工具必須讀取數據,將其轉換為資料庫兼容格式,然後再將其寫入目標資料庫。使用Streaming ETL,在將數據推送到數據存儲之前,將對其進行連續的清理和聚合。
2、數據充實 –這種Spark Streaming功能通過將實時數據與靜態數據相結合來充實實時數據,從而使組織能夠進行更完整的實時數據分析。在線廣告商使用數據充實功能將歷史客戶數據與實時客戶行為數據結合起來,並根據客戶的行為實時提供更多個性化和針對性的廣告。
3、觸發事件檢測 – Spark Streaming使組織可以檢測到可能對系統內部潛在嚴重問題的罕見或異常行為(「觸發事件」)並做出快速響應。金融機構使用觸發器來檢測欺詐性交易並阻止其欺詐行為。醫院還使用觸發器來檢測潛在的危險健康變化,同時監視患者的生命體征-向正確的護理人員發送自動警報,然後他們可以立即採取適當的措施。
4、復雜的會話分析 –使用Spark Streaming,與實時會話有關的事件(例如登錄網站或應用程序後的用戶活動)可以組合在一起並進行快速分析。會話信息還可以用於不斷更新機器學習模型。諸如Netflix之類的公司使用此功能可立即了解用戶在其網站上的參與方式,並提供更多實時電影推薦。
二、機器學習
許多Apache Spark用例中的另一個是它的機器學習功能。
Spark帶有用於執行高級分析的集成框架,該框架可幫助用戶對數據集進行重復查詢,這從本質上講就是處理機器學習演算法。在此框架中找到的組件包括Spark的可擴展機器學習庫(MLlib)。MLlib可以在諸如聚類,分類和降維等領域中工作。所有這些使Spark可以用於一些非常常見的大數據功能,例如預測智能,用於營銷目的的客戶細分以及情感分析。使用推薦引擎的公司將發現Spark可以快速完成工作。
網路安全是Spark 機器學習功能的一個很好的商業案例。通過使用Spark堆棧的各種組件,安全提供程序可以對數據包進行實時檢查,以發現惡意活動的痕跡。在前端,Spark Streaming允許安全分析人員在將數據包傳遞到存儲平台之前檢查已知威脅。到達存儲區後,數據包將通過其他堆棧組件(例如MLlib)進行進一步分析。因此,安全提供商可以在不斷發展的過程中了解新的威脅-始終領先於黑客,同時實時保護其客戶。
三、互動分析
Spark最顯著的功能之一就是其互動式分析功能。MapRece是為處理批處理而構建的,而Hive或Pig等SQL-on-Hadoop引擎通常太慢,無法進行互動式分析。但是,Apache Spark足夠快,可以執行探索性查詢而無需采樣。Spark還與包括SQL,R和Python在內的多種開發語言介面。通過將Spark與可視化工具結合使用,可以交互地處理和可視化復雜的數據集。
下一版本的Apache Spark(Spark 2.0)將於今年的4月或5月首次亮相,它將具有一項新功能- 結構化流 -使用戶能夠對實時數據執行互動式查詢。通過將實時流與其他類型的數據分析相結合,預計結構化流將通過允許用戶針對Web訪問者當前會話運行互動式查詢來促進Web分析。它也可以用於將機器學習演算法應用於實時數據。在這種情況下,將對舊數據進行演算法訓練,然後將其重定向以合並新的數據,並在其進入內存時從中學習。
四、霧計算
盡管大數據分析可能會引起廣泛關注,但真正激發技術界想像力的概念是物聯網(IoT)。物聯網通過微型感測器將對象和設備嵌入在一起,這些微型感測器彼此之間以及與用戶進行通信,從而創建了一個完全互連的世界。這個世界收集了大量數據,對其進行處理,並提供革命性的新功能和應用程序供人們在日常生活中使用。但是,隨著物聯網的擴展,對大量,種類繁多的機器和感測器數據進行大規模並行處理的需求也隨之增加。但是,利用雲中的當前分析功能很難管理所有這些處理。
那就是霧計算和Apache Spark出現的地方。
霧計算將數據處理和存儲分散化,而不是在網路邊緣執行這些功能。但是,霧計算為處理分散數據帶來了新的復雜性,因為它越來越需要低延遲,機器學習的大規模並行處理以及極其復雜的圖形分析演算法。幸運的是,有了Spark Streaming等關鍵堆棧組件,互動式實時查詢工具(Shark),機器學習庫(MLib)和圖形分析引擎(GraphX),Spark不僅具有霧計算解決方案的資格。實際上,隨著物聯網行業逐漸不可避免地融合,許多行業專家預測,與其他開源平台相比,Spark有可能成為事實上的霧基礎設施。
現實世界中的火花
如前所述,在線廣告商和諸如Netflix之類的公司正在利用Spark獲得見識和競爭優勢。其他也從Spark受益的著名企業是:
Uber –這家跨國在線計程車調度公司每天都從其移動用戶那裡收集TB級的事件數據。通過使用Kafka,Spark Streaming和HDFS構建連續的ETL管道,Uber可以在收集原始非結構化事件數據時將其轉換為結構化數據,然後將其用於進一步和更復雜的分析。
Pinterest –通過類似的ETL管道,Pinterest可以利用Spark Streaming即時了解世界各地的用戶如何與Pins互動。因此,當人們瀏覽站點並查看相關的圖釘時,Pinterest可以提出更相關的建議,以幫助他們選擇食譜,確定要購買的產品或計劃前往各個目的地的行程。
Conviva –這家流媒體視頻公司每月平均約有400萬個視頻供稿,僅次於YouTube。Conviva使用Spark通過優化視頻流和管理實時視頻流量來減少客戶流失,從而保持一致的流暢,高質量的觀看體驗。
何時不使用Spark
盡管它具有通用性,但這並不一定意味著Apache Spark的內存中功能最適合所有用例。更具體地說,大數據分析Apache Spark的應用實例Spark並非設計為多用戶環境。Spark用戶需要知道他們有權訪問的內存對於數據集是否足夠。添加更多的用戶使此操作變得更加復雜,因為用戶必須協調內存使用量才能同時運行項目。由於無法處理這種類型的並發,用戶將需要為大型批處理項目考慮使用備用引擎,例如Apache Hive。
隨著時間的流逝,Apache Spark將繼續發展自己的生態系統,變得比以前更加通用。在大數據已成為規范的世界中,組織將需要找到最佳方式來利用它。從這些Apache Spark用例可以看出,未來幾年將有很多機會來了解Spark的真正功能。
隨著越來越多的組織認識到從批處理過渡到實時數據分析的好處,Apache Spark的定位是可以在眾多行業中獲得廣泛而快速的採用。
B. 大數據應用案例有哪些
案例如下:
1、交通大數據暢通出行
交通作為人類行為的重要組成和重要條件之一,對於大數據的感知也是最急迫的。近年來,我國的智能交通已實現了快速發展,許多技術手段都達到了國際領先水平。交通的大數據應用主要在兩個方面,一方面可以利用大數據感測器數據來了解車輛通行密度,合理進行道路規劃包括單行線路規劃。另一方面可以利用大活數據來實現即時信號燈調度,提高已有線路運行能力。
2、教育大數據因材施教
在課堂上,數據不僅可以幫助改善教育教學,在重大教育決策制定和教育改革方面,大數據更有用武之地。利用數據來診斷處在輟學危險期的學生、探索教育開支與學生學習成績提升的關系、探索學生缺課與成績的關系。
3、環保大數據對抗PM2.5
在美國NOAA(國家海洋暨大氣總署)其實早就在使用大數據業務。每天通過衛星、船隻、飛機、浮標、感測器等收集超過35億份觀察數據。收集完畢後,NOAA會匯總大氣數據,海洋數據,以及地質數據,進行直接測定,繪制出復雜的高保真預測模型,將其提供給NWS(國家氣象局)做出氣象預報的參考數據。
大數據特點
1、大容量
例如,IDC最近的報告預測到2020年,世界數據量將擴大50倍.目前,大數據的規模仍然是不斷變化的指標,單一數據集的規模範圍從數十TB到數PB不同.簡單來說,存儲1PB數據需要2萬台配備50GB硬碟的PC.此外,各種意想不到的來源可以產生數據。
2、多樣性
數據多樣性的增加主要是由於網路日誌、社交媒體、網路檢索、手機通話記錄、感測器網路等數據類型。
3、高速
高速描述的是數據創建和移動的速度.在高速網路時代,通過實現軟體性能優化的高速計算機處理器和伺服器,創建實時數據流已成為流行趨勢.企業不僅要知道如何快速創建數據,還要知道如何快速處理、分析和返回用戶,以滿足他們的實時需求。
C. 什麼是大數據,大數據的典型案例有哪些
隨著大數據時代的到來,大數據早已被逐步的運用在我們生活中的方方面面,那麼除了之前眾所周知的大數據殺熟事件,對於大數據你還了解多少呢?科學運用案例你又知道多少?今天就跟隨千鋒小編一起來看看。
洛杉磯警察局和加利福尼亞大學合作利用大數據預測犯罪的發生。
google流感趨勢(Google Flu Trends)利用搜索關鍵詞預測禽流感的散布。
統計學家內特.西爾弗(Nate Silver)利用大數據預測2012美國選舉結果。
麻省理工學院利用手機定位數據和交通數據建立城市規劃。
梅西百貨的實時定價機制,根據需求和庫存的情況,該公司基於SAS的系統對多達7300萬種貨品進行實時調價。
……
種種的案例實在是太多,或許我們永遠說不完一樣,所以我們就來看一看大數據被科學運用的一個經典案例:
「啤酒與尿布」的故事產生於20世紀90年代的美國沃爾瑪超市中,沃爾瑪的超市管理人員分析銷售數據時發現了一個令人難於理解的現象:在某些特定的情況下,「啤酒」與「尿布」兩件看上去毫無關系的商品會經常出現在同一個購物籃中,這種獨特的銷售現象引起了管理人員的注意,經過後續調查發現,這種現象出現在年輕的父親身上。
如果這個年輕的父親在賣場只能買到兩件商品之一,則他很有可能會放棄購物而到另一家商店,直到可以一次同時買到啤酒與尿布為止。沃爾瑪發現了這一獨特的現象,開始在賣場嘗試將啤酒與尿布擺放在相同的區域,讓年輕的父親可以同時找到這兩件商品,並很快地完成購物;而沃爾瑪超市也可以讓這些客戶一次購買兩件商品、而不是一件,從而獲得了很好的商品銷售收入,這就是「啤酒與尿布」 故事的由來。
當然「啤酒與尿布」的故事必須具有技術方面的支持。1993年美國學者Agrawal提出通過分析購物籃中的商品集合,從而找出商品之間關聯關系的關聯演算法,並根據商品之間的關系,找出客戶的購買行為。艾格拉沃從數學及計算機演算法角度提 出了商品關聯關系的計算方法——Aprior演算法。沃爾瑪從上個世紀 90 年代嘗試將 Aprior 演算法引入到 POS機數據分析中,並獲得了成功,於是產生了「啤酒與尿布」的故事。
其實大數據,其影響除了以上列舉的方面外,它同時也能在經濟、政治、文化等方面產生深遠的影響,大數據可以幫助人們開啟循「數」管理的模式,也是我們當下「大社會」的集中體現,三分技術,七分數據,得數據者得天下。
D. 大數據時代的案例分析
個案一
你開心他就買你焦慮他就拋
華爾街「德溫特資本市場」公司首席執行官保羅·霍廷每天的工作之一,就是利用電腦程序分析全球3.4億微博賬戶的留言,進而判斷民眾情緒,再以「1」到「50」進行打分。根據打分結果,霍廷再決定如何處理手中數以百萬美元計的股票。
霍廷的判斷原則很簡單:如果所有人似乎都高興,那就買入;如果大家的焦慮情緒上升,那就拋售。
這一招收效顯著——當年第一季度,霍廷的公司獲得了7%的收益率。
個案二
國際商用機器公司(IBM)估測,這些「數據」值錢的地方主要在於時效。對於片刻便能定輸贏的華爾街,這一時效至關重要。曾經,華爾街2%的企業搜集微博等平台的「非正式」數據;如今,接近半數企業採用了這種手段。
●「社會流動」創業公司在「大數據」行業生機勃勃,和微博推特是合作夥伴。它分析數據,告訴廣告商什麼是正確的時間,誰是正確的用戶,什麼是應該發表的正確內容,備受廣告商熱愛。
●通過喬希·詹姆斯的Omniture(著名的網頁流量分析工具)公司,你可以知道有多少人訪問你的網站,以及他們呆了多長時間——這些數據對於任何企業來說都至關重要。詹姆斯把公司賣掉,進賬18億美元。
●微軟專家吉拉德喜歡把這些「大數據」結果可視化:他把客戶請到辦公室,將包含這些公司的數據圖譜展現出來——有些是普通的時間軸,有些像蒲公英,有些則是鋪滿整個畫面的泡泡,泡泡中顯示這些客戶的粉絲正在談論什麼話題。
●「臉譜」數據分析師傑弗遜的工作就是搭建數據分析模型,弄清楚用戶點擊廣告的動機和方式。
處理和分析工具
用於分析大數據的工具主要有開源與商用兩個生態圈。
開源大數據生態圈:
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 漸次誕生,早期Hadoop生態圈逐步形成。
2、. Hypertable是另類。它存在於Hadoop生態圈之外,但也曾經有一些用戶。
3、NoSQL,membase、MongoDb
商用大數據生態圈:
1、一體機資料庫/數據倉庫:IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、數據倉庫:TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、數據集市:QlikView、 Tableau 、 以及國內的Yonghong Data Mart 。
E. 大數據攻略案例分析及結論
大數據攻略案例分析及結論
我們將迎來一個「大數據時代」。與變化相始終的中國企業,距離這場革命還有多遠?而追上領先者又需要多快的步伐?
{研究結論}
■大數據營銷的本質是一個影響消費者購物前心理路徑的問題,而這在大數據時代前很難做到。
■對於傳統企業而言,要打通線上與線下營銷,實現新的商業模式,如O2O等,離不開大數據。
■雖然大數據應用往往集中於大數據營銷,但對於一些企業,大數據的應用早已超越了營銷范疇,全面進入了企業供應鏈、生產、物流、庫存、網站和店內運營等各個環節。
■對於大部分企業,由於數據分析人員與業務人員之間的彼此視角與思考方向不同,大數據分析和運營之間存在脫節情況,這是大數據無法用於企業運營最大的阻力
■對於大多數互聯網公司來說,大數據量、大用戶量是一個相互促進,強者越強的循環過程。
■對於大型互聯網平台,大數據已經成為其生態循環中的血液,對於這些企業,最重要
的不是如何利用大數據改進自身運營,而是利用大數據更好地繁榮平台生態。
■對於平台企業,它們的大數據策略正逐漸從大數據運營,向運營大數據轉變,前者和
後者的差別在於,前者只是運營改進的動力,而後者則成為企業實現未來戰略的核心資源。
我們都已被反復告知:我們將迎來一個「大數據時代」。
大數據應用,將和雲計算、3D列印這些技術變革一樣,顛覆既有規則,並成為先行企業的制勝關鍵。
與變化相始終的中國企業,距離這場革命還有多遠?而追上領先者又需要多快的步伐?
來自於互聯網、移動互聯網、物聯網感測器、視頻採集系統的數據正海量增長,匯成大數據的海洋,相伴的是海量數據存儲、分析技術的突破性發展,所有這一切都給企業的應用帶來了無限可能性。
中國企業家研究院對當前中國企業大數據應用的狀況進行了歸納分類,以幫助企業了解實際應用大數據時的困局難點,並提供領先企業的典型案例以資借鑒。
表1
表2
大數據運營—企業提升效率的助推力
對於大多數企業而言,運營領域的應用是大數據最核心的應用,之前企業主要使用來自生產經營中的各種報表數據,但隨著大數據時代的到來,來自於互聯網、物聯網、各種感測器的海量辯笑虧數據撲面而至。於是,一些企業開始挖掘和利用這些數據,來推動運營效率的提升。大數據運營應用中,大數據的應用分為三類:用於企業外部營銷、用於內部運營,以及用於領導層決策。
一、大數據營銷
大數據營銷的本質是影響目標消費者購物前的心理路徑,它主要應用在三個方面:1、大數據渠道優化,2、精準營銷信息推送,3、線上與線下營銷的連接。在消費者購物前,通過各種方式,直接介入其信息收集和決策過程。而這種介入,是建立在對於線上與線下海量用戶數據分析的基礎之上。相比傳統狂轟濫炸或等客上門的營銷,大數據營銷無論在主動性和精準性方面,都有非常大的優勢。它是目前主要的大數據應用領域。
大數據營銷不僅僅是用大數據找出目標顧客,向其發布促銷信息,它還可以做到:
實現渠道優化。根據用戶的互聯網痕跡進行渠道營銷效果優化,就是根據互聯網上顧客的行為軌跡來找出哪個營銷渠道的顧客來源最多,哪個來源顧客實際購買量最多,是否是目標顧客等等,從而調整營銷資源在各個渠道的投放。例如東風日產,它利用對顧客來源的追蹤,來改進營銷資源在各個網路渠道如門戶網站、搜索和微博的投放。
精準營銷信息攜神推送。精準建立在對海量消費者的行為分析基礎之上,消費者網路瀏覽、搜索行為被網路留下,線下的購買和查看等行為可以被門店的POS機和視頻監控記錄,再加上他們在購買和注冊過程中留下的身份信息,在商家面前,正逐漸呈現出消費者信息的海洋。
一些企業通過收集海量的消費者信息,然後利用大數據建模技術,按消費者屬升猛性(如所在地區、性別)和興趣、購買行為等維度,挖掘目標消費者,然後進行分類,再根據這些,對個體消費者進行營銷信息推送。比如孕婦裝品牌十月媽咪通過對自己微博上粉絲評論的大數據分析,找出評論有「喜愛」相關關鍵詞的粉絲,然後打上標簽,對其進行營銷信息推送。京東商城副總經理李曦表示:「用大數據找出不同細分的顧客需求群,然後進行相應的營銷,是京東目前在做的事情。」小也化妝品將自身網站作為收集消費者信息的雷達,對不同消費者推薦相應的肌膚解決方案,創始人肖尚略希望在未來,大數據營銷能替代網站的作用,真正成為面向顧客的前端。
打通線上線下營銷。一些企業將互聯網上海量消費者的行為痕跡數據與線下購買數據打通,實現了線上與線下營銷的協同。比如東風日產,線上與線下的協同營銷方式為:其門戶網站帶來訂單線索,而通過這些線索,服務人員進行電話回訪,從而推動顧客在線下交易。在此過程中,東風日產記錄了消費者進入、瀏覽、點擊、注冊、電話回訪和購買各個環節的數據,實現了一個橫跨線上線下,以大數據分析為支持的,營銷效果不斷優化的閉環營銷通路。而國雙科技,衡量某一地區線下促銷活動的效果,就是看互聯網上,來自這個地區對於促銷內容的搜索量。一些企業,通過鼓勵線下顧客使用微信和Wi-Fi等可追蹤消費者行為和喜好的設備,來打通線上與線下數據流,銀泰百貨計劃鋪設Wi-Fi,鼓勵顧客在商場內使用,然後根據Wi-Fi賬號,找出這個顧客,再通過與其它大數據挖掘公司合作,以大數據的手段,發掘這個顧客在互聯網的歷史痕跡,來了解這個顧客的需求類型。
二、大數據用於內部運營
相比大數據營銷,大數據在內部運營中的應用更深入,對於企業內部的信息化水平,以及數據採集和分析能力的要求更高。本質上,是將企業外部海量消費者數據與企業內部海量運營數據聯系起來,在分析中得到新的洞察,提升運營效率。(詳見P96表5:大數據在內部運營中的應用)
表5
三、大數據用於決策
在大數據時代,企業面對眾多新的數據源和海量數據,能否基於對這些數據的洞察,進行決策,進而將其變成一項企業競爭優勢的來源?同大數據營銷和大數據內部運營相比,運用大數據決策難度最高,因為它需要一種依賴數據的思維習慣。
已有少數企業開始嘗試。比如國內一些金融機構在推出一個金融產品時,會廣泛分析該金融產品的應用情況和效果、目標顧客群數據、各種交易數據和定價數據等,然後決定是否推出某個金融產品。
但是,中國企業家研究院在調研中發現,目前中國企業當中,大數據決策的應用非常之少,許多企業領導者進行決策時,仍習慣於憑借歷史經驗和直覺。
大數據產品——企業利潤滋長的新源泉
大數據除了用於運營外,還能夠與企業產品結合,成為企業產品背後競爭力的核心支持或者直接成為產品。提供大數據產品的企業分為兩類,直接提供大數據產品的企業,以及將大數據作為產品和服務核心支撐的企業。前者主要為大數據產業鏈中提供數據服務的參與者,包括數據擁有者、存儲企業,挖掘企業、分析企業等,後者則主要是那些以大數據為產品核心支撐的企業,它們大多是互聯網企業,其產品和服務先天就有大數據基因,這些企業包括搜索引擎、在線殺毒、互聯網廣告交易平台以及眾多植根於移動互聯網之上,為用戶提供生活和資訊服務的APP等。
表3
表4
一、大數據作為產品核心支持
它們主要在以下幾方面使用大數據:
1、提供信息服務。很多互聯網企業通過對海量互聯網信息和線下信息的整合和分析,為個人和企業提供信息服務,典型的如網路、去哪兒、一淘、高德地圖、春雨醫生等等。在美國,一些互聯網企業甚至根據大數據提供更深度的預測信息服務,美國科技創新公司farecast,通過分析特定航線機票的價格,幫助消費者預測機票價格走勢。
2、分析用戶的個性化需求,藉此提供個性化產品和服務,或者實現更精準的廣告。典型的有移動社交工具陌陌、網路、騰訊、廣告交易平台品友互動以及一些互聯網游戲商。這種應用往往先是收集海量用戶的互聯網行為數據,將用戶分類,根據不同類型的用戶,提供個性化的產品,或者提供個性化的促銷信息。比如網易等門戶網站推出了訂閱模式,讓使用者按照個人喜好方便地定製和整合不同來源的信息。
3、增強產品功能。對於很多互聯網產品,如殺毒軟體、搜索引擎等等,海量數據的處理能夠讓產品變得更聰明更強大,如果沒有大數據,產品的功能就大大減弱。比如奇虎360公司的360殺毒軟體,憑借每天海量的殺毒處理,建立了龐大的病毒庫,這使它能夠更快地發現病毒,而一些小的殺毒軟體公司則無法做到這一點。
4、掌控信用狀況,提供信貸服務。阿里巴巴上匯集了海量中小企業的日常資金與貨品往來,通過對這些往來數據的匯總與分析,阿里巴巴能發現單個企業的資金流與收入情況,分析其信用,找出異常情況與可能發生的欺詐行為,控制信貸風險。
5、實現智能匹配。婚戀網站、交易平台等,利用大數據可以進行精準而高效的配對服務。網易花田會挖掘用戶行為數據,比如點擊哪些異性的頁面,發表什麼樣的評論,建立用戶興趣模型,從而挖掘到用戶所期待另一半的類型,然後主動推薦與對方匹配度比較高的人選。2010年,阿里巴巴嘗試性地推出「輕騎兵」服務,由阿里巴巴將中國各產業集群地的供應商與海外買家的個性采購需求進行快速匹配,所憑借的,就是對供應商的海量交易數據信息的整合與挖掘。
二、大數據直接作為產品
對一些企業,大數據直接成為了產品,這些產品包括海量數據、分析、存儲與挖掘的服務等,目前大數據產業鏈正在形成過程中,出現了一批開放、出售、授權大數據和提供大數據分析、挖掘的公司和機構,前者主要是一些擁有海量數據的公司,將數據服務作為新的盈利來源。如大型的互聯網平台、民航、電信運營商、一些擁有大數據的政府機構等等,後者主要包括一些能夠存儲海量數據或者將海量數據與業務場景結合,進行分析和挖掘,或者提供相關產品的公司,如IBM、SAP、拓而思、天睿公司。它們為大數據應用者們提供海量數據存儲、數據挖掘、圖像視頻、智能分析等服務以及相關系統產品。
大數據平台——企業群落繁榮的滋養劑
而網路已建成了包括網路指數、司南、風雲榜、數據研究中心和網路統計在內的五大數據體系平台,幫助其營銷平台上的企業了解消費者行為、興趣變化,以及行業發展狀況、市場動態和趨勢、競爭對手動向等信息。
為解決這些問題,各個平台在積極地努力。比如阿里巴巴建立了數據委員會,在統一數據格式標准、從源頭上保證數據的質量,採集和加工出精細化的數據,確保其能符合平台企業的應用場景等方面,不遺餘力地嘗試。尤其在大數據精細化方面,阿里巴巴更是作為其大數據戰略的重點。這方面,騰訊目前也在加快步伐。比如新版騰訊網出現了「一鍵登錄」的提示,用戶可以在上面通過一些細分標簽,訂閱自己關注的內容。實際上,這也是騰訊收集更精細化的用戶興趣數據的一個有效手段。
Tips
大數據實戰手冊
將大數據應用於內部運營中時,企業會遇到一些常見問題
1企業如何獲取與分析數據?
互聯網是大數據的一個主要來源,一些線下的傳統企業很難獲得。但它們可以:
a和擁有或能抓取海量數據的平台、企業以及政府機構合作。比如淘寶上的電商就購買淘寶收集的海量數據中與自身運營相關的部分,用於自身業務。再如卡夫通過與IBM合作,在博客、論壇和討論版的內容中抓取了47.9萬條關於自己產品的討論信息,通過大數據分析出消費者對卡夫食品的喜愛程度和消費方式。
b建立自己在互聯網上的平台,比如朝陽大悅城利用自己的微信、微博等平台收集消費者評論數據。
c許多傳統企業沒有分析海量數據的能力,此時它們可以和大數據分析和挖掘公司合作,目前市場上已經有天睿公司、IBM、百分點、華勝天成等一批提供大數據分析和挖掘服務的公司,它們是傳統企業進行大數據分析可以藉助的力量。
2如何避免大數據應用時的部門分割?
對於許多企業,其信息流被各部門彼此分割,數據難以互通,對於這種情況下,大數據的共享和匯集就只是一個泡影,更難以實現大數據的深度應用。
要打通部門之間信息分割的局面,首先要建立統一的、集中的數據系統。就像立白信息與知識總監王永紅所說的,「要真正用好大數據,企業要採用大集中的信息系統。」從更深入的角度來談,企業信息流的部門分割,更在於企業部門之間的分割,比如有一些企業的營銷按照渠道分割,導致對於顧客的大數據收集和分析效果大打折扣。
IBM智慧商務技術總監楊旭青認為,「很多時候由於組織結構問題,大數據分析有效性大大降低了。」這就需要組織與流程層面的重新設計,在這方面,阿里巴巴的部門負責人輪崗制度,對於打破部門壁壘無疑是一劑好葯。而一些企業為了打破部門分割,建立了矩陣型的組織結構,強化部門間的橫向合作,這些無疑為大數據的匯集、共享與應用創造了良好條件。
3如何讓業務人員重視大數據的應用?
解決這個問題,一方面在於一把手對整個企業數據文化的倡導,比如1號店董事長於剛就要求業務人員無論在開會,還是匯報工作時,都以數據說話,而馬雲更是將大數據提升到了戰略高度。
另一方面,也在於數據部門的帶動,阿里巴巴數據委員會負責人車品覺分享了經驗,「因為運營部門的業務人員很難看到大數據的潛力,可以首先從一些對業務見效快,見效顯著的數據項目出發,通過一兩個項目的成功,調動對方的積極性,然後再逐步一個個地引導。」
4為何大數據工作與運營需求脫節?
這往往是由於數據人員與業務人員視角、專業知識不同而導致的。大數據人員做了很多努力,但是業務人員卻認為這些努力無關痛癢。如何解決這個問題?
有的企業從組織設計上發力,將大數據納入業務分析部門的管理之下,用業務統馭數據。對於朝陽大悅城,由主要負責戰略和經營分析的部門來管理大數據工作,其中的大數據分析人員則作為支持人員。在負責人張岩看來,大數據要靠商業法則指導,關鍵是找到業務需求的點,然後由數據分析和挖掘人員實現。在具體操作中,大悅城對微信的數據挖掘,挖掘什麼樣的關鍵詞,由業務分析人員確定,而具體挖掘則由數據部門做;有的企業從流程設計上著手,推動業務部門與數據部門人員之間的溝通,建立數據人員工作與效果掛鉤的考核機制。
例如阿里巴巴根據數據挖掘的成效(比如帶來的商品轉化率的提升)來考核數據挖掘師,考核數據分析師則看其分析結果能否出現在經營負責人的報告中。從數據部門自身角度則需要降低運營部門使用數據的障礙和門檻,比如立白集團的數據人員會努力嘗試向運營部門提供更易懂、更生動的圖形化數據分析界面,在立白老闆辦公室上,就有一份「客戶運營健康體檢表」,讓老闆對全國經銷商的當月銷售情況一目瞭然。再如阿里巴巴開發的無線Bi,讓經營人員在手機上也可以看到大數據分析結果,拿車品覺的話說,「以數據之氧氣包圍經營人員。」
F. 關於大數據應用有什麼例子
大數據應用的關鍵,也是其必要條件,就在於"IT"與"經營"的融合,當然,這里的經營的內涵可以非常廣泛,小至一個零售門店的經營,大至一個城市的經營。以下是關於各行各業,不同的組織機構在大數據方面的應用的案例,在此申明,以下案例均來源於網路,本文僅作引用,並在此基礎上作簡單的梳理和分類。
大數據應用案例之:醫療行業
Seton Healthcare是採用IBM最新沃森技術醫療保健內容分析預測的首個客戶。該技術允許企業找到大量病人相關的臨床醫療信息,通過大數據處理,更好地分析病人的信息。
在加拿大多倫多的一家醫院,針對早產嬰兒,每秒鍾有超過3000次的數據讀取。通過這些數據分析,醫院能夠提前知道哪些早產兒出現問題並且有針對性地採取措施,避免早產嬰兒夭折。
它讓更多的創業者更方便地開發產品,比如通過社交網路來收集數據的健康類App。也許未來數年後,它們搜集的數據能讓醫生給你的診斷變得更為精確,比方說不是通用的成人每日三次一次一片,而是檢測到你的血液中葯劑已經代謝完成會自動提醒你再次服葯。
大數據應用案例之:能源行業
智能電網現在歐洲已經做到了終端,也就是所謂的智能電表。在德國,為了鼓勵利用太陽能,會在家庭安裝太陽能,除了賣電給你,當你的太陽能有多餘電的時候還可以買回來。通過電網收集每隔五分鍾或十分鍾收集一次數據,收集來的這些數據可以用來預測客戶的用電習慣等,從而推斷出在未來2~3個月時間里,整個電網大概需要多少電。
有了這個預測後,就可以向發電或者供電企業購買一定數量的電。因為電有點像期貨一樣,如果提前買就會比較便宜,買現貨就比較貴。通過這個預測後,可以降低采購成本。
維斯塔斯風力系統,依靠的是BigInsights軟體和IBM超級計算機,然後對氣象數據進行分析,找出安裝風力渦輪機和整個風電場最佳的地點。利用大數據,以往需要數周的分析工作,現在僅需要不足1小時便可完成。
G. 大數據人臉分析案例
大數據人臉分析案例
大數據人臉分析案例,隨著社會科技的不斷發展,人工技能,人臉識別技術也不斷普及到各個領域。人臉識別技術可以在大數據的環境下,極大發揮其強大的作用。下文分享有關大數據人臉分析的內容。
基於特徵的方法和基於圖像的方法
1、基於特徵的方法
技術:基於特徵的方法試圖找到人臉的不變特徵進行檢測。其基本思想是基於人類視覺可以毫不費力地檢測不同姿勢和光照條件下的人臉的觀察,因此必須有盡管存在這些變化的屬性或特徵是一致的。當前已經提出了廣泛的方法來檢測面部特徵,然後推斷面部的存在。
示例:邊緣檢測器通常會提取人臉特徵,例如眼睛、鼻子、嘴巴、眉毛、膚色和發際線。基於提取的特徵,建立統計模型來描述它們之間的關系並驗證人臉在圖像中的存在。
優點:易於實施,傳統方法
缺點:基於特徵的演算法的一個主要問題是圖像特徵可能會由於光照、雜訊和遮擋而嚴重損壞。此外,人臉的特徵邊界會被弱化,陰影會導致強邊緣,這使得感知分組演算法無用。
2、基於圖像的方法
技術:基於圖像的方法嘗試從圖像中的示例中學習模板。因此,基於外觀的方法依靠機器學習和統計分析技術來找到「人臉」和「非人臉」圖像的相關特徵。學習的特徵是以分布模型或判別函數的形式應用於人臉檢測任務。
示例:基於圖像的方法包括神經網路 (CNN)、支持向量機 (SVMi) 或 Adaboost。
優點:性能好,效率更高
缺點:難以實施。 為了計算效率和檢測效率,通常需要降維。這意味著通過獲得一組主要特徵來考慮降低特徵空間的維數,保留原始數據的有意義的屬性。
人臉檢測方法
已經引入了多種人臉檢測技術。
1、開始階段:人臉檢測自 90 年代出現以來一直是一個具有挑戰性的研究領域。
2000 年之前,盡管有很多研究,但直到 Viola 和 Jones 提出里程碑式的工作,人臉識別的實際性能還遠不能令人滿意。 從 Viola—Jones 的開創性工作(Viola and Jones 2004)開始,人臉檢測取得了長足的進步。
Viola and Jones 開創性地使用 Haar 特徵和 AdaBoost 來訓練一個有希望的准確度和效率的人臉檢測器(Viola and Jones 2004),這啟發了之後有幾種不同的方法。 然而,它有幾個嚴重的缺點。首先,它的特徵尺寸比較大。另外,它不能有效地處理非正面人臉和框外人臉。
2、早期階段——機器學習:早期的方法主要集中在與計算機視覺領域的專家一起提取不同類型的手工特徵,並訓練有效的分類器以使用傳統的機器學習演算法進行檢測。
這些方法的局限性在於它們通常需要計算機視覺專家來製作有效的特徵,並且每個單獨的組件都單獨優化,使得整個檢測流程往往不是最佳的。
為了解決第一個問題,人們付出了很多努力來提出更復雜的特徵,如 HOG(定向梯度直方圖)、SIFT(尺度不變特徵變換)、sURF(加速魯棒特徵)和 ACF(聚合通道特徵)。檢測的魯棒性,已經開發了針對不同視圖或姿勢分別訓練的多個檢測器的組合。然而,此類模型的訓練和測試通常更耗時,並且檢測性能的提升相對有限。3
3、最新技術 — 深度學習:近年來,使用深度學習方法,尤其是深度卷積神經網路 (CNN) 的人臉識別取得了顯著進展,在各種計算機視覺任務中取得了顯顯著的成功。
與傳統的計算機視覺方法相比,深度學習方法避免了手工設計的不足,並主導了許多著名的基準評估,例如 lmageNet大規模視覺識別挑戰 (ILSVRC)。
最近,研究人員應用了 Faster R—CNN,這是最先進的通用對象檢測器之一,並取得了可喜的成果。此外,CNN 級聯、區域提議網路(RPN)和 Faster R—CNN 聯合訓練實現了端到端的優化,以及人臉檢測基準,如 FDDB(人臉資料庫)等。
主要挑戰
人臉檢測面臨的困難是降低人臉識別准確率和檢測率的原因。
這些挑戰是復雜的背景、圖像中的人臉過多、奇怪的表情、光照、解析度較低、人臉遮擋、膚色、距離和方向等。
不尋常的面部表情:圖像中的人臉可能會顯示出意外或奇怪的面部表情。
照明度:某些圖像部分可能具有非常高或非常低的照明度或陰影。
皮膚類型:檢測不同人臉顏色的人臉檢測具有挑戰性,需要更廣泛的訓練圖像多樣性。
距離:如果到相機的距離太遠,物體尺寸(人臉尺寸)可能太小。
朝向:人臉方向和相機的角度會影響人臉檢測率。
復雜的背景: 場景中的大量對象會降低檢測的准確性和速度。
一張圖像中有很多人臉:一張包含大量人臉的圖像對於准確檢測率來說非常具有挑戰性。
人臉遮擋:人臉可能會被眼鏡、圍巾、手、頭發、帽子等物體部分遮擋,影響檢測率。
低解析度:低解析度圖像或圖像雜訊會對檢測率產生負面影響。
人臉檢測應用場景
人群監控:人臉檢測用於檢測經常光顧的公共或私人區域的人群。
人機交互: 多個基於人機交互的系統使用面部識別來檢測人類的存在。
攝影:最近的一些數碼相機使用面部檢測進行自動對焦等等。
面部特徵提取:可以從圖像中提取鼻子、眼睛、嘴巴、膚色等面部特徵。 、
性別分類: 通過人臉檢測方法檢測性別信息。
人臉識別:從數字圖像或視頻幀中識別和驗證一個人。
營銷:人臉檢測對於營銷、分析客戶行為或定向廣告變得越來越重要。
出勤:面部識別用於檢測人類的出勤情況, 它通常與生物識別檢測結合用於訪問管理,如智能門禁。
2014年前後,隨著大數據和深度學習的發展,神經網路備受矚目,深度學習的出現使人臉識別技術取得了突破性進展。深度學習是機器學習的一種,其概念源於人工神經網路的研究,通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵,以發現數據的分布式特徵表示。
區別於傳統的淺層學習,深度學習的不同在於一方面通常有5層以上的'多層隱層節點,模型結構深度大;另一方面利用大數據來學習特徵,明確了特徵學習的重要性。
隨著深度卷積神經網路和大規模數據集的最新發展,深度人臉識別取得了顯著進展,基於深度學習的人臉識別技術可以通過網路自動學習人臉面部特徵,從而提高人臉檢測效率。
從人臉表達模型來看,可細分為2D人臉識別和3D人臉識別。基於2D的人臉識別通過2D攝像頭拍攝平面成像,研究時間相對較長,在多個領域都有使用,但由於2D信息存在深度數據丟失的局限性,收集的信息有限,安全級別不夠高,在實際應用中存在不足。
早在2019年,就有小學生手舉照片「攻破」了快遞櫃的人臉識別系統。基於3D的人臉識別系統通過3D攝像頭立體成像,由兩個攝像頭、一個紅外線補光探頭和一個可見光探頭相互配合形成3D圖像,能夠准確分辨出照片、視頻、面具等逼真的攻擊手段。
根據使用攝像頭成像原理,目前3D人臉識別主要有三種主流方案,分別是3D結構光方案(Structured Light)、時差測距技術3D方案(Time Of Flight,TOF)和雙目立體成像方案(Stereo System)。基於3D結構光的人臉識別已在一些智能手機上實際應用,比如HUAWEI Mate 20 Pro、iPhone X。
2009年微軟推出的Kinect(Xbox 360體感周邊外設)則採用了TOF方式獲取3D數據,顛覆了游戲的單一操作,為人機體感交互提供了有益探索。雙目立體成像方案基於視差原理,通過多幅圖像恢復物體的三維信息,由於對相機焦距、兩個攝像頭平面位置等要求較高,應用范圍相對於3D結構光和TOF方案較窄。
除了能夠准確識人,精準判斷捕捉到的人臉是真實的也至關重要。活體檢測技術能夠在系統攝像頭正確識別人臉的同時,驗證用戶是本人而不是照片、視頻等常見攻擊手段。目前活體檢測分為三種,分別是配合式活體檢測、靜默活體檢測和雙目活體防偽檢測。
其中,配合式活體檢測最為常見,比如在銀行「刷臉」辦理業務、在手機端完成身份認證等應用場景,通常需要根據文字提示完成左看右看、點頭、眨眨眼等動作,通過人臉關鍵點定位和人臉追蹤等技術,驗證用戶是否為真實活體本人。
人臉與人體的其他生物特徵(如指紋、虹膜等)一樣與生俱來,它的唯一性和不易被復制的良好特性為身份鑒別提供了必要的前提。隨著大數據和深度學習的不斷發展,人臉識別效率顯著提升,為遠程辦理業務的身份認證環節提供了可靠保障。
但與此同時,人臉信息保護、隱私安全等問題也應引起重視。隨著《個人信息保護法》《數據安全法》及相關司法解釋的出台,國家相關部門以及各種機構對個人信息安全問題的重視,有利於引導人臉識別技術的發展方向,為促進行業高質量發展、創造高品質數字生活提供有力支撐。
人臉識別的應用場景在大范圍擴展:
金融領域:遠程銀行開戶、身份核驗、保險理賠和刷臉支付等。人臉識別技術的接入,能有效提高資金交易安全的保障,也提高了金融業務中的便捷性。
智慧安防領域則是為了視頻結構化、人物檢索、人臉布控、人群統計等軟硬體一體形態產品提供基礎支撐,重點應用於犯罪人員的識別追蹤、失蹤兒童尋找、反恐行動助力等場景。實現重點人員的識別及跟蹤,在公安應用場景中達到事前預警、事中跟蹤、事後快速處置的目的。
交通領域主要包括1:1人臉驗證和1:N人臉辨識,目前利用人臉核驗驗證技術的刷臉安檢已進入普遍應用階段,在高鐵站、普通火車站和機場皆已大面積推廣。
而應用1:N人臉比對技術的刷臉支付主要落地在地鐵公交等市內交通,這種技術能夠極大提高通勤人員的出行效率,釋放大量的人力資源,提升出行體驗。同時,人臉識別可以對交通站點進行人流監測,根據人員出行規律預測人流高峰,提前做好疏導預案。
民生政務方面,人臉識別在政務系統的落地,提升了民眾的辦事效率,公民可以不用窗口排隊,實現自助辦事,節省了因人工效率低下產生的耗時。部分政務還可以通過在線人臉識別驗證,在移動端線上辦理,減輕了「辦事來回跑、辦事地點遠、辦事點分散」的困擾。
智能家居方面,主要應用在安全解鎖和個性化家居服務兩個場景。
在線教育領域則是通過人臉識別查驗學員身份,避免一賬號多個人使用,給網校造成損失,另一用途是幫助在線課堂老師了解學生學習狀態,彌補網路授課相較於傳統授課在師生交流環節上的不足。
商業領域,利用人臉識別功能實現各種極具創意的互動營銷活動。
凡事都有兩面。即便擁有以上優勢,因人臉暴露度較高,相比對其他生物特徵數據更容易實現被動採集,這也意味著人臉信息的數據更容易被竊取,不僅可能侵犯個人隱私,還會帶來財產損失。大規模的資料庫泄露還會對一個族群或國家帶來安全風險。
在南方都市報個人信息保護研究中心發布的《人臉識別應用公眾調研報告(2020)》中,其對兩萬份調研報告進行統計,問卷中就「便捷性」與「安全性」設置了量表題,請受訪者分別依據前述10大類場景中的使用感受進行打分。
1分為最低分,5分為最高分。結果顯示,在安全性感受方面,受訪者給出的分數則明顯偏低,體現出他們對安全風險的憂慮態度。
H. 有哪些大數據分析案例
如下:
1. 大數據應用案例之:醫療行業
1)Seton Healthcare是採用IBM最新沃森技術醫療保健內容分析預測的首個客戶。該技術允許企業找到大量病人相關的臨床醫療信息,通過大數據處理,更好地分析病人的信息。
在加拿大多倫多的一家醫院,針對早產嬰兒,每秒鍾有超過3000次的數據讀取。通過這些數據分析,醫院能夠提前知道哪些早產兒出現問題並且有針對性地採取措施,避免早產嬰兒夭折。
它讓更多的創業者更方便地開發產品,比如通過社交網路來收集數據的健康類App。也許未來數年後,它們搜集的數據能讓醫生給你的診斷變得更為精確,比方說不是通用的成人每日三次一次一片,而是檢測到你的血液中葯劑已經代謝完成會自動提醒你再次服葯。
2)大數據配合喬布斯癌症治療
喬布斯是世界上第一個對自身所有DNA和腫瘤DNA進行排序的人。為此,他支付了高達幾十萬美元的費用。他得到的不是樣本,而是包括整個基因的數據文檔。醫生按照所有基因按需下葯,最終這種方式幫助喬布斯延長了好幾年的生命。
2. 大數據應用案例之:能源行業
1)智能電網現在歐洲已經做到了終端,也就是所謂的智能電表。在德國,為了鼓勵利用太陽能,會在家庭安裝太陽能,除了賣電給你,當你的太陽能有多餘電的時候還可以買回來。
通過電網收集每隔五分鍾或十分鍾收集一次數據,收集來的這些數據可以用來預測客戶的用電習慣等,從而推斷出在未來2~3個月時間里,整個電網大概需要多少電。有了這個預測後,就可以向發電或者供電企業購買一定數量的電。
因為電有點像期貨一樣,如果提前買就會比較便宜,買現貨就比較貴。通過這個預測後,可以降低采購成本。
2)丹麥的維斯塔斯風能系統(Vestas Wind Systems)運用大數據,系統依靠的是BigInsights軟體和IBM超級計算機,分析出應該在哪裡設置渦輪發電機,事實上這是風能領域的重大挑戰。在一個風電場20多年的運營過程中,准確的定位能幫助工廠實現能源產出的最大化。
為了鎖定最理想的位置,Vestas分析了來自各方面的信息:風力和天氣數據、湍流度、地形圖、公司遍及全球的2.5萬多個受控渦輪機組發回的感測器數據。這樣一套信息處理體系賦予了公司獨特的競爭優勢,幫助其客戶實現投資回報的最大化。
3. 大數據應用案例之:通信行業—通過大數據分析挽回核心客戶
法國電信-Orange集團旗下的波蘭電信公司Telekomunikacja Polska是波蘭最大的語音和寬頻固網供應商,希望有效的途徑來准確預測並解決客戶流失問題。
他們決定進行客戶細分,方法是構建一張「社交圖譜」- 分析客戶數百萬個電話的數據記錄,特別關注 「誰給誰打了電話」以及「打電話的頻率」兩個方面。「社交圖譜」把公司用戶分成幾大類,如:「聯網型」、「橋梁型」、「領導型」以及「跟隨型」。
這樣的關系數據有助電信服務供應商深入洞悉一系列問題,如:哪些人會對可能「棄用」公司服務的客戶產生較大的影響?挽留最有價值客戶的難度有多大?運用這一方法,公司客戶流失預測模型的准確率提升了47%。
4、大數據應用案例之:零售業—大數據幫零售企業制定促銷策略
北美零售商百思買在北美的銷售活動非常活躍,產品總數達到3萬多種,產品的價格也隨地區和市場條件而異。由於產品種類繁多,成本變化比較頻繁,一年之中,變化可達四次之多。
結果,每年的調價次數高達12萬次。最讓高管頭疼的是定價促銷策略。公司組成了一個11人的團隊,希望透過分析消費者的購買記錄和相關信息,提高定價的准確度和響應速度。
定價團隊的分析圍繞著三個關鍵維度:
1)數量:團隊需要分析海量信息。他們收集了上千萬的消費者的購買記錄,從客戶不同維度分析,了解客戶對每種產品種類的最高接受能力,從而為產品定出最佳價位。
2)多樣性:團隊除了分析了購買記錄這種結構化的數據外,他們也利用社交媒體發帖這種新型的非結構化數據。由於消費者需要在零售商專頁上點贊或留言以獲得優惠券,團隊利用情感分析公式來分析專頁上消費者的情緒,從而判斷他們對於公司的促銷活動是否滿意,並微調促銷策略。
3)速度:為了實現價值最大化,團隊對數據進行實時或近似實時的處理。他們成功地根據一個消費者既往的麥片購買記錄,為身處超市麥片專櫃的他/她即時發送優惠券,為客戶帶來便利性和驚喜。
透過這一系列的活動,團隊提高了定價的准確度和響應速度,為零售商新增銷售額和利潤數千萬美元。
5、大數據應用案例之:網路營銷行業(SEM)
很多企業在做SEM的過程中,都有這樣的感觸:每年都會花費大量的預算在SEM推廣中,但是因為關鍵詞投入產出無法可視化,常常花了很多錢卻不見具體的回報。
在競爭如此激烈的SEM市場中,企業需要一個高效的數據分析工具來盡可能地幫企業優化SEM推廣,例如BDP,來幫企業節省不必要的支出,提升整體的經營績效。
企業可藉助數據平台提供的網路營銷整合解決方案,打通各個搜索引擎營銷(SEM)、在線客服系統和CRM系統,營銷競價人員無需掌握復雜的編程技術,簡單拖拽即可生成報表,觀察每一個關鍵詞的投入和產出,分析每一個頁面的轉化,有效降低投放成本。
通過BDP實況分析數據,可以快速洞悉對手關鍵詞的投放時段、地域及排名,並對其進行可視化的分析,實時監控自己和競爭對手的投放情況,了解對手的投放策略,支持自定義設置數據更新的時間點、監控頻次和時段,及時調整策略。知已知彼,才能百戰不殆。
6、大數據應用案例之:電商行業
意料之外:胸部最大的是新疆妹子。曾經淘寶平台顯示,中國女性購買最多的文胸尺碼為B罩杯。B罩杯佔比達41.45%,其中又以75B的銷量最好,其次是A罩杯,購買佔比達25.26%,C罩杯只有8.96%。
雖然淘寶數據平台不能代表一切,但是結合現實來看,這個也具有普遍的代表性,只能感慨中國女性普遍size。在文胸顏色中,黑色最為暢銷,黑色絕對是百搭,每個女性必備。
從省市排名,胸部最大的是新疆妹子。這些數據都對於文胸店鋪而言是很好的參考,為店鋪的庫存、定價、款式選擇等策略都有奠定數據基礎。
7、大數據應用案例之:娛樂行業
微軟大數據成功預測奧斯卡21項大獎。2013年,微軟紐約研究院的經濟學家大衛•羅斯柴爾德(David Rothschild)利用大數據成功預測24個奧斯卡獎項中的19個,成為人們津津樂道的話題。
今年羅斯柴爾德再接再厲,成功預測第86屆奧斯卡金像獎頒獎典禮24個獎項中的21個,繼續向人們展示現代科技的神奇魔力。
總的來說,大數據的終極目標並不僅僅是改變競爭環境,而是徹底扭轉整個競爭環境,帶來新機遇,企業需要應勢而變。企業只有認識到這一點,使用合適的數據分析產品、聰明地使用和管理數據,才能在長期競爭中成為終極贏家。
I. 有哪些大數據分析案例
三個領域大數據應用案例分析
1、無人駕駛汽車。汽車非常昂貴,然而在歐洲,人們只有4%的時間在使用汽車,96%的時間把車停在停車場,這是非常不高效的系統。如果未來普及了無人駕駛的汽車,我們就可以過上另一種生活。
我們將只需要在手機上點一個按鍵,車就會自己開過來,把我們帶去目的地。這種車就像沒有駕駛員的計程車,可以被反復使用,效率和可持續性都得到了提升,也避免了資源浪費。
有研究發現,如果自動機動車得到普及,可以減少25%的交通擁堵,減少30%的城市停車場面積。如果北京減少30%的停車場需求,城市生活將大不一樣。
2、醫療行業。我們的壽命現在都比較長了,但仍然希望能夠更長。現在,我們的醫療水平並不是很好,由於我們忽視了每一個人的個體差異,醫生會用通常的方法治療每一個人。然而,基於大數據,我們可以做精確醫療,通過大數據分析每個人的差異,進行精確的治療、劑量、用量,讓患者更快恢復健康。
3、教育行業。我們要讓下一代有能力了解這個世界。然而,因為沒有數據,我們難以做到因材施教,所有孩子獲得同樣的教學,學習同樣的書本。低效率的教學就是在浪費腦力、知識和我們解決問題的能力。
如果我們用大數據去分析孩子在發展學習能力時遇到的問題,就可以進行個性化的學習,就可以釋放知識和理解力的力量,讓每一個孩子充分開發潛能。
-