『壹』 數據挖掘中最經典的例子"啤酒+尿布"是怎麼回事
在一家超市中,人們發現了一個特別有趣的現象:尿布與啤酒這兩種風馬牛不相及的商品居然擺在一起。但這一奇怪的舉措居然使尿布和啤酒的銷量大幅增加了。這可不是一個笑話,而是一直被商家所津津樂道的發生在美國沃爾瑪連鎖超市的真實案例。
美國的婦女通常在家照顧孩子,所以她們經常會囑咐丈夫在下班回家的路上為孩子買尿布,而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。這個發現最終為商家帶來了大量的利潤。
《啤酒與尿布》是2008年清華大學出版社出版的圖書,作者是高勇。該書講述了啤酒和尿布銷售之間的聯系和啟示。
該故事是數據挖掘技術對歷史數據進行分析的結果,反映數據內在的規律。另外,沃爾瑪派出市場調查人員和分析師對這一數據挖掘結果進行調查分析。大量實際調查和分析揭示了一個隱藏在"尿布與啤酒"背後的美國人的一種消費行為傾向:在美國,一些年輕的父親下班後經常要到超市去買嬰兒尿布,而他們中有30%~40%的人同時也為自己買一些啤酒。產生這一現象的原因是:美國的太太們常叮囑她們的丈夫下班後為小孩買尿布,而丈夫們在買尿布後又隨手帶回了他們喜歡的啤酒。
網路-啤酒與尿布
『貳』 啤酒尿布的關聯演算法怎麼來的
一、故事背景:
在一家超市中,通過大數據分析發現了一個特別有趣的現象:尿布與啤酒這兩種風馬牛不相及的商品的銷售數據曲線竟然初期的相似,於是就將尿布與啤酒擺
在一起。沒想到這一舉措居然使尿布和啤酒的銷量大幅增加了。這可不是一個笑話,而是一直被商家所津津樂道的發生在美國沃爾瑪連鎖超市的真實大數據案例。原
來,美國的婦女通常在家照顧孩子,所 以她們經常會囑咐丈夫在下班回家的路上為孩子買尿布,而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。
這個發現為商家帶來了大量的利潤,但是如何從浩如煙海卻又雜亂無章的大數據中,發現啤酒和尿布銷售之間的聯系呢?這又給了我們什麼樣的啟示呢?
這就是關聯!
關聯,其實很簡單,就是幾個東西或者事件是經常同時出現的,「啤酒+尿布」就是非常典型的兩個關聯商品。所謂關聯,反映的是一個事件和其他事件之間
依賴或關 聯的知識。當我們查找英文文獻的時候,可以發現有兩個英文詞都能形容關聯的含義。第一個是相關性relevance,第二個是關聯性
association,兩者都可以用來描述事件之間的關聯程度。其中前者主要用在互聯網的內容和文檔上,比如搜索引擎演算法中文檔之間的關聯性,我們採用
的詞是relevance;而後者往往用在實際的事物之上,比如電子商務網站上的商品之間的關聯度我們是用association來表示的,而關聯規則是
用associationrules來表示的。
如果兩項或多項屬性之間存在關聯,那麼其中一項的屬性值就可以依據其
他屬性值進行預測。簡單地來說,關聯規則可以用這樣的方式來表示:A→B,其中A被稱為前提或者左部(LHS),而B被稱為結果或者右部(RHS)。如果
我們要描述關於尿布和啤酒的關聯規則(買尿布的人也會買啤酒),那麼我們可以這樣表示:買尿布→買啤酒。
關聯規則的發現過程可分為如下兩步:
第一步是迭代識別所有的頻繁項目集(FrequentItemsets),要求頻繁項目集的支持度不低於用戶設定的最低值;
第二步是從頻繁項目集中構造置信度不低於用戶設定的最低值的規則,產生關聯規則。識別或發現所有頻繁項目集是關聯規則發現演算法的核心,也是計算量最大的部分。
支
持度和置信度兩個閾值是描述關聯規則的兩個最重要的概念。一項目組出現的頻率稱為支持度,反映關聯規則在資料庫中的重要性。而置信度衡量關聯規則的可信程
度。如果某條規則同時滿足最小支持度(min-support)和最小置信度(min-confidence),則稱它為強關聯規則。
關聯規則數據挖掘階段
第
一階段必須從原始資料集合中,找出所有高頻項目組(LargeItemsets)。高頻的意思是指某一項目組出現的頻率相對於所有記錄而言,必須達到某一
水平。以一個包含A與B兩個項目的2-itemset為例,我們可以求得包含{A,B}項目組的支持度,若支持度大於等於所設定的最小支持度
(MinimumSupport)門檻值時,則{A,B}稱為高頻項目組。一個滿足最小支持度的k-itemset,則稱為高頻k-項目組
(Frequentk-itemset),一般表示為Largek或Frequentk。演算法並從Largek的項目組中再試圖產生長度超過k的項目集
Largek+1,直到無法再找到更長的高頻項目組為止。
關聯規則挖掘的第二階段是要產生關聯規則。從高頻項目組產生關聯規則,是利用前一步驟的高頻k-項目組來產生規則,在最小可信度(MinimumConfidence)的條件門檻下,若一規則所求得的可信度滿足最小可信度,則稱此規則為關聯規則。
例如:經由高頻k-項目組{A,B}所產生的規則,若其可信度大於等於最小可信度,則稱{A,B}為關聯規則。
就
「啤酒+尿布」這個案例而言,使用關聯規則挖掘技術,對交易資料庫中的記錄進行資料挖掘,首先必須要設定最小支持度與最小可信度兩個門檻值,在此假設最小
支持度min-support=5%且最小可信度min-confidence=65%。因此符合需求的關聯規則將必須同時滿足以上兩個條件。若經過挖掘
所找到的關聯規則{尿布,啤酒}滿足下列條件,將可接受{尿布,啤酒}的關聯規則。用公式可以描述為:
Support(尿布,啤酒)≥5%andConfidence(尿布,啤酒)≥65%。
其
中,Support(尿布,啤酒)≥5%於此應用範例中的意義為:在所有的交易記錄資料中,至少有5%的交易呈現尿布與啤酒這兩項商品被同時購買的交易行
為。Confidence(尿布,啤酒)≥65%於此應用範例中的意義為:在所有包含尿布的交易記錄資料中,至少有65%的交易會同時購買啤酒。
因此,今後若有某消費者出現購買尿布的行為,我們將可推薦該消費者同時購買啤酒。這個商品推薦的行為則是根據{尿布,啤酒}關聯規則而定,因為就過去的交易記錄而言,支持了「大部分購買尿布的交易,會同時購買啤酒」的消費行為。
從上面的介紹還可以看出,關聯規則挖掘通常比較適用於記錄中的指標取離散值的情況。
如果原始資料庫中的指標值是取連續的數據,則在關聯規則挖掘之前應該進行適當的數據離散化(實際上就是將某個區間的值對應於某個值),數據的離散化是數據挖掘前的重要環節,離散化的過程是否合理將直接影響關聯規則的挖掘結果。
『叄』 大數據那些神奇或哭笑不得的案例
大數據那些神奇或哭笑不得的案例
互聯網時代每天都有巨量的數據產生,信息技術也隨之飛速發展。大數據已經滲透進我們生活的方方面面,其實我們也時時刻刻在接觸這些大數據帶給我們的服務。接下來我們看看那些大數據挖掘出來的一些神奇或哭笑不得的案例。
1啤酒+尿布(神方案)
全球零售業巨頭沃爾瑪在對消費者購物行為分析時發現,男性顧客在購買嬰兒尿片時,常常會順便搭配幾瓶啤酒來犒勞自己,於是嘗試推出了將啤酒和尿布擺在一起的促銷手段。沒想到這個舉措居然使尿布和啤酒的銷量都大幅增加了。如今,「啤酒+尿布」的數據分析成果早已成了大數據技術應用的經典案例,被人津津樂道。
2數據新聞讓英國撤出伊拉克
2010年10月23日《衛報》利用維基解密的數據做了一篇「數據新聞」。將伊拉克戰爭中所有的人員傷亡情況均標注於地圖之上。地圖上一個紅點便代表一次死傷事件,滑鼠點擊紅點後彈出的窗口則有詳細的說明:傷亡人數、時間,造成傷亡的具體原因。密布的紅點多達39萬,顯得格外觸目驚心。一經刊出立即引起朝野震動,推動英國最終做出撤出駐伊拉克軍隊的決定。
3C罩杯都在新疆
淘寶數據平台顯示,購買最多的文胸尺碼為B罩杯。B罩杯佔比達41.45%,其中又以75B的銷量最好。其次是A罩杯,購買佔比達25.26%,C罩杯只有8.96%。在文胸顏色中,黑色最為暢銷。以省市排名,胸部最大的是新疆妹子。
4QQ圈把前女友介紹給未婚妻
2012年3月騰訊推出QQ圈子,按共同好友的連鎖反應攤開用戶的人際關系網,把用戶的前女友推薦給未婚妻,把同學同事朋友圈子分門別類,利用大數據處理能力給人帶來「震撼」。
5首款「魔鏡」預知市場走向
在現在,「魔鏡」可以通過數據的整合分析可視化不僅可以得出誰是世界上最美的女人,還能通過價量關系得出市場的走向。在不久前,「魔鏡」幫助中石等企業分析數據,將數據可視化,使企業科學的判斷、決策,節約成本,合理配置資源,提高了收益。
6Google數字模型預測流感
2009年,Google通過分析5000萬條美國人最頻繁檢索的詞彙,將之和美國疾病中心在2003年到2008年間季節性流感傳播時期的數據進行比較,並建立一個特定的數學模型。最終google成功預測了2009冬季流感的傳播甚至可以具體到特定的地區和州。
7數據文檔幫喬布斯延長生命
喬布斯是世界上第一個對自身所有DNA和腫瘤DNA進行排序的人。為此,他支付了高達幾十萬美元的費用。他得到的不是樣本,而是包括整個基因的數據文檔。醫生按照所有基因按需下葯,最終這種方式幫助喬布斯延長了好幾年的生命。
8大數據讓奧巴馬連任成功
2012年11月奧巴馬大選連任成功的勝利果實也被歸功於大數據,因為他的競選團隊進行了大規模與深入的數據挖掘。時代雜志更是斷言,依靠直覺與經驗進行決策的優勢急劇下降,在政治領域,大數據的時代已經到來;各色媒體、論壇、專家鋪天蓋地的宣傳讓人們對大數據時代的來臨興奮不已,無數公司和創業者都紛紛跳進了這個狂歡隊伍。
9大數據成功預測21項大獎
2013年,微軟紐約研究院的經濟學家大衛?羅斯柴爾德(David Rothschild)利用大數據成功預測24個奧斯卡獎項中的19個,成為人們津津樂道的話題。今年羅斯柴爾德再接再厲,成功預測第86屆奧斯卡金像獎頒獎典禮24個獎項中的21個,繼續向人們展示現代科技的神奇魔力。
10購物數據預測高中生懷孕
明尼蘇達州一家塔吉特門店被客戶投訴,一位中年男子指控塔吉特將嬰兒產品優惠券寄給他的女兒——一個高中生。但沒多久他卻來電道歉,因為女兒經他逼問後坦承自己真的懷孕了。塔吉特百貨就是靠著分析用戶所有的購物數據,然後通過相關關系分析得出事情的真實狀況。
人類已進入大數據時代,國際數據公司的研究結果表明,近幾年全球產生的數據量高達數個ZB。基於這樣一個大數據的概念,我們會在各行各業,比如醫療行業,將迎來深度的行業變革,甚至顛覆性的變革。
以上是小編為大家分享的關於大數據那些神奇或哭笑不得的案例的相關內容,更多信息可以關注環球青藤分享更多干貨