『壹』 大數據挖掘需要學習哪些技術大數據的工作
首先
我由各種編程語言的背景——matlab,R,java,C/C++,python,網路編程等
我又一定的數學基礎——高數，線代，概率論，統計學等
我又一定的演算法基礎——經典演算法，神經網路，部分預測演算法，群智能演算法等
但這些目前來講都不那麼重要，但慢慢要用到
Step 1：大數據理論，方法和技術
大數據理論——啥都不說，人家問你什麼是大數據時，你能夠講到別人知道什麼是大數據
大數據方法——然後別人問你，那怎麼實現呢？嗯，繼續講：說的是方法（就好像歸並排序演算法：分，並）。到目前外行人理解無障礙
大數據技術——多嘴的人繼續問：用的技術。
這階段只是基礎，不涉及任何技術細節，慢慢看慢慢總結，積累對「大數據」這個詞的理解。
Step 2：大數據思維
Bang~這是繼Step 1量變發展而來的質變：學了那麼久「大數據」，把你扔到製造業，你怎麼辦？
我想，這就是「學泛」的作用吧，並不是學到什麼具體東西，而是學到了對待事物的思維。
----------------------------------------------------------------------
以下階段我還沒開始=_=，不好誤導大家
Step 3：大數據技術基礎
Step 4：大數據技術進階
Step 5：打實戰
Step 6：大融合
『貳』 大數據掘金——數據挖掘過程
1.商業問題理解
全面了解管理對新知識的需求以及對企業目標的明確認識。
進行項目規劃，明確負責收集數據、分析數據、匯報結果的人員。在這一早期階段，還應當對進行研究的經費預算，至少要給出預算上限和大致數據。
2.數據理解
將商業問題與使用數據完美匹配。
定量數據：用數值來衡量，可以是離散的，也可以使連續的。也成為分類數據包括定序和定類兩種，定序數據有有限多個可排序的取值（差、好、極好），定類數據具有有限不可排序的取值（男、女）。定量數據可以由幾組概率分布來表示。概率分布顯示了數據是如何分布的
定性數據：可以進行編碼，通過頻率分布表示。
3.數據准備
數據處理。真實世界的數據通常都是不完全的（缺乏屬性值、特殊性或只有總數）、雜亂的（包含錯誤或異常值）、不連續的（編碼或名字中存在矛盾）。由於數據來自不同的數據源，它們之間具有不同的格式，如選取的數據可能來自平面文件、音頻、圖片或網頁，必須轉化為持續統一的格式。
4.建立模型
需要利用多種模型，經過多次實驗和測量，找出解決某個實際問題的最佳方案。甚至對於單個模型或公式而言，也是需要對參數進行標准化才能得到最優結果。某些方法對數據格式有特殊要求，因此還需要退回到數據准備階段重新處理。
數據挖掘建模的標准流程是將大規模未經處理數據分為小組，以進行測試或檢驗。然後分析師就可以根據一部分數據（實驗組）建立模型（可以使用任何建模方法或公式），用另一部分數據（測試組）測試建立起來的模型。
5.檢驗和評估
對建立起來的模型進行測量和評估，確定其准確性和一般性。在實際環境中測試模型是否符合時間和財務的要求。這一發現過程的成功與否取決於數據分析師、商業分析師和決策者（如企業管理者）的互動。為了更好地解讀數據，我們通常使用表格或可視化技術（如數據透視表、交叉表分析、餅圖、柱狀圖、箱線圖和散點圖等）。
6.部署
數據部署這一步可能僅僅是給出一份報告，但也有可能要將整個數據挖掘過程在全公司重復一遍。
『叄』 大數據挖掘技術涉及哪些內容
大數據挖掘技術涉及的主要內容有：模式跟蹤，數據清理和准備，基於分類的數據挖掘技術，異常值檢測，關聯，聚類。
基於大環境下的數據特點，挖掘技術與對應：
1.數據來源多, 大數據挖掘的研究對象往往不只涉及一個業務系統, 肯定是多個系統的融合分析, 因此,需要強大的ETL技術, 將多個系統的數據整合到一起, 並且, 多個系統的數據可能標准不同, 需要清洗。
2.數據的維度高, 整合起來的數據就不只傳統數據挖掘的那一些維度了, 可能成百上千維, 這需要降維技術了。
3.大數據量的計算, 在單台伺服器上是計算不了的, 這就需要用分布式計算, 所以要掌握各種分布式計算框架, 像hadoop, spark之類, 需要掌握機器學習演算法的分布式實現。
數據挖掘：目前，還需要改進已有數據挖掘和機器學習技術；開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突破基於對象的數據連接、相似性連接等大數據融合技術；突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。
想了解更多大數據挖掘技術，請關注CDA數據分析課程。CDA（Certified Data Analyst），即「CDA 數據分析」，是在數字經濟大背景和人工智慧時代趨勢下，面向全行業的專業權威國際資格認證，旨在提升全民數字技能，助力企業數字化轉型，推動行業數字化發展。國家發展戰略的要求，崗位人才的缺口以及市場規模的帶動，都從不同方面體現了數據分析師職業的重要性。大數據挖掘技術的學習，有利於提高人在職場的信譽度，增加職場競爭力，提高自己的經濟地位。點擊預約免費試聽課。
『肆』 大數據時代的數據怎麼挖掘
3月13日下午，南京郵電大學計算機學院、軟體學院院長、教授李濤在CIO時代微講座欄目作了題為《大數據時代的數據挖掘》的主題分享，深度詮釋了大數據及大數據時代下的數據挖掘。
眾所周知，大數據時代的大數據挖掘已成為各行各業的一大熱點。
一、數據挖掘
在大數據時代，數據的產生和收集是基礎，數據挖掘是關鍵，數據挖掘可以說是大數據最關鍵也是最基本的工作。通常而言，數據挖掘也稱為DataMining，或知識發現Knowledge Discovery from Data，泛指從大量數據中挖掘出隱含的、先前未知但潛在的有用信息和模式的一個工程化和系統化的過程。
不同的學者對數據挖掘有著不同的理解，但個人認為，數據挖掘的特性主要有以下四個方面：
1.應用性（A Combination of Theory and Application）：數據挖掘是理論演算法和應用實踐的完美結合。數據挖掘源於實際生產生活中應用的需求，挖掘的數據來自於具體應用，同時通過數據挖掘發現的知識又要運用到實踐中去，輔助實際決策。所以，數據挖掘來自於應用實踐，同時也服務於應用實踐，數據是根本，數據挖掘應以數據為導向，其中涉及到演算法的設計與開發都需考慮到實際應用的需求，對問題進行抽象和泛化，將好的演算法應用於實際中，並在實際中得到檢驗。
2.工程性（An Engineering Process）：數據挖掘是一個由多個步驟組成的工程化過程。數據挖掘的應用特性決定了數據挖掘不僅僅是演算法分析和應用，而是一個包含數據准備和管理、數據預處理和轉換、挖掘演算法開發和應用、結果展示和驗證以及知識積累和使用的完整過程。而且在實際應用中，典型的數據挖掘過程還是一個交互和循環的過程。
3.集合性（A Collection of Functionalities）：數據挖掘是多種功能的集合。常用的數據挖掘功能包括數據探索分析、關聯規則挖掘、時間序列模式挖掘、分類預測、聚類分析、異常檢測、數據可視化和鏈接分析等。一個具體的應用案例往往涉及多個不同的功能。不同的功能通常有不同的理論和技術基礎，而且每一個功能都有不同的演算法支撐。
4.交叉性（An Interdisciplinary Field）：數據挖掘是一門交叉學科，它利用了來自統計分析、模式識別、機器學習、人工智慧、信息檢索、資料庫等諸多不同領域的研究成果和學術思想。同時一些其他領域如隨機演算法、資訊理論、可視化、分布式計算和最優化也對數據挖掘的發展起到重要的作用。數據挖掘與這些相關領域的區別可以由前面提到的數據挖掘的3個特性來總結，最重要的是它更側重於應用。
綜上所述，應用性是數據挖掘的一個重要特性，是其區別於其他學科的關鍵，同時，其應用特性與其他特性相輔相成，這些特性在一定程度上決定了數據挖掘的研究與發展，同時，也為如何學習和掌握數據挖掘提出了指導性意見。如從研究發展來看，實際應用的需求是數據挖掘領域很多方法提出和發展的根源。從最開始的顧客交易數據分析（market basket analysis）、多媒體數據挖掘（multimedia data mining）、隱私保護數據挖掘（privacy-preserving data mining）到文本數據挖掘（text mining）和Web挖掘（Web mining），再到社交媒體挖掘（social media mining）都是由應用推動的。工程性和集合性決定了數據挖掘研究內容和方向的廣泛性。其中，工程性使得整個研究過程里的不同步驟都屬於數據挖掘的研究范疇。而集合性使得數據挖掘有多種不同的功能，而如何將多種功能聯系和結合起來，從一定程度上影響了數據挖掘研究方法的發展。比如，20世紀90年代中期，數據挖掘的研究主要集中在關聯規則和時間序列模式的挖掘。到20世紀90年代末，研究人員開始研究基於關聯規則和時間序列模式的分類演算法（如classification based on association），將兩種不同的數據挖掘功能有機地結合起來。21世紀初，一個研究的熱點是半監督學習（semi-supervised learning）和半監督聚類（semi-supervised clustering），也是將分類和聚類這兩種功能有機結合起來。近年來的一些其他研究方向如子空間聚類（subspace clustering）（特徵抽取和聚類的結合）和圖分類（graph classification）（圖挖掘和分類的結合）也是將多種功能聯系和結合在一起。最後，交叉性導致了研究思路和方法設計的多樣化。
前面提到的是數據挖掘的特性對研究發展及研究方法的影響，另外，數據挖掘的這些特性對如何學習和掌握數據挖掘提出了指導性的意見，對培養研究生、本科生均有一些指導意見，如應用性在指導數據挖掘時，應熟悉應用的業務和需求，需求才是數據挖掘的目的，業務和演算法、技術的緊密結合非常重要，了解業務、把握需求才能有針對性地對數據進行分析，挖掘其價值。因此，在實際應用中需要的是一種既懂業務，又懂數據挖掘演算法的人才。工程性決定了要掌握數據挖掘需有一定的工程能力，一個好的數據額挖掘人員首先是一名工程師，有很強大的處理大規模數據和開發原型系統的能力，這相當於在培養數據挖掘工程師時，對數據的處理能力和編程能力很重要。集合性使得在具體應用數據挖掘時，要做好底層不同功能和多種演算法積累。交叉性決定了在學習數據挖掘時要主動了解和學習相關領域的思想和技術。
因此，這些特性均是數據挖掘的特點，通過這四個特性可總結和學習數據挖掘。
二、大數據的特徵
大數據（bigdata）一詞經常被用以描述和指代信息爆炸時代產生的海量信息。研究大數據的意義在於發現和理解信息內容及信息與信息之間的聯系。研究大數據首先要理清和了解大數據的特點及基本概念，進而理解和認識大數據。
研究大數據首先要理解大數據的特徵和基本概念。業界普遍認為，大數據具有標準的「4V」特徵：
1.Volume（大量）：數據體量巨大，從TB級別躍升到PB級別。
2.Variety（多樣）：數據類型繁多，如網路日誌、視頻、圖片、地理位置信息等。
3.Velocity（高速）：處理速度快，實時分析，這也是和傳統的數據挖掘技術有著本質的不同。
4.Value（價值）：價值密度低，蘊含有效價值高，合理利用低密度價值的數據並對其進行正確、准確的分析，將會帶來巨大的商業和社會價值。
上述「4V」特點描述了大數據與以往部分抽樣的「小數據」的主要區別。然而，實踐是大數據的最終價值體現的唯一途徑。從實際應用和大數據處理的復雜性看，大數據還具有如下新的「4V」特點：
5.Variability（變化）：在不同的場景、不同的研究目標下數據的結構和意義可能會發生變化，因此，在實際研究中要考慮具體的上下文場景（Context）。
6.Veracity（真實性）：獲取真實、可靠的數據是保證分析結果准確、有效的前提。只有真實而准確的數據才能獲取真正有意義的結果。
7.Volatility（波動性）/Variance（差異）：由於數據本身含有噪音及分析流程的不規范性，導致採用不同的演算法或不同分析過程與手段會得到不穩定的分析結果。
8.Visualization（可視化）：在大數據環境下，通過數據可視化可以更加直觀地闡釋數據的意義，幫助理解數據，解釋結果。
綜上所述，以上「8V」特徵在大數據分析與數據挖掘中具有很強的指導意義。
三、大數據時代下的數據挖掘
在大數據時代，數據挖掘需考慮以下四個問題：
大數據挖掘的核心和本質是應用、演算法、數據和平台4個要素的有機結合。
因為數據挖掘是應用驅動的，來源於實踐，海量數據產生於應用之中。需用具體的應用數據作為驅動，以演算法、工具和平台作為支撐，最終將發現的知識和信息應用到實踐中去，從而提供量化的、合理的、可行的、且能產生巨大價值的信息。
挖掘大數據中隱含的有用信息需設計和開發相應的數據挖掘和學習演算法。演算法的設計和開發需以具體的應用數據作為驅動，同時在實際問題中得到應用和驗證，而演算法的實現和應用需要高效的處理平台，這個處理平台可以解決波動性問題。高效的處理平台需要有效分析海量數據，及時對多元數據進行集成，同時有力支持數據化對演算法及數據可視化的執行，並對數據分析的流程進行規范。
總之，應用、演算法、數據、平台這四個方面相結合的思想，是對大數據時代的數據挖掘理解與認識的綜合提煉，體現了大數據時代數據挖掘的本質與核心。這四個方面也是對相應研究方面的集成和架構，這四個架構具體從以下四個層面展開：
應用層（Application）：關心的是數據的收集與演算法驗證，關鍵問題是理解與應用相關的語義和領域知識。
數據層（Data）：數據的管理、存儲、訪問與安全，關心的是如何進行高效的數據使用。
演算法層（Algorithm）：主要是數據挖掘、機器學習、近似演算法等演算法的設計與實現。
平台層（Infrastructure）：數據的訪問和計算，計算平台處理分布式大規模的數據。
綜上所述，數據挖掘的演算法分為多個層次，在不同的層面有不同的研究內容，可以看到目前在做數據挖掘時的主要研究方向，如利用數據融合技術預處理稀疏、異構、不確定、不完整以及多來源數據；挖掘復雜動態變化的數據；測試通過局部學習和模型融合所得到的全局知識，並反饋相關信息給預處理階段；對數據並行分布化，達到有效使用的目的。
四、大數據挖掘系統的開發
1.背景目標
大數據時代的來臨使得數據的規模和復雜性都出現爆炸式的增長，促使不同應用領域的數據分析人員利用數據挖掘技術對數據進行分析。在應用領域中，如醫療保健、高端製造、金融等，一個典型的數據挖掘任務往往需要復雜的子任務配置，整合多種不同類型的挖掘演算法以及在分布式計算環境中高效運行。因此，在大數據時代進行數據挖掘應用的一個當務之急是要開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
之前提到一個數據挖掘有多種任務、多種功能及不同的挖掘演算法，同時，需要一個高效的平台。因此，大數據時代的數據挖掘和應用的當務之急，便是開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
2.相關產品
現有的數據挖掘工具
有Weka、SPSS和SQLServer，它們提供了友好的界面，方便用戶進行分析，然而這些工具並不適合進行大規模的數據分析，同時，在使用這些工具時用戶很難添加新的演算法程序。
流行的數據挖掘演算法庫
如Mahout、MLC++和MILK，這些演算法庫提供了大量的數據挖掘演算法。但這些演算法庫需要有高級編程技能才能進行任務配置和演算法集成。
最近出現的一些集成的數據挖掘產品
如Radoop和BC-PDM，它們提供友好的用戶界面來快速配置數據挖掘任務。但這些產品是基於Hadoop框架的，對非Hadoop演算法程序的支持非常有限。沒有明確地解決在多用戶和多任務情況下的資源分配。
3.FIU-Miner
為解決現有工具和產品在大數據挖掘中的局限性，我們團隊開發了一個新的平台——FIU-Miner，它代表了A Fast,Integrated,and User-Friendly System for Data Miningin Distributed Environment。它是一個用戶友好並支持在分布式環境中進行高效率計算和快速集成的數據挖掘系統。與現有數據挖掘平台相比，FIU-Miner提供了一組新的功能，能夠幫助數據分析人員方便並有效地開展各項復雜的數據挖掘任務。
與傳統的數據挖掘平台相比，它提供了一些新的功能，主要有以下幾個方面：
A.用戶友好、人性化、快速的數據挖掘任務配置。基於「軟體即服務」這一模式，FIU-Miner隱藏了與數據分析任務無關的低端細節。通過FIU-Miner提供的人性化用戶界面，用戶可以通過將現有演算法直接組裝成工作流，輕松完成一個復雜數據挖掘問題的任務配置，而不需要編寫任何代碼。
B.靈活的多語言程序集成。允許用戶將目前最先進的數據挖掘演算法直接導入系統演算法庫中，以此對分析工具集合進行擴充和管理。同時，由於FIU-Miner能夠正確地將任務分配到有合適運行環境的計算節點上，所以對這些導入的演算法沒有實現語言的限制。
C.異構環境中有效的資源管理。FIU-Miner支持在異構的計算環境中（包括圖形工作站、單個計算機、和伺服器等）運行數據挖掘任務。FIU-Miner綜合考慮各種因素（包括演算法實現、伺服器負載平衡和數據位置）來優化計算資源的利用率。
D.有效的程序調度和執行。
應用架構上包括用戶界面層、任務和系統管理層、邏輯資源層、異構的物理資源層。這種分層架構充分考慮了海量數據的分布式存儲、不同數據挖掘演算法的集成、多重任務的配置及系統用戶的交付功能。一個典型的數據挖掘任務在應用之中需要復雜的主任務配置，整合多種不同類型的挖掘演算法。因此，開發和建立這樣的計算平台和工具，支持應用領域的數據分析人員進行有效的分析是大數據挖掘中的一個重要任務。
FIU-Miner系統用在了不同方面：如高端製造業、倉庫智能管理、空間數據處理等，TerraFly GeoCloud是建立在TerraFly系統之上的、支持多種在線空間數據分析的一個平台。提供了一種類SQL語句的空間數據查詢與挖掘語言MapQL。它不但支持類SQL語句，更重要的是可根據用戶的不同要求，進行空間數據挖掘，渲染和畫圖查詢得到空間數據。通過構建空間數據分析的工作流來優化分析流程，提高分析效率。
製造業是指大規模地把原材料加工成成品的工業生產過程。高端製造業是指製造業中新出現的具有高技術含量、高附加值、強競爭力的產業。典型的高端製造業包括電子半導體生產、精密儀器製造、生物制葯等。這些製造領域往往涉及嚴密的工程設計、復雜的裝配生產線、大量的控制加工設備與工藝參數、精確的過程式控制制和材料的嚴格規范。產量和品質極大地依賴流程管控和優化決策。因此，製造企業不遺餘力地採用各種措施優化生產流程、調優控制參數、提高產品品質和產量，從而提高企業的競爭力。
在空間數據處理方面，TerraFly GeoCloud對多種在線空間數據分析。對傳統數據分析而言，其難點在於MapQL語句比較難寫，任務之間的關系比較復雜，順序執行之間空間數據分許效率較低。而FIU-Miner可有效解決以上三個難點。
總結而言，大數據的復雜特徵對數據挖掘在理論和演算法研究方面提出了新的要求和挑戰。大數據是現象，核心是挖掘數據中蘊含的潛在信息，並使它們發揮價值。數據挖掘是理論技術和實際應用的完美結合。數據挖掘是理論和實踐相結合的一個例子。
『伍』 大數據挖掘在企業CRM中是怎樣應用的
CRM系統數據挖掘工作的重要性已經不需要進行過多的解釋，CRM管理系統數據挖掘的功能主要用於指定的分析任務，其中可以分為兩種：數據描述和數據預測，描述方面的任務主要是體現出普通的數據特性，而預測類的任務則需要對當前的各種信息進行挖掘、分析、推斷、預測。
對數據進行分類是CRM客戶關系管理系統在數據挖掘的過程中非常重要的環節，在目前的電子商務企業當中運用得最多，分類的目的是建立數據模型，模型的作用是將這些數據明確的區別開來，不同種類的數據有著不同的分析作用，比如，客戶的年齡、職業、愛好等，都屬於數據分類模型。
除了分類之外還有聚類，CRM系統的聚類工作根據數據類型的不同，進行統一劃分，它是多元數據分析的三大方法之一，主要對應幾何高密度數據的分析，應用也是非常的廣泛，接下來的流程是關聯分析，從大量已分析出來的數據當中尋找不同類型數據之間的聯系，這是數據挖掘過程中比較簡單且實用的規則。
CRM系統概念方面的描述，資料庫里都是一些比較重要的客戶和業務信息數據，可以全面的描述某些數據的類型，從不同的角度去評估客戶的需求，然後進行總匯得出有利於銷售業務的信息結果用於策略方面的參考。
簡信crm可免費試用。
『陸』 大數據挖掘中的三種角色
大數據挖掘中的三種角色_數據分析師考試
我對數據挖掘和機器學習是新手，從去年7月份在Amazon才開始接觸，而且還是因為工作需要被動接觸的，以前都沒有接觸過，做的是需求預測機器學習相關的。後來，到了淘寶後，自己憑興趣主動地做了幾個月的和用戶地址相關數據挖掘上的工作，有一些淺薄的心得。不管怎麼樣，歡迎指教和討論。
另外，註明一下，這篇文章的標題模仿了一個美劇《權力的游戲：冰與火之歌》。在數據的世界裡，我們看到了很多很牛，很強大也很有趣的案例。但是，數據就像一個王座一樣，像征著一種權力和征服，但登上去的路途一樣令人膽顫。
數據挖掘中的三種角色
在Amazon里從事機器學習的工作時，我注意到了Amazon玩數據的三種角色。
Data Analyzer：數據分析員。這類人的人主要是分析數據的，從數據中找到一些規則，並且為了數據模型的找不同場景的Training Data。另外，這些人也是把一些臟數據洗干凈的的人。
Research Scientist：研究科學家。這種角色主要是根據不同的需求來建立數據模型的。他們把自己戲稱為不近人間煙火的奇異性物種，就像《生活大爆炸》里的那個Sheldon一樣。這些人基本上玩的是數據上的科學
Software Developer：軟體開發工程師。主要是把Scientist建立的數據模型給實現出來，交給Data Analyzer去玩。這些人通常更懂的各種機器學習的演算法。
我相信其它公司的做數據挖掘或是機器學習的也就這三種工作，或者說這三種人，對於我來說，
最有技術含量的是Scientist，因為數據建模和抽取最有意義的向量，以及選取不同的方法都是這類人來決定的。這類人，我覺得在國內是找不到的。
最苦逼，也最累，但也最重要的是Data Analyzer，他們的活也是這三個角色中最最最重要的（注意：我用了三個最）。因為，無論你的模型你的演算法再怎麼牛，在一堆爛數據上也只能幹出一堆垃圾的活來。正所謂：Garbage In, Garbage Out！但是這個活是最臟最累的活，也是讓人最容易退縮的活。
最沒技術含量的是Software Developer。現在國內很多玩數據的都以為演算法最重要，並且，很多技術人員都在研究機器學習的演算法。錯了，最重要的是上面兩個人，一個是苦逼地洗數據的Data Analyzer，另一個是真正懂得數據建模的Scientist！而像什麼K-Means，K Nearest Neighbor，或是別的什麼貝葉斯、回歸、決策樹、隨機森林等這些玩法，都很成熟了，而且又不是人工智慧，說白了，這些演算法在機器學習和數據挖掘中，似乎就像Quick Sort之類的演算法在軟體設計中基本沒什麼技術含量。當然，我不是說演算法不重要，我只想說這些演算法在整個數據處理中是最不重要的。
數據的質量
目前所流行的Buzz Word——大數據是相當誤導人的。在我眼中，數據不分大小，只分好壞。
在處理數據的過程中，我第一個感受最大的就是數據質量。下面我分幾個案例來說明：
案例一：數據的標准
在Amazon里，所有的商品都有一個唯一的ID，叫ASIN——Amazon Single Identify Number，這個ID是用來標識商品的唯一性的（來自於條形碼）。也就是說，無論是你把商品描述成什麼樣，只要ASIN一樣，這就是完完全全一模一樣的商品。
這樣，就不像淘寶一樣，當你搜索一個iPhone，你會出現一堆各種各樣的iPhone，有的叫「超值iPhone」，有的叫「蘋果iPhone」，有的叫「智能手機iPhone」，有的叫「iPhone白色/黑色」……，這些同一個商品不同的描述是商家為了吸引用戶。但是帶來的問題有兩點：
1）用戶體驗不好。以商品為中心的業務模型，對於消費者來說，體驗明顯好於以商家為中心的業務模型。
2）只要你不能正確讀懂（識別）數據，你後面的什麼演算法，什麼模型統統沒用。
所以，只要你玩數據，你就會發現，如果數據的標准沒有建立起來，干什麼都沒用。數據標準是數據質量的第一道關卡，沒這個玩意，你就什麼也別玩了。所謂數據的標准，為數據做唯一標識只是其中最最基礎的一步，數據的標准還單單只是這個，更重要的是把數據的標准抽象成數學向量，沒有數學向量，後面也無法挖掘。
所以，你會看到，洗數據的大量的工作就是在把雜亂無章的數據歸並聚合，這就是在建立數據標准。這裡面絕對少不了人肉的工作。無非就是：
聰明的人在數據產生之前就定義好標准，並在數據產生之時就在干數據清洗的工作。
一般的人是在數據產生並大量堆積之後，才來干這個事。
另外，說一下Amazon的ASIN，這個事從十多年前就開始了，我在Amazon的內網里看到的資料並沒有說為什麼搞了個這樣一個ID，我倒覺得這並不是因為Amazon因為玩數據發現必需建議個商品ID，也許因為Amazon的業務模型就是設計成以「商品為中心」的。今天，這個ASIN依然有很多很多的問題，ASIN一樣不能完全保證商品就是一樣的，ASIN不一樣也不代表商品不一樣，不過90%以上的商品是保證的。Amazon有專門的團隊Category Team，裡面有很多業務人員天天都在拚命地在對ASIN的數據進行更正。
案例二：數據的准確
用戶地址是我從事過數據分析的另一個事情。我還記得當時看到那數以億計的用戶地址的數據的那種興奮。但是隨後我就興奮不起來了。因為地址是用戶自己填寫的，這裡面有很多的坑，都不是很容易做的。
第一個是假/錯地址，因為有的商家作弊或是用戶做測試。所以地址是錯的，
比如，直接就輸入「該地址不存在」，「13243234asdfasdi」之類的。這類的地址是可以被我的程序識別出來的。
還有很難被我的程序所識別出來的。比如：「宇宙路地球小區」之類的。但這類地址可以被人識別出來。
還有連人都識別不出來的，比如：「北京市東四環中路23號南航大廈5樓540室」，這個地址根本不存在。
第二個是真地址，但是因為用戶寫的不標准，所以很難處理，比如：
縮寫：「建國門外大街」和「建外大街」，「中國工商銀行」和「工行」……
錯別字：「潮陽門」，「通慧河」……
顛倒：「東四環中路朝陽公園」和「朝陽公園（靠東四環）」……
別名：有的人寫的是開發商的小區名「東恆國際」，有的則是寫行政的地名「八里庄東里」……
這樣的例子多得不能再多了。可見數據如果不準確，會增加你處理的難度。有個比喻非常好，玩數據的就像是在挖金礦一樣，如果含金量高，那麼，挖掘的難度就小，也就容易出效果，如果含金量低，那麼挖掘的難度就大，效果就差。
上面，我給了兩個案例，旨在說明——
1）數據沒有大小之分，只有含金量大的數據和垃圾量大的數據之分。
2）數據清洗是一件多麼重要的工作，這也是一件人肉工作量很大的工作。
所以，這個工作最好是在數據產生的時候就一點一滴的完成。
有一個觀點：如果數據准確度在60%的時候，你干出來的事，一定會被用戶罵！如果數據准確度在80%左右，那麼用戶會說，還不錯！只有數據准確度到了90%的時候，用戶才會覺得真牛B。但是從數據准確度從80%到90%要付出的成本要比60%到80%的付出大得多得多。大多數據的數據挖掘團隊都會止步於70%這個地方。因為，再往後，這就是一件相當累的活。
數據的業務場景
我不知道有多少數據挖掘團隊真正意識到了業務場景和數據挖掘的重要關系？我們需要知道，根本不可能做出能夠滿足所有業務的數據挖掘和分析模型。
推薦音樂視頻，和電子商務中的推薦商品的場景完全不一樣。電商中，只要你買了一個東西沒有退貨，那麼，有很大的概率我可以相信你是喜歡這個東西的，然後，對於音樂和視頻，你完全不能通過用戶聽了這首歌或是看了這個視頻就武斷地覺得用戶是喜歡這首歌和這個視頻的，所以，我們可以看到，推薦演算法在不同的業務場景下的實現難度也完全不一樣。
說到推薦演算法，你是不是和我一樣，有時候會對推薦有一種感覺——推薦就是一種按不同維度的排序的演算法。我個人以為，就提一下推薦這個東西在某些業務場景下是比較Tricky的，比如，推薦有兩種（不是按用戶關系和按物品關系這兩種），
一種是共性化推薦，結果就是推薦了流行的東西，這也許是好的，但這也許會是用戶已知的東西，比如，到了北京，我想找個飯館，你總是給我推薦烤鴨，我想去個地方，你總是給我推薦天安門故宮天壇（因為大多數人來北京就是吃烤鴨，就是去天安門的），這些我不都知道了嘛，還要你來推薦？另外，共性化的東西通常是可以被水軍刷的。
另一種是一種是個性化推薦，這個需要分析用戶的個體喜好，好的就是總是給我我喜歡的，不好的就是也許我的口味會隨我的年齡和環境所改變，而且，總是推薦符合用戶口味的，不能幫用戶發掘新鮮點。比如，我喜歡吃辣的，你總是給我推薦川菜和湘菜，時間長了我也會覺得煩的。
推薦有時並不是民主投票，而是專業用戶或資深玩家的建議；推薦有時並不是推薦流行的，而是推薦新鮮而我不知道的。你可以看到，不同的業務場景，不同的產品形態下的玩法可能完全不一樣，
另外，就算是對於同一個電子商務來說，書、手機和服裝的業務形態完全不一樣。我之前在Amazon做Demand Forecasting（用戶需求預測）——通過歷史數據來預測用戶未來的需求。
對於書、手機、家電這些東西，在Amazon里叫Hard Line的產品，你可以認為是「標品」（但也不一定），預測是比較準的，甚至可以預測到相關的產品屬性的需求。
但是地於服裝這樣的叫Soft Line的產品，Amazon幹了十多年都沒有辦法預測得很好，因為這類東西受到的干擾因素太多了，比如：用戶的對顏色款式的喜好，穿上去合不合身，愛人朋友喜不喜歡……這類的東西太容易變了，買得人多了反而會賣不好，所以根本沒法預測好，更別Stock/Vender Manager提出來的「預測某品牌的某種顏色的衣服或鞋子」。
對於需求的預測，我發現，長期在這個行業中打拚的人的預測是最準的，什麼機器學習都是浮雲。機器學習只有在你要面對的是成千上萬種不同商品和品類的時候才會有意義。
數據挖掘不是人工智慧，而且差得還太遠。不要覺得數據挖掘什麼事都能幹，找到一個合適的業務場景和產品形態，比什麼都重要。
數據的分析結果
我看到很多的玩大數據的，基本上乾的是數據統計的事，從多個不同的維度來統計數據的表現。最簡單最常見的統計就是像網站統計這樣的事。比如：PV是多少，UV是多少，來路是哪裡，瀏覽器、操作系統、地理、搜索引擎的分布，等等，等等。
嘮叨一句，千萬不要以為，你一天有十幾個T的日誌就是數據了，也不要以為你會用Hadoop/MapRece分析一下日誌，這就是數據挖掘了，說得難聽一點，你在做的只不過是一個統計的工作。那幾個T的Raw Data，基本上來說沒什麼意義，只能叫日誌，連數據都算不上，只有你統計出來的這些數據才是有點意義的，才能叫數據。
當一個用戶在面對著自己網店的數據的時候，比如：每千人有5個人下單，有65%的訪客是男的，18-24歲的人群有30%，等等。甚至你給出了，你打敗了40%同類型商家的這樣的數據。作為一個商戶，面對這些數據時，大多數人的表現是完全不知道自己能幹什麼？是把網站改得更男性一點，還是讓年輕人更喜歡一點？完全不知道所措。
只要你去看一看，你會發現，好些好些的數據分析出來的結果，看上去似乎不錯，但是其實完全不知道下一步該干什麼？
所以，我覺得，數據分析的結果並不僅僅只是把數據呈現出來，而更應該關注的是通過這些數據後面可以干什麼？如果看了數據分析的結果後並不知道可以干什麼，那麼這個數據分析是失敗的。
總結
綜上所述，下面是我覺得數據挖掘或機器學習最重要的東西：
1）數據的質量。分為數據的標准和數據的准確。數據中的雜音要盡量地排除掉。為了數據的質量，大量人肉的工作少不了。
2）數據的業務場景。我們不可能做所有場景下的來，所以，業務場景和產品形態很重要，我個人感覺業務場景越窄越好。
3）數據的分析結果，要讓人能看得懂，知道接下來要干什麼，而不是為了數據而數據。
搞數據挖掘的人很多，但成功的案例卻不多（相比起大量的嘗試來說），就目前而言，我似乎覺得目前的數據挖掘的技術是一種過渡技術，還在摸索階段。另外，好些數據挖掘的團隊搞得業務不業務，技術不技術的，為其中的技術人員感到惋惜……
不好意思，我只給出了問題，沒有建議，這也說明數據分析中有很多的機會……
最後，還要提的一個是「數據中的個人隱私問題」，這似乎就像那些有悖倫理的黑魔法一樣，你要成功就得把自己變得黑暗。是的，數據就像一個王座一樣，像征著一種權力和征服，但登上去的路途一樣令人膽顫。
以上是小編為大家分享的關於大數據挖掘中的三種角色的相關內容，更多信息可以關注環球青藤分享更多干貨
『柒』 大數據的核心 數據挖掘
大數據的核心：數據挖掘
大數據的核心：數據挖掘。從頭至尾我們都脫離不了數據挖掘。其實從大學到現在一直都接觸數據挖掘，但是我們不關心是什麼是數據挖掘，我們關心的是我們如何通過數據挖掘過程中找到我們需要的東西，而我們更關心的是這個過程是什麼？如何開始？
總結的過程也是一個學習的過程，通過有章節的整理對目前正在的學習的內容做規整。在這個過程中我們會從具體的項目實施中去談數據挖掘，中間會貫穿很多的概念，演算法，業務轉換，過程，建模等等。
我們列一下要談論的話題：
1、什麼是數據挖掘及為什麼要進行數據挖掘？
2、數據挖掘在營銷和CRM中的應用？
3、數據挖掘的過程
4、你應理解的統計學
5、數據描述與預測：剖析與預測建模
6、經典的數據挖掘技術
7、各類演算法
8、數據倉庫、OLAP、分析沙箱和數據挖掘
9、具體的案例分析
什麼是數據挖掘？
是知識發現、商業智能、預測分析還是預測建模。其實都可以歸為一類：數據挖掘是一項探測大量數據以發現有意義的模式（pattern）和規則（rule）的業務流程。
這里談到了發現模式與規則，其實就是一項業務流程，為業務服務。而我們要做就是讓業務做起來顯得更簡單，或直接幫助客戶如何提升業務。在大量的數據中找到有意義的模式和規則。在大量數據面前，數據的獲得不再是一個障礙，而是一個優勢。在現在很多的技術在大數據集上比在小數據集上的表現得更好——你可以用數據產生智慧，也可以用計算機來完成其最擅長的工作：提出問題並解決問題。模式和規則的定義：就是發現對業務有益的模式或規則。發現模式就意味著把保留活動的目標定位為最有可能流失的客戶。這就意味著優化客戶獲取資源，既考慮客戶數量上的短期效益，同時也考慮客戶價值的中期和長期收益。
而在上面的過程，最重要的一點就是：如何通過數據挖掘技術來維護與客戶之間的關系，這就是客戶關系管理，CRM。
專注於數據挖掘在營銷和客戶關系管理方面的應用——例如，為交叉銷售和向上銷售改進推薦，預測未來的用戶級別，建模客戶生存價值，根據用戶行為對客戶進行劃分，為訪問網站的客戶選擇最佳登錄頁面，確定適合列入營銷活動的候選者，以及預測哪些客戶處於停止使用軟體包、服務或葯物治療的風險中。
兩種關鍵技術：生存分析、統計演算法。在加上文本挖掘和主成分分析。
經營有方的小店自然地形成與客戶之間的學習關系。隨著時間的推移，他們對客戶的了解也會越來越多，從而可以利用這些知識為他們提供更好的服務。結果是：忠實的顧客和盈利的商店。
但是擁有數十萬或數百萬客戶的大公司，則不能奢望與每個客戶形成密切的私人關系。面臨這樣困境，他們必須要面對的是，學會充分利用所擁有的大量信息——幾乎是每次與客戶交互產生的數據。這就是如何將客戶數據轉換成客戶知識的分析技術。
數據挖掘是一項與業務流程交互的業務流程。數據挖掘以數據作為開始，通過分析來啟動或激勵行為，這些行為反過來又將創建更多需要數據挖掘的數據。
因此，對於那些充分利用數據來改善業務的公司來說，不應僅僅把數據挖掘看作是細枝末節。
相反，在業務策略上必須包含：1、數據收集。2、為長期利益分析數據。3、針對分析結果做出分析。
CRM（客戶關系管理系統）。在各行各業中，高瞻遠矚的公司的目標都是理解每個客戶，並通過利用這種理解，使得客戶與他們做生意更加容易。同樣要學習分析每個客戶的價值，清楚哪些客戶值得投資和努力來保留，哪些准許流失。把一個產品為中心的企業轉變成以客戶為中心的企業的代價超過了數據挖掘。假設數據挖掘的結果是像一個用戶推薦一個小首飾而不是一個小發明，但是如果經理的獎金取決於小發明的季度銷售量而不是小首飾的銷售量（即便後者更為有利可圖或者收獲長期盈利更多的客戶），那麼數據挖掘的結果就會被忽視，這就導致挖掘結果不能產生決策。
『捌』 大數據挖掘方法有哪些
謝邀。
大數據挖掘的方法：
神經網路方法
神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。
遺傳演算法
遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。
決策樹方法
決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。
粗集方法
粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點：不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單，易於操作。粗集處理的對象是類似二維關系表的信息表。
覆蓋正例排斥反例方法
它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子，到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去，相反則保留。按此思想循環所有正例種子，將得到正例的規則(選擇子的合取式)。
統計分析方法
在資料庫欄位項之間存在兩種關系：函數關系和相關關系，對它們的分析可採用統計學方法，即利用統計學原理對資料庫中的信息進行分析。可進行常用統計、回歸分析、相關分析、差異分析等。
模糊集方法
即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統的復雜性越高，模糊性越強，一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。
『玖』 大數據挖掘是指什麼
大數據挖掘是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的，但又是潛在有用的信息和知識的過程。數據挖掘通常與計算機科學有關，並經過統計分析、線上解析解決、情報檢索、機器學習演算法、專家系統和模式識別等諸多方式來實現上述目標。
『拾』 大數據中的「對數據進行質量評估」屬於數據挖掘過程中的哪一步的內容
數據質量評復價是指對數據質量進制行評估的方法和過程，常用的評價方法有演繹推算、內部驗證、與原始資料（或更高精度的獨立原始資料）對比、獨立抽樣檢查、多邊形疊加檢查、有效值檢查等。
其實就屬於第一步，就是數據清理，將原始的數據整理成格式有效的數據，排查掉無用不規則的數據