數據挖掘如何入門

1. 數據挖掘需要哪些學科的基礎

需要學習以下四類學科基礎。

（1）學習數據挖掘基礎：資料庫理論、數學基礎（包括數理統計、概率、圖論等）、熟練掌握一種編程語言（java，python）、會使用數據挖掘工具軟體（weka、matlab、spss）。編程基礎。
（2）需要掌握一大一小兩門語言，大的指C++或者JAVA，小的指python或者shell腳本。
（3）需要掌握基本的資料庫語言。數學基礎：概率論，數理統計，線性代數，隨機過程，最優化理論。數據結構與演算法分析基礎
（4）掌握常見的數據結構以及操作（線性表，隊，列，字元串，樹，圖等），掌握常見的計算機演算法（排序演算法，查找演算法，動態規劃，遞歸等）。
建議：多敲代碼，多刷題。

關於數據挖掘的相關學習，推薦CDA數據師的相關課程，課程中安排了Sklearn/LightGBM、Tensorflow/PyTorch、Transformer等工具的應用實現，並根據輸出的結果分析業務需求，為進行合理、有效的策略優化提供數據支撐;課程涉及大量企業項目案例點擊預約免費試聽課。

2. 如何學好數據挖掘

很多人都開始關注數據分析，這是因為數據分析行業十分有前景。而學習數據分析需要學習數據挖掘，其中學習數據挖掘需要掌握很多的知識。我們在這篇文章中給大家介紹一下數據分析以及數據挖掘需要學習的知識，希望能夠給大家帶來幫助。
需要告訴大家的是，我們學習有關數據的知識的時候，一定離不開統計知識的學習，當然Excel、SPSS、R等是需要掌握的基本技能。如果我們做數據挖掘的話，就要重視數學知識，數據挖掘要從海量數據中發現規律，這就需要一定的數學知識，最基本的比如線性代數、高等代數、凸優化、概率論等。這些都是學習數據挖掘的基本功。
而數據挖掘中的樸素貝葉斯演算法需要概率方面的知識，SKM演算法需要高等代數或者區間論方面的知識。當然，我們可以直接套模型，R、Python這些工具有現成的演算法包，可以直接套用。但如果我們想深入學習這些演算法，最好去學習一些數學知識，也會讓我們以後的路走得更順暢。我們經常會用到的語言包括Python、Java、C或者C++，我自己用Python或者Java比較多。有時用MapRece寫程序，再用Hadoop或者Hyp來處理數據，如果用Python的話會和Spark相結合。
可以挖掘的數據類型有很多，具體就是關系資料庫、數據倉庫、事務資料庫、空間資料庫、時間序列資料庫、文本資料庫和多媒體資料庫。關系資料庫就是表的集合，每個表都賦予一個唯一的名字。每個表包含一組屬性列或欄位，並通常存放大量元組，比如記錄或行。關系中的每個元組代表一個被唯一關鍵字標識的對象，並被一組屬性值描述。
那麼什麼是數據倉庫呢？數據倉庫就是通過數據清理、數據變換、數據集成、數據裝入和定期數據刷新構造。數據挖掘的工作內容是什麼呢？數據分析更偏向統計分析，出圖，作報告比較多，做一些展示。數據挖掘更偏向於建模型。比如，我們做一個電商的數據分析。萬達電商的數據非常大，具體要做什麼需要項目組自己來定。電商數據能給我們的業務什麼樣的推進，我們從這一點入手去思考。我們從中挑出一部分進行用戶分群。
關於數據挖掘需要學習的知識我們就給大家介紹到這里了，相信大家看了這篇文章以後對數據挖掘有了一個新的看法。其實數據挖掘的學習並非一日兩日就能夠完成，只有我們堅持學習，我們才能夠有所收獲。

3. 求高手推薦學習數據挖掘的方法以及詳細的學習過程。

個人建議如下：
第一階段：掌握數據挖掘的基本概念和方法。先對數據挖掘有一版個概念的認識權，並掌握基本的演算法，如分類演算法、聚類演算法、協同過濾演算法等。
參考書：《數據挖掘概念和技術》（第三版）范明，孟小峰 譯著。
第二階段：掌握大數據時代下的數據挖掘和分布式處理演算法。現在已經進入大數據時代，傳統的數據挖掘演算法已經不適用於
參考書：《大數據：互聯網大規模數據挖掘和分布式處理》 王斌 譯著。
第三階段：使用Hadoop進行大數據挖掘。Hadoop裡面有一個Mahout組件，幾乎包括了所有的數據挖掘演算法，包括分類、聚類、關聯規則等。
參考書：Hadoop實戰（第二版）.陸嘉恆 著。
另外，數據挖掘是資料庫技術、人工智慧技術、機器學習技術、統計學習理論、數據可視化等一系列技術的綜合，所以，要想學好數據挖掘，這些技術也得懂的呀。
推薦入門時先看浙江大學王燦老師的數據挖掘課程，網上搜下。
期待與你一起學習數據挖掘，共同揭開數據之美。望採納。

4. 數據挖掘的入門概念

數據挖掘的入門概念
1 數據挖掘
數據挖掘(Data Mining，簡稱DM)，是指從大量的數據中，挖掘出未知的且有價值的信息和知識的過程。
2 機器學習 與 數據挖掘
與數據挖掘類似的有一個術語叫做」機器學習「，這兩個術語在本質上的區別不大，如果在書店分別購買兩本講數據挖掘和機器學習的書籍，書中大部分內容都是互相重復的。具體來說，小的區別如下：
機器學習：更側重於技術方面和各種演算法，一般提到機器學習就會想到語音識別，圖像視頻識別，機器翻譯，無人駕駛等等各種其他的模式識別，甚至於谷歌大腦等AI，這些東西的一個共同點就是極其復雜的演算法，所以說機器學習的核心就是各種精妙的演算法。
數據挖掘：更偏向於「數據」而非演算法，而且包括了很多數據的前期處理，用爬蟲爬取數據，然後做數據的清洗，數據的整合，數據有效性檢測，數據可視化(畫圖)等等，最後才是用一些統計的或者機器學習的演算法來抽取某些有用的「知識」。前期數據處理的工作比較多。
所以，數據挖掘的范疇要更廣泛一些。
3 數據挖掘所覆蓋的學科
數據挖掘是一門交叉學科，覆蓋了統計學、計算機程序設計、數學與演算法、資料庫、機器學習、市場營銷、數據可視化等領域的理論和實踐成果
4 數據挖掘的誤區
誤區一：演算法至上論。認為數據挖據是某些對大量數據操作的演算法，這些演算法能夠自動地發現新的知識。
誤區二：技術至上論。認為數據挖據必須需要非常高深的分析技能，需要精通高深的數據挖掘演算法，需要熟練程序開發設計。
這兩種認知都有一定的偏頗。實際上，數據挖掘本質上是人們處理商業問題的方法，通過適量的數據挖掘來獲得有價值的結果，技術在隨著大數據時代的來臨變得愈發重要，但是最好的數據挖掘工程師往往是那些熟悉和理解業務的人。
5 數據挖掘能解決什麼問題
商業上的問題多種多樣，例如：
「如何能降低用戶流失率?」
「某個用戶是否會響應本次營銷活動?「
"如何細分現有目標市場?"
「如何制定交叉銷售策略以提升銷售額?」
「如何預測未來銷量?」
從數據挖掘的角度看，都可以轉換為五類問題：
分類問題
聚類問題
回歸問題
關聯分析
推薦系統
5.1 分類問題
簡單來說，就是根據已經分好類的一推數據，分析每一類的潛在特徵建立分類模型。對於新數據，可以輸出新出具屬於每一類的概率。
比如主流郵箱都具備的垃圾郵件識別功能：一開始，正常郵件和垃圾郵件都是混合在一起的，如果我們手工去點擊哪些是垃圾郵件，逐漸的，垃圾郵件就會自動被識別放到垃圾文件夾。如果我們對於混在正常郵件中的垃圾持續進行判斷，系統的識別率就會越來越高。我們人工點擊判斷，相當於預先分類(兩類：垃圾郵件和非垃圾郵件)，系統就會自己學習兩類郵件的特徵建立模式，對於新郵件，會根據模式判斷屬於每個類別的可能性。

分類演算法示意
5.2 聚類問題
和分類演算法是不同概念，但是工作中業務人員經常誤用。 聚類的的目的也是把數據分類，但類別並不是預先定義的，演算法根據「物以類聚」的原則，判斷各條數據之間的相似性，相似的就歸為一類。
比如我有十萬消費者的信息數據，比如包括性別，年齡，收入，消費等，通過聚類的方法事可以把這些數據分成不同的群，理論上每群用戶內都是相似性較高的，就可以覆蓋分群用戶制定不同的策略

聚類演算法示意
5.3 回歸問題
回歸問題和分類問題有點類似，但是回歸問題中的因變數是一個數值，而分類問題，最終輸出的因變數是一個類別。簡單理解，就是定義一個因變數，在定義若干自變數，找到一個數學公式，描述自變數和因變數之間的關系。
比如，我們要研究房價(Y)，然後收集房子距離市中心的距離(X1)，面積(X2)，收集足夠多的房子的數據，就可以建立一個房價和距離、面積的方程式(例如Y=aX1+bX2)，這樣給出一個新的距離和面積數據，就可以預測這個房子的價格。

回歸問題示意
5.4 關聯分析
關聯分析主要就是指」購物籃分析「，很有名氣案例是【啤酒與尿布】的故事，」據說「這是一個真實的案例：沃爾瑪在分析銷售記錄時，發現啤酒和尿布經常一起被購買，於是他們調整了貨架，把兩者放在一起，結果真的提升了啤酒的銷量。後來還分析背後的原因，說是因為爸爸在給寶寶買尿布的時候，會順便給自己買點啤酒……
所以，關聯分析就是基於數據識別產品之間潛在的關聯，識別有可能頻繁發生的模式。
5.5 推薦系統
利用電子商務網站向客戶提供商品信息和建議，幫助用戶決定應該購買什麼產品，模擬銷售人員幫助客戶完成購買過程。也就是平時我們在瀏覽電商網站、視頻網站、新聞App中的"猜你喜歡"、「其他人也購買了XXX」等類似的功能。
5.6 數據挖掘的工作流程
數據挖掘的通用流程叫做CRISP-DM(Cross Instry Standard Process-Data Mining)數據挖掘方法論。

CRISP-DM
6.1 商業理解
商業理解階段主要完成對商業問題的界定，以及對企業內外部資源進行評估與組織，最終確定將企業的商業目標轉化為數據挖掘目標，並制定項目的方案
6.2 數據理解
了解企業目前數據現狀，提出數據需求，並盡可能多的收集數據。通過初步的數據探索，快速了解數據的質量
6.3 數據准備
在建立數據挖掘模型之前對數據做最後的准備工作，主要是把收集到的各部分數據關聯起來，形成一張最終數據寬表。這個階段其實是耗時最長的階段，一般會占據整個數據挖掘項目的70%左右的時間，包括數據導入、數據抽取、數據清洗、數據合並、新變數計算等工作。
6.4 模型構建
模型構建是數據挖掘工作的核心階段。主要包括准備模型的訓練集和驗證集，選擇並使用適當的建模技術和演算法，模型建立，模型效果對比等工作
6.5 模型評估
模型評估主要從兩個方面進行評價：
1)技術層面：
- 設計對照組進行比較。
- 根據常用的模型評估指標進行評價，如命中率、覆蓋率、提升度等
2)業務經驗：業務專家憑借業務經驗對數據挖掘結果進行評估
6.6 模型部署
將數據挖掘成果程序化，將模型寫成存儲過程固化到IT平台上，並持續觀察模型衰退變化，在發生模型衰退時，引入新的變數進行模型優化。

5. 學習數據挖掘需要那些基礎知識

入門推薦你看《機器學習實戰》，不需要你跑去學習演算法和數據結構，不需要解析幾何的知識，但是數理統計的基礎你必須要有，期望、方差、常用的幾種概率分布，尤其注意一下條件概率，因為樸素貝葉斯模型你一定要懂，線性代數至少你要明白矩陣乘法、行列式計算，再就是微積分知識，不然你看不懂所有基於梯度下降法的文獻，行業內用的比較多的是c++，java和python，推薦你用python，很多模型不需要你造輪子，python有相關的第三方模塊，很方便。

數據挖掘涉及的內容比較泛，機器學習、數據挖掘、人工智慧，但實際上這些知識大多是相通的，機器學習實戰這本書是我看的啟蒙書里很好的一本了，該有的都有，難度較小，有理論有實踐，可以較快的對各種知識有個大概的了解，但是想要長期在這個行業發展，還需要學習更多的知識，比如說提到回歸模型，你不僅僅要知道最小二乘法，你還要想到怎麼進行數據清洗、哪些數據需要清洗，怎麼規范數據，數據是否過多，要不要進行歸約和降維，採用哪種回歸模型，精確度大致要達到什麼水平，要不要考慮過擬合和欠擬合，要不要進行交叉驗證，幾折交叉驗證效果好，如果回歸模型不適用，有哪些備選方案。比如說決策樹模型，書上簡單的講了個if-then就完了，按照什麼規則生成樹，怎麼分層，要不要剪枝，最終的效果怎麼樣，造成誤差的原因是模型太復雜還是太簡單，怎麼綜合其他模型對決策樹進行改進，數據的聚類方法用k均值還是DBSCAN，需要對數據進行分類的時候要考慮數據量大不大，SVM還是神經網路，數據量計算機吃不吃得消，一次吃不消該怎麼做，等你對這些有了大致的了解之後，好好看看《統計學習方法》這本書，深入地了解一下理論部分，看一看核心部分的數學模型，看一看如何演算法實現，著重理解一下拉格朗日微分法和拉格朗日對偶，解決等式約束和不等式約束很有用，這個也是使用智能演算法嘗試解決NP完全問題的一個結合點。

除了看書以外，其他時間全部用在學習編程上，python常用的numpy、matplotlib、scipy、sklearn、nltk這些包你都要大致了解怎麼用，推薦你看看圖靈程序設計叢書里的《python學習手冊》《python自然語言處理》《python科學計算》，至少要知道怎麼定義類、方法、屬性，常用模塊里有哪些好用的方法，常見的異常怎麼排除，其他的在有時間的時候隨用隨學，至於演算法和數據結構，有時間的話看看《演算法導論》，肯定有所收獲。

至於說書單就上豆瓣搜一搜，評分高的一般都比較靠譜，英文版的也比較靠譜