大數據挖招決策樹

1. 北大青鳥設計培訓：大數據挖掘是什麼

數據挖掘(DataMining)是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
數據挖掘對象根據信息存儲格式，北大青鳥南京計算機學院http://www.kmbdqn.cn/認為用於挖掘的對象有關系資料庫、面向對象資料庫、數據倉庫、文本數據源、多媒體資料庫、空間資料庫、時態資料庫、異質資料庫以及Internet等。
數據挖掘流程定義問題：清晰地定義出業務問題，確定數據挖掘的目的。
數據准備：數據准備包括：選擇數據_在大型資料庫和數據倉庫目標中提取數據挖掘的目標數據集;數據預處理_進行數據再加工，包括檢查數據的完整性及數據的一致性、去雜訊，填補丟失的域，刪除無效數據等。
數據挖掘：根據數據功能的類型和和數據的特點選擇相應的演算法，在凈化和轉換過的數據集上進行數據挖掘。
結果分慎謹檔析：對數據挖掘的結果進行解釋和評價，轉換成為能夠最終被用戶理解的知識。
數據挖掘分類直接數據挖掘：目標是利用可用的數據建立一個模型，這個模型對剩餘的數據，對一個特定的變數(可以理解成資料庫中表的屬性，即列)進行描述。
間接晌或數據挖掘：目標中沒有選出某一具體的變數，用模型進行描述;而是在所有的變數中建立起某種關系。
數據挖掘的方法神經網路方法神經網路由於本身良好的魯棒性、自組織自適應性、並行寬亂處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。
遺傳演算法遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。
遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。
決策樹方法決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。
它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。

2. 大數據挖掘方法有哪些

直接數據挖掘：目標是利用可用的數據建立一個模型，這個模型對剩餘的數據，對一個特定的變數(可以理解成資料庫中表的屬性，即列)進行描述。

間接數據挖掘：目標中沒有選出某一具體的變數，用模型進行描述;而是在所有的變數中建立起某種關系。

數據挖掘的方法

神經網路方法

神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。

遺傳演算法

遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。

決策樹方法

決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。

粗集方法

粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點：不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單，易於操作。粗集處理的對象是類似二維關系表的信息表。

覆蓋正例排斥反例方法

它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子，到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去，相反則保留。按此思想循環所有正例種子，將得到正例的規則(選擇子的合取式)。

統計分析方法

在資料庫欄位項之間存在兩種關系：函數關系和相關關系，對它們的分析可採用統計學方法，即利用統計學原理對資料庫中的信息進行分析。可進行常用統計、回歸分析、相關分析、差異分析等。

模糊集方法

即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統的復雜性越高，模糊性越強，一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。

數據挖掘任務

關聯分析

兩個或兩個以上變數的取值之間存在某種規律性，就稱為關聯。數據關聯是資料庫中存在的一類重要的、可被發現的知識。關聯分為簡單關聯、時序關聯和因果關聯。關聯分析的目的是找出資料庫中隱藏的關聯網。一般用支持度和可信度兩個閥值來度量關聯規則的相關性，還不斷引入興趣度、相關性等參數，使得所挖掘的規則更符合需求。

聚類分析

聚類是把數據按照相似性歸納成若干類別，同一類中的數據彼此相似，不同類中的數據相異。聚類分析可以建立宏觀的概念，發現數據的分布模式，以及可能的數據屬性之間的相互關系。

分類

分類就是找出一個類別的概念描述，它代表了這類數據的整體信息，即該類的內涵描述，並用這種描述來構造模型，一般用規則或決策樹模式表示。分類是利用訓練數據集通過一定的演算法而求得分類規則。分類可被用於規則描述和預測。

預測

預測是利用歷史數據找出變化規律，建立模型，並由此模型對未來數據的種類及特徵進行預測。預測關心的是精度和不確定性，通常用預測方差來度量。

時序模式

時序模式是指通過時間序列搜索出的重復發生概率較高的模式。與回歸一樣，它也是用己知的數據預測未來的值，但這些數據的區別是變數所處時間的不同。

偏差分析

在偏差中包括很多有用的知識，資料庫中的數據存在很多異常情況，發現資料庫中數據存在的異常情況是非常重要的。偏差檢驗的基本方法就是尋找觀察結果與參照之間的差別。

3. 什麼是決策樹有什麼優勢

決策樹(Decision Tree）是在已知各種情況發生概率的基礎上，通過構成決策樹來求取凈現值的期望值大於等仿悉孝於零的概率，評價項目風險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法。由於這種決策分支畫成圖形很像一棵樹的枝幹，故稱決策樹。在機器學習中，決策樹是一個預測模型，他代表的是對象屬性與對象值之間的一種映射關系。Entropy = 系統的凌亂程度，使用演算法ID3, C4.5和C5.0生成樹演算法使用熵。這一度量是基於信息學理論中熵的概念。
決策樹是一種樹形結構，其中每個內部節點表示一個屬性上的測試，每個分支代表一個測試輸出，每個葉節點代表一種類別。
分類樹（決策樹）是一種十分常陸搏用的分類方法。他是一種監管學習，所謂監管學習就是給定一堆樣本，每個樣本都有一組屬性和一個類別，這些類別是事先確定的，那麼通過學習得到一個分類器，這個分類器能夠對新出現的對象給出正確的分類。這樣的機器學習就被稱之為監督學習。

機器學習中，決策樹是一個預測模型；他代表的是對象屬性與對象值之間的一種映射關系。樹中每個節點表示某個對象，而每個分叉路徑則代表的某個可能的屬性值，而每個葉結點則對應從根節點到該葉節點所經歷的路徑所表示的對象的值。決策樹僅有單一輸出，若欲有復數輸出，可以建立獨立的決策樹以處理不同輸出。數據挖掘中決策樹是一種經常要用到的技術，可以用於分析數據，同樣也可以用來作預測。
從數據產生決策樹的機器學習技術叫做決策樹學習, 通俗說就是決策樹。
一個決策樹包含三種類型的節點：
決策節點：通常用矩形框來表示
機會節點：通常用圓圈來表示
終結點：通常用三角形來表示
決策樹學習也是資料探勘中一個普通的方法。在這里，每個決策樹都表述了一種樹型結構，它由它的分支來對該類型的對象依靠屬性備稿進行分類。每個決策樹可以依靠對源資料庫的分割進行數據測試。這個過程可以遞歸式的對樹進行修剪。 當不能再進行分割或一個單獨的類可以被應用於某一分支時，遞歸過程就完成了。另外，隨機森林分類器將許多決策樹結合起來以提升分類的正確率。
決策樹同時也可以依靠計算條件概率來構造。
決策樹如果依靠數學的計算方法可以取得更加理想的效果。 資料庫已如下所示：

(x, y) = (x1, x2, x3…, xk, y)
相關的變數 Y 表示我們嘗試去理解，分類或者更一般化的結果。 其他的變數x1, x2, x3 等則是幫助我們達到目的的變數。

4. 大數據挖掘的演算法有哪些

數據挖掘本質還是機器學習演算法
具體可以參見《數據挖掘十大常見演算法》
常用的就是：SVM，決策樹，樸素貝葉斯，邏輯斯蒂回歸等
主要解決分類和回歸問題

5. 大數據挖掘是什麼

數據挖掘(DataMining)是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

數據挖掘對象

根據信息存儲格式，北大青鳥昌平計算機學院認為用於挖掘的對象有關系資料庫、面向對象資料庫、數據倉庫、文本數據源、多媒體資料庫、空間資料庫、時態資料庫、異質資料庫以及Internet等。

數據挖掘流程

定義問題：清晰地定義出業務問題，確定數據挖掘的目的。

數據准備：數據准備包括：選擇數據_在大型資料庫和數據倉庫目標中提取數據挖掘的目標數據集;數據預處理_進行數據再加工，包括檢查數據的完整性及數據的一致性、去雜訊，填補丟失的域，刪除無效數據等。

數據挖掘：根據數據功能的類則明型和和數據的特點選擇相應的演算法，在凈化和轉換過的數據集上進行數據挖掘。

結果分析：對數據挖掘的結果進行解釋和評價，轉換成為能夠最終被用戶理解的知識。

數據挖掘分類

直接數據挖掘：目標是利用可用的數據建立一個模型，這個模型對剩餘的數據，對一個特定的變數(可以理解成資料庫中表的屬性，即列)進行描述。

間接數據挖掘：目標中沒有選出某一具體的變數，用模型進行描述;而是在所有的變數中建立起某種關系。

數據挖掘的方法

神經網路方法

神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。

遺傳演算法

遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。遺傳演算法具有的隱含並行性孫褲告、易於和其它模型結合等性質使得它純扮在數據挖掘中被加以應用。

決策樹方法

決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。

6. 數據挖掘-決策樹演算法

決策樹演算法是一種比較簡易的監督學習分類演算法，既然叫做決策樹，那麼首先他是一個樹形結構，簡單寫一下樹形結構（數據結構的時候學過不少了）。

樹狀結構是一個或多個節點的有限集合，在決策樹里，構成比較簡單，有如下幾種元素：

在決策樹中，每個葉子節點都有一個類標簽，非葉子節點包含對屬性的測試條件，用此進行分類。
所以個人理解，決策樹就是 對一些樣本，用樹形結構對樣本的特徵進行分支，分到葉子節點就能得到樣本最終的分類，而其中的非葉子節點和分支就是分類的條件，測試和預測分類就可以照著這些條件來走相應的路徑進行分類。

根據這個邏輯，很明顯決策樹的關鍵就是如何找出決策條件和什麼時候算作葉子節點即決策樹終止。

決策樹的核心是為不同類型的特徵提供表示決策條件和對應輸出的方法，特徵類型和劃分方法包括以下幾個：

注意，這些圖中的第二層都是分支，不是葉子節點。

如何合理的對特徵進行劃分，從而找到最優的決策模型呢？在這里需要引入信息熵的概念。

先來看熵的概念：

在數據集中，參考熵的定義，把信息熵描述為樣本中的不純度，熵越高，不純度越高，數據越混亂（越難區分分類）。

例如：要給（0，1）分類，熵是0，因為能明顯分類，而均衡分布的（0.5，0.5）熵比較高，因為難以劃分。

信息熵的計算公式為：
其中 代表信息熵。 是類的個數， 代表在 類時 發生的概率。
另外有一種Gini系數，也可以用來衡量樣本的不純度：
其中 代表Gini系數，一般用於決策樹的 CART演算法 。

舉個例子：

如果有上述樣本，那麼樣本中可以知道，能被分為0類的有3個，分為1類的也有3個，那麼信息熵為：
Gini系數為：
總共有6個數據，那麼其中0類3個，佔比就是3/6，同理1類。

我們再來計算一個分布比較一下：

信息熵為：
Gini系數為：

很明顯，因為第二個分布中，很明顯這些數偏向了其中一類，所以 純度更高 ，相對的信息熵和Gini系數較低。

有了上述的概念，很明顯如果我們稿芹姿有一組數據要進行分類，最快的建立決策樹的途徑就是讓其在每一層都讓這個樣本純度最大化，那麼就要引入信息增益的概念。

所謂增益，就是做了一次決策之後，樣本的純度提升了多少（不純度降低了多少），也就是比較決策之前的樣本不純度和決策之後的樣本不純度，差越大鍵絕，效果越好。
讓信息熵降低，每一層降低的越快越好。
度量這個信息熵差的方法如下：
其中 代表的就是信息熵（或者其他可以度量不純度的系數）的差， 是樣本(parent是決策之前， 是決策之後)的信息熵（或者其他可首兄以度量不純度的系數）， 為特徵值的個數， 是原樣本的記錄總數， 是與決策後的樣本相關聯的記錄個數。

當選擇信息熵作為樣本的不純度度量時，Δ就叫做信息增益 。

我們可以遍歷每一個特徵，看就哪個特徵決策時，產生的信息增益最大，就把他作為當前決策節點，之後在下一層繼續這個過程。

舉個例子：

如果我們的目標是判斷什麼情況下，銷量會比較高（受天氣，周末，促銷三個因素影響），根據上述的信息增益求法，我們首先應該找到根據哪個特徵來決策，以信息熵為例：

首先肯定是要求 ，也就是銷量這個特徵的信息熵：

接下來，就分別看三個特徵關於銷量的信息熵，先看天氣，天氣分為好和壞兩種，其中天氣為好的條件下，銷量為高的有11條，低的有6條；天氣壞時，銷量為高的有7條，銷量為低的有10條，並且天氣好的總共17條，天氣壞的總共17條。

分別計算天氣好和天氣壞時的信息熵，天氣好時：

根據公式 ，可以知道，N是34，而天氣特徵有2個值，則k=2，第一個值有17條可以關聯到決策後的節點，第二個值也是17條，則能得出計算：

再計算周末這個特徵，也只有兩個特徵值，一個是，一個否，其中是有14條，否有20條；周末為是的中有11條銷量是高，3條銷量低，以此類推有：


信息增益為：

另外可以得到是否有促銷的信息增益為0.127268。

可以看出，以周末為決策，可以得到最大的信息增益，因此根節點就可以用周末這個特徵進行分支：

注意再接下來一層的原樣本集，不是34個而是周末為「是」和「否」分別計算，為是的是14個，否的是20個。
這樣一層一層往下遞歸，直到判斷節點中的樣本是否都屬於一類，或者都有同一個特徵值，此時就不繼續往下分了，也就生成了葉子節點。

上述模型的決策樹分配如下：

需要注意的是，特徵是否出現需要在分支當中看，並不是整體互斥的，周末生成的兩個分支，一個需要用促銷來決策，一個需要用天氣，並不代表再接下來就沒有特徵可以分了，而是在促銷決策層下面可以再分天氣，另外一遍天氣決策下面可以再分促銷。

決策樹的模型比較容易解釋，看這個樹形圖就能很容易的說出分類的條件。

我們知道屬性有二元屬性、標稱屬性、序數屬性和連續屬性，其中二元、標稱和序數都是類似的，因為是離散的屬性，按照上述方式進行信息增益計算即可，而連續屬性與這三個不同。

對於連續的屬性，為了降低其時間復雜度，我們可以先將屬性內部排序，之後取相鄰節點的均值作為決策值，依次取每兩個相鄰的屬性值的均值，之後比較他們的不純度度量。

需要注意的是，連續屬性可能在決策樹中出現多次，而不是像離散的屬性一樣在一個分支中出現一次就不會再出現了。

用信息熵或者Gini系數等不純度度量有一個缺點，就是會傾向於將多分支的屬性優先分類——而往往這種屬性並不是特徵。

例如上面例子中的第一行序號，有34個不同的值，那麼信息熵一定很高，但是實際上它並沒有任何意義，因此我們需要規避這種情況，如何規避呢，有兩種方式：

公式如下：

其中k為劃分的總數，如果每個屬性值具有相同的記錄數，則 ，劃分信息等於 ，那麼如果某個屬性產生了大量劃分，則劃分信息很大，信息增益率低，就能規避這種情況了。

為了防止過擬合現象，往往會對決策樹做優化，一般是通過剪枝的方式，剪枝又分為預剪枝和後剪枝。

在構建決策樹時，設定各種各樣的條件如葉子節點的樣本數不大於多少就停止分支，樹的最大深度等，讓決策樹的層級變少以防止過擬合。
也就是在生成決策樹之前，設定了決策樹的條件。

後剪枝就是在最大決策樹生成之後，進行剪枝，按照自底向上的方式進行修剪，修剪的規則是，評估葉子節點和其父節點的代價函數，如果父節點的代價函數比較小，則去掉這個葉子節點。
這里引入的代價函數公式是：
其中 代表的是葉子節點中樣本個數， 代表的是該葉子節點上的不純度度量，把每個葉子節點的 加起來，和父節點的 比較，之後進行剪枝即可。

7. 大數據挖掘主要涉及哪些技術

1、數據科學與大數據技術
本科專業，簡稱數據科學或大數據。
2、大數據技術與應用回
高職院校專業。
相關專業名答稱：大數據管理與應用、大數據採集與應用等。
大數據專業強調交叉學科特點，以大數據分析為核心，以統計學、計算機科學和數學為三大基礎支撐性學科，培養面向多層次應用需求的復合型人才。

8. 大數據挖掘是什麼

數據挖掘(DataMining)是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

數據挖掘對象

根據信息存儲格式，北大青鳥沙河計算機學院認為用於挖掘的對象有關系資料庫、面向對象資料庫、數據倉庫、文本數據源、多媒體資料庫、空間資料庫、時態資料庫、異質資料庫以及Internet等。

數據挖掘流程

定義問題：清晰地定義出業務問題，確定數據挖掘的目的。

數據准備：數據准備包括：選擇數據_在大型資料庫和數據倉庫目標中提取數據挖掘的目標數據集;數據預處理_進行數據再加工，包括檢查數據的完整性及數據的一致性、去雜訊，填補丟失的域，刪除無效數據等。

數據挖掘：根據數據功能的類則明型和和數據的特點選擇相應的演算法，在凈化和轉換過的數據集上進行數據挖掘。

結果分析：對數據挖掘的結果進行解釋和評價，轉換成為能夠最終被用戶理解的知識。

數據挖掘分類

直接數據挖掘：目標是利用可用的數據建立一個模型，這個模型對剩餘的數據，對一個特定的變數(可以理解成資料庫中表的屬性，即列)進行描述。

間接數據挖掘：目標中沒有選出某一具體的變數，用模型進行描述;而是在所有的變數中建立起某種關系。

數據挖掘的方法

神經網路方法

神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。

遺傳演算法

遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。遺傳演算法具有的隱含並行性孫褲告、易於和其它模型結合等性質使得它純扮在數據挖掘中被加以應用。

決策樹方法

決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。

9. 數據挖掘技術主要包括哪些

數據挖掘技術主要有決策樹 、神經網路 、回歸 、關聯規則 、聚類 、貝葉斯分類6中。

1、決策樹技術。

決策樹是一種非常成熟的、普遍採用的數據挖掘技術。在決策樹里，所分析的數據樣本先是集成為一個樹根，然後經過層層分枝，最終形成若干個結點，每個結點代表一個結論。

2、神經網路技術。

神經網路是通過數學演算法來模仿人腦思維的，它是數據挖掘中機器學習的典型代表。神經網路是人腦的抽象計算模型，數據挖掘中的「神經網路」是由大量並行分布的微處理單元組成的，它有通過調整連接強度從經驗知識中進行學習的能力，並可以將這些知識進行應用。

3、回歸分析技術。

回歸分析包括線性回歸，這里主要是指多元線性回歸和邏輯斯蒂回歸。其中，在數據化運營中更多使用的是邏輯斯蒂回歸，它又包括響應預測、分類劃分等內容。

4、關聯規則技術。

關聯規則是在資料庫和數據挖掘領域中被發明並被廣泛研究的一種重要模型，關聯規則數據挖掘的主要目的是找出數據集中的頻繁模式，即多次重復出現的模式和並發關系，即同時出現的關系，頻繁和並發關系也稱作關聯。

5、聚類分析技術。

聚類分析有一個通俗的解釋和比喻，那就是「物以類聚，人以群分」。針對幾個特定的業務指標，可以將觀察對象的群體按照相似性和相異性進行不同群組的劃分。經過劃分後，每個群組內部各對象間的相似度會很高，而在不同群組之間的對象彼此間將具有很高的相異度。

6、貝葉斯分類技術。

貝葉斯分類方法是非常成熟的統計學分類方法，它主要用來預測類成員間關系的可能性。比如通過一個給定觀察值的相關屬性來判斷其屬於一個特定類別的概率。貝葉斯分類方法是基於貝葉斯定理的，樸素貝葉斯分類方法作為一種簡單貝葉斯分類演算法甚至可以跟決策樹和神經網路演算法相媲美。

10. 大數據挖掘方法有哪些

謝邀。

大數據挖掘的方法：

• 神經網路方法

神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。

• 遺傳演算法

遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。

• 決策樹方法

決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。

• 粗集方法

粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點：不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單，易於操作。粗集處理的對象是類似二維關系表的信息表。

• 覆蓋正例排斥反例方法

它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子，到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去，相反則保留。按此思想循環所有正例種子，將得到正例的規則(選擇子的合取式)。

• 統計分析方法

在資料庫欄位項之間存在兩種關系：函數關系和相關關系，對它們的分析可採用統計學方法，即利用統計學原理對資料庫中的信息進行分析。可進行常用統計、回歸分析、相關分析、差異分析等。

• 模糊集方法

即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統的復雜性越高，模糊性越強，一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。