❶ 大數據挖掘是什麼
數據挖掘(DataMining)是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
數據挖掘對象
根據信息存儲格式,北大青鳥昌平計算機學院認為用於挖掘的對象有關系資料庫、面向對象資料庫、數據倉庫、文本數據源、多媒體資料庫、空間資料庫、時態資料庫、異質資料庫以及Internet等。
數據挖掘流程
定義問題:清晰地定義出業務問題,確定數據挖掘的目的。
數據准備:數據准備包括:選擇數據_在大型資料庫和數據倉庫目標中提取數據挖掘的目標數據集;數據預處理_進行數據再加工,包括檢查數據的完整性及數據的一致性、去雜訊,填補丟失的域,刪除無效數據等。
數據挖掘:根據數據功能的類則明型和和數據的特點選擇相應的演算法,在凈化和轉換過的數據集上進行數據挖掘。
結果分析:對數據挖掘的結果進行解釋和評價,轉換成為能夠最終被用戶理解的知識。
數據挖掘分類
直接數據挖掘:目標是利用可用的數據建立一個模型,這個模型對剩餘的數據,對一個特定的變數(可以理解成資料庫中表的屬性,即列)進行描述。
間接數據挖掘:目標中沒有選出某一具體的變數,用模型進行描述;而是在所有的變數中建立起某種關系。
數據挖掘的方法
神經網路方法
神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題,因此近年來越來越受到人們的關注。
遺傳演算法
遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法,是一種仿生全局優化方法。遺傳演算法具有的隱含並行性孫褲告、易於和其它模型結合等性質使得它純扮在數據挖掘中被加以應用。
決策樹方法
決策樹是一種常用於預測模型的演算法,它通過將大量數據有目的分類,從中找到一些有價值的,潛在的信息。它的主要優點是描述簡單,分類速度快,特別適合大規模的數據處理。