㈠ 大數據挖掘方法有哪些
直接數據挖掘:目標是利用可用的數據建立一個模型,這個模型對剩餘的數據,對一個特定的變數(可以理解成資料庫中表的屬性,即列)進行描述。
間接數據挖掘:目標中沒有選出某一具體的變數,用模型進行描述;而是在所有的變數中建立起某種關系。
數據挖掘的方法
神經網路方法
神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題,因此近年來越來越受到人們的關注。
遺傳演算法
遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法,是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。
決策樹方法
決策樹是一種常用於預測模型的演算法,它通過將大量數據有目的分類,從中找到一些有價值的,潛在的信息。它的主要優點是描述簡單,分類速度快,特別適合大規模的數據處理。
粗集方法
粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點:不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單,易於操作。粗集處理的對象是類似二維關系表的信息表。
覆蓋正例排斥反例方法
它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子,到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去,相反則保留。按此思想循環所有正例種子,將得到正例的規則(選擇子的合取式)。
統計分析方法
在資料庫欄位項之間存在兩種關系:函數關系和相關關系,對它們的分析可採用統計學方法,即利用統計學原理對資料庫中的信息進行分析。可進行常用統計、回歸分析、相關分析、差異分析等。
模糊集方法
即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統的復雜性越高,模糊性越強,一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。
數據挖掘任務
關聯分析
兩個或兩個以上變數的取值之間存在某種規律性,就稱為關聯。數據關聯是資料庫中存在的一類重要的、可被發現的知識。關聯分為簡單關聯、時序關聯和因果關聯。關聯分析的目的是找出資料庫中隱藏的關聯網。一般用支持度和可信度兩個閥值來度量關聯規則的相關性,還不斷引入興趣度、相關性等參數,使得所挖掘的規則更符合需求。
聚類分析
聚類是把數據按照相似性歸納成若干類別,同一類中的數據彼此相似,不同類中的數據相異。聚類分析可以建立宏觀的概念,發現數據的分布模式,以及可能的數據屬性之間的相互關系。
分類
分類就是找出一個類別的概念描述,它代表了這類數據的整體信息,即該類的內涵描述,並用這種描述來構造模型,一般用規則或決策樹模式表示。分類是利用訓練數據集通過一定的演算法而求得分類規則。分類可被用於規則描述和預測。
預測
預測是利用歷史數據找出變化規律,建立模型,並由此模型對未來數據的種類及特徵進行預測。預測關心的是精度和不確定性,通常用預測方差來度量。
時序模式
時序模式是指通過時間序列搜索出的重復發生概率較高的模式。與回歸一樣,它也是用己知的數據預測未來的值,但這些數據的區別是變數所處時間的不同。
偏差分析
在偏差中包括很多有用的知識,資料庫中的數據存在很多異常情況,發現資料庫中數據存在的異常情況是非常重要的。偏差檢驗的基本方法就是尋找觀察結果與參照之間的差別。
㈡ 大數據時代的數據怎麼挖掘
3月13日下午,南京郵電大學計算機學院、軟體學院院長、教授李濤在CIO時代微講座欄目作了題為《大數據時代的數據挖掘》的主題分享,深度詮釋了大數據及大數據時代下的數據挖掘。
眾所周知,大數據時代的大數據挖掘已成為各行各業的一大熱點。
一、數據挖掘
在大數據時代,數據的產生和收集是基礎,數據挖掘是關鍵,數據挖掘可以說是大數據最關鍵也是最基本的工作。通常而言,數據挖掘也稱為DataMining,或知識發現Knowledge Discovery from Data,泛指從大量數據中挖掘出隱含的、先前未知但潛在的有用信息和模式的一個工程化和系統化的過程。
不同的學者對數據挖掘有著不同的理解,但個人認為,數據挖掘的特性主要有以下四個方面:
1.應用性(A Combination of Theory and Application):數據挖掘是理論演算法和應用實踐的完美結合。數據挖掘源於實際生產生活中應用的需求,挖掘的數據來自於具體應用,同時通過數據挖掘發現的知識又要運用到實踐中去,輔助實際決策。所以,數據挖掘來自於應用實踐,同時也服務於應用實踐,數據是根本,數據挖掘應以數據為導向,其中涉及到演算法的設計與開發都需考慮到實際應用的需求,對問題進行抽象和泛化,將好的演算法應用於實際中,並在實際中得到檢驗。
2.工程性(An Engineering Process):數據挖掘是一個由多個步驟組成的工程化過程。數據挖掘的應用特性決定了數據挖掘不僅僅是演算法分析和應用,而是一個包含數據准備和管理、數據預處理和轉換、挖掘演算法開發和應用、結果展示和驗證以及知識積累和使用的完整過程。而且在實際應用中,典型的數據挖掘過程還是一個交互和循環的過程。
3.集合性(A Collection of Functionalities):數據挖掘是多種功能的集合。常用的數據挖掘功能包括數據探索分析、關聯規則挖掘、時間序列模式挖掘、分類預測、聚類分析、異常檢測、數據可視化和鏈接分析等。一個具體的應用案例往往涉及多個不同的功能。不同的功能通常有不同的理論和技術基礎,而且每一個功能都有不同的演算法支撐。
4.交叉性(An Interdisciplinary Field):數據挖掘是一門交叉學科,它利用了來自統計分析、模式識別、機器學習、人工智慧、信息檢索、資料庫等諸多不同領域的研究成果和學術思想。同時一些其他領域如隨機演算法、資訊理論、可視化、分布式計算和最優化也對數據挖掘的發展起到重要的作用。數據挖掘與這些相關領域的區別可以由前面提到的數據挖掘的3個特性來總結,最重要的是它更側重於應用。
綜上所述,應用性是數據挖掘的一個重要特性,是其區別於其他學科的關鍵,同時,其應用特性與其他特性相輔相成,這些特性在一定程度上決定了數據挖掘的研究與發展,同時,也為如何學習和掌握數據挖掘提出了指導性意見。如從研究發展來看,實際應用的需求是數據挖掘領域很多方法提出和發展的根源。從最開始的顧客交易數據分析(market basket analysis)、多媒體數據挖掘(multimedia data mining)、隱私保護數據挖掘(privacy-preserving data mining)到文本數據挖掘(text mining)和Web挖掘(Web mining),再到社交媒體挖掘(social media mining)都是由應用推動的。工程性和集合性決定了數據挖掘研究內容和方向的廣泛性。其中,工程性使得整個研究過程里的不同步驟都屬於數據挖掘的研究范疇。而集合性使得數據挖掘有多種不同的功能,而如何將多種功能聯系和結合起來,從一定程度上影響了數據挖掘研究方法的發展。比如,20世紀90年代中期,數據挖掘的研究主要集中在關聯規則和時間序列模式的挖掘。到20世紀90年代末,研究人員開始研究基於關聯規則和時間序列模式的分類演算法(如classification based on association),將兩種不同的數據挖掘功能有機地結合起來。21世紀初,一個研究的熱點是半監督學習(semi-supervised learning)和半監督聚類(semi-supervised clustering),也是將分類和聚類這兩種功能有機結合起來。近年來的一些其他研究方向如子空間聚類(subspace clustering)(特徵抽取和聚類的結合)和圖分類(graph classification)(圖挖掘和分類的結合)也是將多種功能聯系和結合在一起。最後,交叉性導致了研究思路和方法設計的多樣化。
前面提到的是數據挖掘的特性對研究發展及研究方法的影響,另外,數據挖掘的這些特性對如何學習和掌握數據挖掘提出了指導性的意見,對培養研究生、本科生均有一些指導意見,如應用性在指導數據挖掘時,應熟悉應用的業務和需求,需求才是數據挖掘的目的,業務和演算法、技術的緊密結合非常重要,了解業務、把握需求才能有針對性地對數據進行分析,挖掘其價值。因此,在實際應用中需要的是一種既懂業務,又懂數據挖掘演算法的人才。工程性決定了要掌握數據挖掘需有一定的工程能力,一個好的數據額挖掘人員首先是一名工程師,有很強大的處理大規模數據和開發原型系統的能力,這相當於在培養數據挖掘工程師時,對數據的處理能力和編程能力很重要。集合性使得在具體應用數據挖掘時,要做好底層不同功能和多種演算法積累。交叉性決定了在學習數據挖掘時要主動了解和學習相關領域的思想和技術。
因此,這些特性均是數據挖掘的特點,通過這四個特性可總結和學習數據挖掘。
二、大數據的特徵
大數據(bigdata)一詞經常被用以描述和指代信息爆炸時代產生的海量信息。研究大數據的意義在於發現和理解信息內容及信息與信息之間的聯系。研究大數據首先要理清和了解大數據的特點及基本概念,進而理解和認識大數據。
研究大數據首先要理解大數據的特徵和基本概念。業界普遍認為,大數據具有標準的「4V」特徵:
1.Volume(大量):數據體量巨大,從TB級別躍升到PB級別。
2.Variety(多樣):數據類型繁多,如網路日誌、視頻、圖片、地理位置信息等。
3.Velocity(高速):處理速度快,實時分析,這也是和傳統的數據挖掘技術有著本質的不同。
4.Value(價值):價值密度低,蘊含有效價值高,合理利用低密度價值的數據並對其進行正確、准確的分析,將會帶來巨大的商業和社會價值。
上述「4V」特點描述了大數據與以往部分抽樣的「小數據」的主要區別。然而,實踐是大數據的最終價值體現的唯一途徑。從實際應用和大數據處理的復雜性看,大數據還具有如下新的「4V」特點:
5.Variability(變化):在不同的場景、不同的研究目標下數據的結構和意義可能會發生變化,因此,在實際研究中要考慮具體的上下文場景(Context)。
6.Veracity(真實性):獲取真實、可靠的數據是保證分析結果准確、有效的前提。只有真實而准確的數據才能獲取真正有意義的結果。
7.Volatility(波動性)/Variance(差異):由於數據本身含有噪音及分析流程的不規范性,導致採用不同的演算法或不同分析過程與手段會得到不穩定的分析結果。
8.Visualization(可視化):在大數據環境下,通過數據可視化可以更加直觀地闡釋數據的意義,幫助理解數據,解釋結果。
綜上所述,以上「8V」特徵在大數據分析與數據挖掘中具有很強的指導意義。
三、大數據時代下的數據挖掘
在大數據時代,數據挖掘需考慮以下四個問題:
大數據挖掘的核心和本質是應用、演算法、數據和平台4個要素的有機結合。
因為數據挖掘是應用驅動的,來源於實踐,海量數據產生於應用之中。需用具體的應用數據作為驅動,以演算法、工具和平台作為支撐,最終將發現的知識和信息應用到實踐中去,從而提供量化的、合理的、可行的、且能產生巨大價值的信息。
挖掘大數據中隱含的有用信息需設計和開發相應的數據挖掘和學習演算法。演算法的設計和開發需以具體的應用數據作為驅動,同時在實際問題中得到應用和驗證,而演算法的實現和應用需要高效的處理平台,這個處理平台可以解決波動性問題。高效的處理平台需要有效分析海量數據,及時對多元數據進行集成,同時有力支持數據化對演算法及數據可視化的執行,並對數據分析的流程進行規范。
總之,應用、演算法、數據、平台這四個方面相結合的思想,是對大數據時代的數據挖掘理解與認識的綜合提煉,體現了大數據時代數據挖掘的本質與核心。這四個方面也是對相應研究方面的集成和架構,這四個架構具體從以下四個層面展開:
應用層(Application):關心的是數據的收集與演算法驗證,關鍵問題是理解與應用相關的語義和領域知識。
數據層(Data):數據的管理、存儲、訪問與安全,關心的是如何進行高效的數據使用。
演算法層(Algorithm):主要是數據挖掘、機器學習、近似演算法等演算法的設計與實現。
平台層(Infrastructure):數據的訪問和計算,計算平台處理分布式大規模的數據。
綜上所述,數據挖掘的演算法分為多個層次,在不同的層面有不同的研究內容,可以看到目前在做數據挖掘時的主要研究方向,如利用數據融合技術預處理稀疏、異構、不確定、不完整以及多來源數據;挖掘復雜動態變化的數據;測試通過局部學習和模型融合所得到的全局知識,並反饋相關信息給預處理階段;對數據並行分布化,達到有效使用的目的。
四、大數據挖掘系統的開發
1.背景目標
大數據時代的來臨使得數據的規模和復雜性都出現爆炸式的增長,促使不同應用領域的數據分析人員利用數據挖掘技術對數據進行分析。在應用領域中,如醫療保健、高端製造、金融等,一個典型的數據挖掘任務往往需要復雜的子任務配置,整合多種不同類型的挖掘演算法以及在分布式計算環境中高效運行。因此,在大數據時代進行數據挖掘應用的一個當務之急是要開發和建立計算平台和工具,支持應用領域的數據分析人員能夠有效地執行數據分析任務。
之前提到一個數據挖掘有多種任務、多種功能及不同的挖掘演算法,同時,需要一個高效的平台。因此,大數據時代的數據挖掘和應用的當務之急,便是開發和建立計算平台和工具,支持應用領域的數據分析人員能夠有效地執行數據分析任務。
2.相關產品
現有的數據挖掘工具
有Weka、SPSS和SQLServer,它們提供了友好的界面,方便用戶進行分析,然而這些工具並不適合進行大規模的數據分析,同時,在使用這些工具時用戶很難添加新的演算法程序。
流行的數據挖掘演算法庫
如Mahout、MLC++和MILK,這些演算法庫提供了大量的數據挖掘演算法。但這些演算法庫需要有高級編程技能才能進行任務配置和演算法集成。
最近出現的一些集成的數據挖掘產品
如Radoop和BC-PDM,它們提供友好的用戶界面來快速配置數據挖掘任務。但這些產品是基於Hadoop框架的,對非Hadoop演算法程序的支持非常有限。沒有明確地解決在多用戶和多任務情況下的資源分配。
3.FIU-Miner
為解決現有工具和產品在大數據挖掘中的局限性,我們團隊開發了一個新的平台——FIU-Miner,它代表了A Fast,Integrated,and User-Friendly System for Data Miningin Distributed Environment。它是一個用戶友好並支持在分布式環境中進行高效率計算和快速集成的數據挖掘系統。與現有數據挖掘平台相比,FIU-Miner提供了一組新的功能,能夠幫助數據分析人員方便並有效地開展各項復雜的數據挖掘任務。
與傳統的數據挖掘平台相比,它提供了一些新的功能,主要有以下幾個方面:
A.用戶友好、人性化、快速的數據挖掘任務配置。基於「軟體即服務」這一模式,FIU-Miner隱藏了與數據分析任務無關的低端細節。通過FIU-Miner提供的人性化用戶界面,用戶可以通過將現有演算法直接組裝成工作流,輕松完成一個復雜數據挖掘問題的任務配置,而不需要編寫任何代碼。
B.靈活的多語言程序集成。允許用戶將目前最先進的數據挖掘演算法直接導入系統演算法庫中,以此對分析工具集合進行擴充和管理。同時,由於FIU-Miner能夠正確地將任務分配到有合適運行環境的計算節點上,所以對這些導入的演算法沒有實現語言的限制。
C.異構環境中有效的資源管理。FIU-Miner支持在異構的計算環境中(包括圖形工作站、單個計算機、和伺服器等)運行數據挖掘任務。FIU-Miner綜合考慮各種因素(包括演算法實現、伺服器負載平衡和數據位置)來優化計算資源的利用率。
D.有效的程序調度和執行。
應用架構上包括用戶界面層、任務和系統管理層、邏輯資源層、異構的物理資源層。這種分層架構充分考慮了海量數據的分布式存儲、不同數據挖掘演算法的集成、多重任務的配置及系統用戶的交付功能。一個典型的數據挖掘任務在應用之中需要復雜的主任務配置,整合多種不同類型的挖掘演算法。因此,開發和建立這樣的計算平台和工具,支持應用領域的數據分析人員進行有效的分析是大數據挖掘中的一個重要任務。
FIU-Miner系統用在了不同方面:如高端製造業、倉庫智能管理、空間數據處理等,TerraFly GeoCloud是建立在TerraFly系統之上的、支持多種在線空間數據分析的一個平台。提供了一種類SQL語句的空間數據查詢與挖掘語言MapQL。它不但支持類SQL語句,更重要的是可根據用戶的不同要求,進行空間數據挖掘,渲染和畫圖查詢得到空間數據。通過構建空間數據分析的工作流來優化分析流程,提高分析效率。
製造業是指大規模地把原材料加工成成品的工業生產過程。高端製造業是指製造業中新出現的具有高技術含量、高附加值、強競爭力的產業。典型的高端製造業包括電子半導體生產、精密儀器製造、生物制葯等。這些製造領域往往涉及嚴密的工程設計、復雜的裝配生產線、大量的控制加工設備與工藝參數、精確的過程式控制制和材料的嚴格規范。產量和品質極大地依賴流程管控和優化決策。因此,製造企業不遺餘力地採用各種措施優化生產流程、調優控制參數、提高產品品質和產量,從而提高企業的競爭力。
在空間數據處理方面,TerraFly GeoCloud對多種在線空間數據分析。對傳統數據分析而言,其難點在於MapQL語句比較難寫,任務之間的關系比較復雜,順序執行之間空間數據分許效率較低。而FIU-Miner可有效解決以上三個難點。
總結而言,大數據的復雜特徵對數據挖掘在理論和演算法研究方面提出了新的要求和挑戰。大數據是現象,核心是挖掘數據中蘊含的潛在信息,並使它們發揮價值。數據挖掘是理論技術和實際應用的完美結合。數據挖掘是理論和實踐相結合的一個例子。
㈢ 如何利用大數據來深度挖掘互聯網里的潛在用戶
大數據即巨量數據的集合,互聯網、物聯網、穿戴設備等等,在這個互聯網時代,人們留下的行為數據無時無刻不被記錄,造就了巨量的數據,進而出現了大數據分析挖掘等崗位的出現。通過對大數據的分析挖掘,可以發現歷史規律以及對未來的預測,這也是大數據分析的核心目標。
那麼如果利用大數據來深度挖掘互聯網里的潛在用戶呢?下面從業務邏輯流程上來介紹。
1、潛在目標用戶畫像
首先你需要對你的潛在用戶群進行特徵分析,包含:用戶群主要在哪些渠道活躍、共同特徵(喜好、職業、收入、消費力等)有哪些等,通過對用戶畫像,能夠清晰的了解你所要挖掘的潛在用戶群的一些特徵及活動規律,從而為挖掘模型提供數據來源及條件支撐。
例如需要挖掘裝修的潛在用戶,他們的活躍渠道主要在各大家裝網站、家居網、裝修設計網等與房子有關的網站或app,一般這類用戶都會提前在這些網站/app瀏覽做准備。
2、數據採集
在明確了潛在用戶活躍渠道後,可以針對性的採集數據,數據採集後需要對數據做清洗、轉換、載入,將一些無用的數據提前篩選,保證數據的質量。
3、數據建模
這個階段是非常重要的,通過數據的建模去分析出潛在目標用戶,建模是一件非常復雜的工作,需要將用戶的行為數據、畫像數據進行拆分、合並、關聯,從而建立一套或多套數據模型。
還以裝修為例:
(1)消費能力模型,我們可以根據用戶瀏覽傢具的價格、以往消費歷史紀錄、收入等對用戶進行消費能力分析;
(2)優質客戶分析模型,可以根據用戶瀏覽次數、停留時長、購買記錄、信譽度等數據進行分析,從而得出用戶裝修的迫切程度,可以分為高、中、低三個等級。
同時還可以加入用戶的所在區域、小區等維度進行分析(根據具體需要),將模型細分,最後可以通過各個模型關聯碰撞,組合成多種模型,如消費能力強且馬上要裝修的潛在用戶、消費能力強不太迫切要求裝修的潛在用戶等等,這樣可以實現差異化、精準化的運營。(例子舉的很簡單,事實上真正做起來還是很復雜的,各方面因素都要考慮到)
4、開發驗證
數據建模完成後,就需要研發完成並運用到實戰當中,去檢驗數據模型的准確性到底如何,根凳遲山據結果去對模型做調整。
大數據分析本來就是一項對未來將要發生棗中什麼事做的預測的工作,這種不確定性的預測隨著社會發展、時間、地點、旦枯環境、政策等變化而不斷變化,所以我們在做分析挖掘時,需要快速不斷地試錯去調整,從而達到一個比較准確的分析結果。
㈣ 大數據,數據分析和數據挖掘的區別
數據分析與數據挖掘的目的不一樣,數據分析是有明確的分析群體,就是對群體進行各個維度的拆、分、組合,來找到問題的所在,而數據挖掘的目標群體是不確定的,需要我們更多是是從數據的內在聯繫上去分析,從而結合業務、用戶、數據進行更多的洞察解讀。
數據分析與數據挖掘的思考的方式不同,一般來講,數據分析是根據客觀的數據進行不斷的驗證和假設,而數據挖掘是沒有假設的,但你也要根據模型的輸出給出你評判的標准。
我們經常做分析的時候,數據分析需要的思維性更強一些,更多是運用結構化、MECE的思考方式,類似程序中的IF else
而數據挖掘大多數是大而全,多而精,數據越多模型越可能精確,變數越多,數據之間的關系越明確,什麼變數都要,先從模型的意義上選變數(大而全,多而精),之後根據變數的相關系程度、替代關系、重要性等幾個方面去篩選,最後全扔到模型裡面,最後從模型的參數和解讀的意義來判斷這種方式合不合理。
大數據感覺並不是數據量大,也不是數據復雜,這些都可以用工具和技術去處理,而是它可以做到千人千面,而且是實時判斷規則。
例如定向廣告的推送,就是大數據,它根據你以往的瀏覽行為,可以准確的給你推相關的信息,基本做到了你一個人就是一個資料庫,而不是一條數據。但我們所作的數據分析更多是針對群體的,而非針對每個個人。
所以大數據時代也顯露出了各類問題,數據的隱私、數據殺熟、數據孤島等,這也許就是我們目前看到大數據分析更看重的是技術、手段的原因。
㈤ 大數據挖掘常用的方法有哪些
1. Analytic Visualizations(可視化分析)
不管是對數據分析專家還是普通用戶,數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據,讓數據自己說話,讓觀眾聽到結果。
2. Data Mining Algorithms(數據挖掘演算法)
可視化是給人看的,數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部,挖掘價值。這些演算法不僅要處理大數據的量,也要處理大數據的速度。
3. Predictive Analytic Capabilities(預測性分析能力)
數據挖掘可以讓分析員更好的理解數據,而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。
4. Semantic Engines(語義引擎)
由於非結構化數據的多樣性帶來了數據分析的新的挑戰,需要一系列的工具去解析,提取,分析數據。語義引擎需要被設計成能夠從「文檔」中智能提取信息。
5. Data Quality and Master Data Management(數據質量和數據管理)
數據質量和數據管理是一些管理方面的最佳實踐。通過標准化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。
㈥ 大數據時代空間數據挖掘的認識及其思考
引言
空間數據挖掘(Spatial Data Mining,SDM)即找出開始並不知道但是卻隱藏在空間數據中潛在的、有價值的規則的過程。具體來說,空間數據挖掘就是在海量空間數據集中,結合確定集、模糊集、仿生學等理論,利用人工智慧、模式識別等科學技術,提取出令人相信的、潛在有用的知識,發現空間數據集背後隱藏的規律、聯系,為空間決策提供理論技術上的依據[1]。
1.空間數據挖掘的一般步驟
空間數據挖掘系統大致可以分為以下步驟:
(1)空間數據准備:選擇合適的多種數據來源,包括地圖數據、影像數據、地形數據、屬性數據等。
(2)空間數據預處理和特徵提取:數據預處理目的是去除數據中的雜訊,包括對數據的清洗、數據的轉換、數據的集成等。特徵提取是剔除掉冗餘或不相關的特徵並將特徵轉化為適合數據挖掘的新特徵。
(3)空間數據挖掘和知識評估:採用空間數據挖掘技術對空間數據進行分析處理和預測,從而發現數據背後的某種聯系。然後結合具體的領域知識進行評估,看是否達到預期效果。
2.空間數據挖掘的方法研究
空間數據挖掘是一門綜合型的交叉學科,結合了計算機科學、統計學、地理學等領域的很多特性,產生了大量處理空間數據的挖掘方法。
2.1 空間關聯規則
關聯規則挖掘是尋找數據項之間的聯系,表達式形式是X→Y,其中X與Y是兩種不相交的數據項集,即X∩Y=?覫。KOPERSKI K等人將關聯規則與空間資料庫相結合,提出了空間關聯規則挖掘[2]。空間關聯規則將數據項替換為了空間謂詞,一般表達形式如下:
A1∧A2∧…∧An→B1∧B2∧…∧Bm(3)
令A=(A1,A2,…,An),B=(B1,B2,…,Bm),A和B分別表示Ai和Bj的謂詞集合,A和B可以是空間謂詞或非空間謂詞,但是必須至少包含一個空間謂詞且A∩B=?覫。SHEKHAR S和HUANG Y針對空間關聯規則的特點提出了把關聯規則的思想泛化成空間索引點集的空間同位規則的概念,在不違背空間相關性的同時用鄰域替換掉了事務[3]。時空關聯不僅涉及事件在空間中的關聯,還考慮了空間位置和時間序列因素。國內的柴思躍、蘇奮振和周成虎提出了基於周期表的時空關聯規則挖掘方法[4]。
2.2 空間聚類
空間聚類分析是普通聚類分析的擴展,不能完全按照處理普通數據的聚類分析方法來處理空間數據。由於存在地理學第一定律,即空間對象之間都存在一定的相關性,因此在空間聚類分析中,對於簇內的定義,要考慮空間自相關這一因素。通過對空間數據進行自相關分析,可判斷對象之間是否存在空間相關性,從而可合理判斷出對象是否可以分為一簇。
基本的聚類挖掘演算法有:
(1)劃分聚類演算法:存在n個數據對象,對於給定k個分組(k≤n),將n個對象通過基於一定目標劃分規則,不停迭代、優化,直到將這n個對象分配到k個分組中,使得每組內部對象相似度大於組之間相似度。
(2)層次聚類演算法:通過將數據不停地拆分與重組,最終把數據轉為一棵符合一定標準的具有層次結構的聚類樹。
(3)密度聚類演算法:用低密度的區域對數據對象進行分割,最終將數據對象聚類成為若干高密度的區域。
(4)圖聚類演算法:用空間結點表示每個數據對象,然後基於一定標准形成若乾子圖,最後把所有子圖聚類成一個包含所有空間對象的整圖,子圖則代表一個個空間簇。
(5)網格聚類演算法:把空間區域分割成具有多重解析度的和有網格結構特性的若干網格單元,在網格單元上對數據進行聚類。
(6)模型聚類演算法:藉助一定的數學模型,使用最佳擬合數據的數學模型來對數據進行聚類,每一個簇用一個概率分布表示。
僅採用一種演算法通常無法達到令人滿意的預期結果,王家耀、張雪萍、周海燕將遺傳演算法與K-均值演算法結合提出了用於空間聚類分析的遺傳K-均值演算法[5]。現實空間環境中,存在很多像道路、橋梁、河流的障礙物,張雪萍、楊騰飛等人把K-Medoids演算法與量子粒子群演算法結合進行帶有空間障礙約束的聚類分析[6]。
2.3 空間分類
分類,簡單地說是通過學習得到一定的分類模型,然後把數據對象按照分類模型劃分至預先給定類的過程。空間分類時,不僅考慮數據對象的非空間屬性,還要顧及鄰近對象的非空間屬性對其類別的影響,是一種監督式的分析方法。
空間分類挖掘方法有統計方法、機器學習的方法和神經網路方法等。貝葉斯分類器是基於統計學的方法,利用數據對象的先驗概率和貝葉斯公式計算出其後驗概率,選擇較大後驗概率的類作為該對象映射的類別。決策樹分類器是機器學習的方法,採取從上到下的貪心策略,比較決策樹內部節點的屬性值來往下建立決策樹的各分支,每個葉節點代表滿足某個條件的屬性值,從根節點到葉節點的路徑表示一條合適的規則。支持向量機也是機器學習的方法,思路是使用非線性映射把訓練數據集映射到較高維,然後尋找出最大邊緣超平面,將數據對象分類。神經網路是一種模擬人神經的網路,由一組連接的輸入和輸出單元組成,賦予各個連接相應的權值,通過調節各連接的權值使得數據對象得到正確分類。
針對融入空間自相關性的空間分類挖掘,SHEKHAR S等人使用空間自回歸模型和基於貝葉斯的馬可夫隨機場進行空間分類挖掘[7],汪閩、駱劍承、周成虎等人將高斯馬爾可夫隨機場與支持向量機結合並將其用於遙感圖像的信息提取[8]。
2.4 其他空間挖掘方法
空間數據挖掘的方法多種多樣,其他還包括:空間分析的方法,即利用GIS的方法、技術和理論對空間數據進行加工處理,從而找出未知有用的信息模式;基於模糊集、粗糙集和雲理論的方法可用來分析具有不確定性的空間數據;可視化方法是對空間數據對象的視覺表示,通過一定技術用圖像的形式表達要分析的空間數據,從而得到其隱含的信息;國內張自嘉、岳邦珊、潘琦等人將蟻群演算法與自適應濾波的模糊聚類演算法相結合用以對圖像進行分割[9]。
3.結論
空間數據挖掘作為數據挖掘的延伸,有很好的傳統數據挖掘方法理論的基礎,雖然取得了很大進步,然而其理論和方法仍需進一步的深入研究。伴隨著大數據時代,面對越來越多的空間數據,提升數據挖掘的准確度和精度是一個有待研究的問題。同時現在流行的空間數據挖掘演算法的時間復雜度仍停留在O(nlog(n))~O(n3)之間,處理大量的異構數據,數據挖掘演算法的效率也需要進一步提高。數據挖掘在雲環境下已經得到很好的應用[10],對於處理空間數據的空間雲計算是有待學者們研究的方向。大多數空間數據挖掘演算法沒有考慮含有障礙約束的情況,如何解決現實中障礙約束問題值得探討。帶有時間屬性的空間數據呈現出了一種動態、可變的空間現象,時空數據挖掘將是未來研究的重點。
由於數據挖掘涉及多種學科,其基本理論與方法也已經比較成熟,針對空間數據挖掘,如何合理地利用和拓展這些理論方法以實現對空間數據的挖掘仍將是研究人員們需要長期努力的方向。
參考文獻
[1] 李德仁,王樹良,李德毅.空間數據挖掘理論與應用(第2版)[M].北京:科學出版社,2013.
[2] KOPERSKI K, HAN J W. Discovery of spatial association rules in geographic information databases[C]. Procedings of the 4th International Symposium on Advances in Spatial Databases, 1995: 47-66.
[3] SHEKHAR S, HUANG Y. Discovering spatial co-location patterns: a summary of results[C]. Procedings of the 7th International Symposium on Advances in Spatial and Temporal Databases, 2001:236-256.
[4] 柴思躍,蘇奮振,周成虎.基於周期表的時空關聯規則挖掘方法與實驗[J].地球信息科學學報,2011,13(4):455-464.
[5] 王家耀,張雪萍,周海燕.一個用於空間聚類分析的遺傳K-均值演算法[J].計算機工程,2006,32(3):188-190.
[6] Zhang Xueping, Du Haohua, Yang Tengfei, et al. A novel spatial clustering with obstacles constraints based on PNPSO and K-medoids[C]. Advances in Swarm Intelligence, Lecture Notes in Computer Science (LNCS), 2010: 476-483.
[7] SHEKHAR S, SCHRATER P R, VATSAVAI R R, et al.Spatial contextual classification and prediction models for mining geospatial data[J]. IEEE Transactions on Multimedia, 2002, 4(2):174-187.
[8] 汪閩,駱劍承,周成虎,等.結合高斯馬爾可夫隨機場紋理模型與支撐向量機在高解析度遙感圖像上提取道路網[J].遙感學報,2005,9(3):271-275.
[9] 張自嘉,岳邦珊,潘琦,等.基於蟻群和自適應濾波的模糊聚類圖像分割[J].電子技術應用,2015,41(4):144-147.
[10] 石傑.雲計算環境下的數據挖掘應用[J].微型機與應用,2015,34(5):13-15.
來源 | AET電子技術應用
㈦ 一篇文章讓你知道什麼是大數據挖掘技術
一篇文章讓你知道什麼是大數據挖掘技術
大數據如果想要產生價值,對它的處理過程無疑是非常重要的,其中大數據分析和大數據挖掘就是最重要的兩部分。在前幾期的科普中,小編已經為大家介紹了大數據分析的相關情況,本期小編就為大家講解大數據挖掘技術,讓大家輕輕鬆鬆弄懂什麼是大數據挖掘技術。
什麼是大數據挖掘?
數據挖掘(Data Mining)是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
數據挖掘對象
根據信息存儲格式,用於挖掘的對象有關系資料庫、面向對象資料庫、數據倉庫、文本數據源、多媒體資料庫、空間資料庫、時態資料庫、異質資料庫以及Internet等。
數據挖掘流程
定義問題:清晰地定義出業務問題,確定數據挖掘的目的。
數據准備:數據准備包括:選擇數據–在大型資料庫和數據倉庫目標中 提取數據挖掘的目標數據集;數據預處理–進行數據再加工,包括檢查數據的完整性及數據的一致性、去雜訊,填補丟失的域,刪除無效數據等。
數據挖掘:根據數據功能的類型和和數據的特點選擇相應的演算法,在凈化和轉換過的數據集上進行數據挖掘。
結果分析:對數據挖掘的結果進行解釋和評價,轉換成為能夠最終被用戶理解的知識。
數據挖掘分類
直接數據挖掘:目標是利用可用的數據建立一個模型,這個模型對剩餘的數據,對一個特定的變數(可以理解成資料庫中表的屬性,即列)進行描述。
間接數據挖掘:目標中沒有選出某一具體的變數,用模型進行描述;而是在所有的變數中建立起某種關系。
數據挖掘的方法
神經網路方法
神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題,因此近年來越來越受到人們的關注。
遺傳演算法
遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法,是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。
決策樹方法
決策樹是一種常用於預測模型的演算法,它通過將大量數據有目的分類,從中找到一些有價值的,潛在的信息。它的主要優點是描述簡單,分類速度快,特別適合大規模的數據處理。
粗集方法
粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點:不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單,易於操作。粗集處理的對象是類似二維關系表的信息表。
覆蓋正例排斥反例方法
它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子,到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去,相反則保留。按此思想循環所有正例種子,將得到正例的規則(選擇子的合取式)。
統計分析方法
在資料庫欄位項之間存在兩種關系:函數關系和相關關系,對它們的分析可採用統計學方法,即利用統計學原理對資料庫中的信息進行分析。可進行常用統計、回歸分析、相關分析、差異分析等。
模糊集方法
即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統的復雜性越高,模糊性越強,一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。
數據挖掘任務
關聯分析
兩個或兩個以上變數的取值之間存在某種規律性,就稱為關聯。數據關聯是資料庫中存在的一類重要的、可被發現的知識。關聯分為簡單關聯、時序關聯和因果關聯。關聯分析的目的是找出資料庫中隱藏的關聯網。一般用支持度和可信度兩個閥值來度量關聯規則的相關性,還不斷引入興趣度、相關性等參數,使得所挖掘的規則更符合需求。
聚類分析
聚類是把數據按照相似性歸納成若干類別,同一類中的數據彼此相似,不同類中的數據相異。聚類分析可以建立宏觀的概念,發現數據的分布模式,以及可能的數據屬性之間的相互關系。
分類
分類就是找出一個類別的概念描述,它代表了這類數據的整體信息,即該類的內涵描述,並用這種描述來構造模型,一般用規則或決策樹模式表示。分類是利用訓練數據集通過一定的演算法而求得分類規則。分類可被用於規則描述和預測。
預測
預測是利用歷史數據找出變化規律,建立模型,並由此模型對未來數據的種類及特徵進行預測。預測關心的是精度和不確定性,通常用預測方差來度量。
時序模式
時序模式是指通過時間序列搜索出的重復發生概率較高的模式。與回歸一樣,它也是用己知的數據預測未來的值,但這些數據的區別是變數所處時間的不同。
偏差分析
在偏差中包括很多有用的知識,資料庫中的數據存在很多異常情況,發現資料庫中數據存在的異常情況是非常重要的。偏差檢驗的基本方法就是尋找觀察結果與參照之間的差別。
㈧ 大數據挖掘方法有哪些
謝邀。
大數據挖掘的方法:
神經網路方法
神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題,因此近年來越來越受到人們的關注。
遺傳演算法
遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法,是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。
決策樹方法
決策樹是一種常用於預測模型的演算法,它通過將大量數據有目的分類,從中找到一些有價值的,潛在的信息。它的主要優點是描述簡單,分類速度快,特別適合大規模的數據處理。
粗集方法
粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點:不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單,易於操作。粗集處理的對象是類似二維關系表的信息表。
覆蓋正例排斥反例方法
它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子,到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去,相反則保留。按此思想循環所有正例種子,將得到正例的規則(選擇子的合取式)。
統計分析方法
在資料庫欄位項之間存在兩種關系:函數關系和相關關系,對它們的分析可採用統計學方法,即利用統計學原理對資料庫中的信息進行分析。可進行常用統計、回歸分析、相關分析、差異分析等。
模糊集方法
即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統的復雜性越高,模糊性越強,一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。