大數據挖掘的方法研究與應用

① 大數據挖掘都有哪些方面的應用

1、大數據挖掘可以使混亂且無規則的數據變得清晰且具有高可用性

大數據具有兩個典型特徵，一個是大量數據，另一個是復雜的計算。與傳統資料庫相比，大數據的結構化程度，可用性，數據提取和數據清理都是一項繁重的工作。

典型的典型生產和銷售企業的業務系統數據是隔離，拆分，銷售，生產，財務，客戶等的，不同方面實際上是為自己的業務目標和輸出構建自己的IT系統甚至被外包給不同的IT集成商或軟體開發人員，因此系統相對獨立。

2、讓數據與數據之間的關系，這種關系可能產生化學反應

啤酒和尿布，口香糖和避孕套的著名例子可以發現典型數據之間的隱含關系。通過對消費者行為的數據進行建模和分析，可以發現理論上這兩個原本不相關的事物，當用戶購買某商品時產生了關聯，針對此發現優化貨架商品可以增加銷售額。

3、監視數據生成過程以發現異常，並作出預警和錯誤糾正

通過時間對系統生成的數據進行建模，可以記錄平均值以及每個時間點和時間段的上下間隔。如果某個節點發生異常情況，則系統可以快速找到問題並進行預警和故障排除。當然，這只是技術系統的價值。

在業務系統中，這種數據異常會給您業務狀況的警告，幫助您比較歷史時間維度，確定事物發生變化的原因，並為您提供必要的時間，數據和相關信息參考用於決策分析。

4、通過數據挖掘建立知識模型以提供決策支持信息

IT系統正在發揮更大的價值，因為它可以幫助您通過信息集成來提供決策參考信息。過去，有一個術語稱為KDD(知識發現)。隨著互聯網信息內容的豐富和以及各大例如億信華辰BI軟體等公司的發展，網路信息的價值和有效性也在增加。

關於大數據挖掘都有哪些方面的應用，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

以上是小編為大家分享的關於大數據挖掘都有哪些方面的應用?的相關內容，更多信息可以關注環球青藤分享更多干貨

② 數據挖掘的方法有哪些

神經網路方法

神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。

遺傳演算法

遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。

決策樹方法

決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。

粗集方法

粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點：不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單，易於操作。粗集處理的對象是類似二維關系表的信息表。

覆蓋正例排斥反例方法

它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子，到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去，相反則保留。按此思想循環所有正例種子，將得到正例的規則(選擇子的合取式)。

統計分析方法

在資料庫欄位項之間存在兩種關系：函數關系和相關關系，對它們的分析可採用統計學方法，即利用統計學原理對資料庫中的信息進行分析。可進行常用統計、回歸分析、相關分析、差異分析等。

模糊集方法

即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統的復雜性越高，模糊性越強，一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。

關於數據挖掘的方法有哪些，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

③ 大數據挖掘常用的方法有哪些

1. Analytic Visualizations(可視化分析)

不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據，讓數據自己說話，讓觀眾聽到結果。

2. Data Mining Algorithms(數據挖掘演算法)

可視化是給人看的，數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部，挖掘價值。這些演算法不僅要處理大數據的量，也要處理大數據的速度。

3. Predictive Analytic Capabilities(預測性分析能力)

數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。

4. Semantic Engines(語義引擎)

由於非結構化數據的多樣性帶來了數據分析的新的挑戰，需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從“文檔”中智能提取信息。

5. Data Quality and Master Data Management(數據質量和數據管理)

數據質量和數據管理是一些管理方面的最佳實踐。通過標准化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。

④ 大數據挖掘方法有哪些

謝邀。

大數據挖掘的方法：

• 神經網路方法

神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。

• 遺傳演算法

遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。

• 決策樹方法

決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。

• 粗集方法

粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點：不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單，易於操作。粗集處理的對象是類似二維關系表的信息表。

• 覆蓋正例排斥反例方法

它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子，到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去，相反則保留。按此思想循環所有正例種子，將得到正例的規則(選擇子的合取式)。

• 統計分析方法

在資料庫欄位項之間存在兩種關系：函數關系和相關關系，對它們的分析可採用統計學方法，即利用統計學原理對資料庫中的信息進行分析。可進行常用統計、回歸分析、相關分析、差異分析等。

• 模糊集方法

即利用模糊集合理論對實際問題進行模糊評判、模糊決策、模糊模式識別和模糊聚類分析。系統的復雜性越高，模糊性越強，一般模糊集合理論是用隸屬度來刻畫模糊事物的亦此亦彼性的。

⑤ 大數據研究常用軟體工具與應用場景

大數據研究常用軟體工具與應用場景

如今，大數據日益成為研究行業的重要研究目標。面對其高數據量、多維度與異構化的特點，以及分析方法思路的擴展，傳統統計工具已經難以應對。

工欲善其事，必先利其器。眾多新的軟體分析工具作為深入大數據洞察研究的重要助力， 也成為數據科學家所必須掌握的知識技能。

然而，現實情況的復雜性決定了並不存在解決一切問題的終極工具。實際研究過程中，需要根據實際情況靈活選擇最合適的工具（甚至多種工具組合使用），才能更好的完成研究探索。

為此，本文針對研究人員（非技術人員）的實際情況，介紹當前大數據研究涉及的一些主要工具軟體（因為相關軟體眾多，只介紹常用的），並進一步闡述其應用特點和適合的場景，以便於研究人員能有的放矢的學習和使用。

傳統分析/商業統計

Excel、SPSS、SAS 這三者對於研究人員而言並不陌生。

Excel 作為電子表格軟體，適合簡單統計（分組/求和等）需求，由於其方便好用，功能也能滿足很多場景需要，所以實際成為研究人員最常用的軟體工具。其缺點在於功能單一，且可處理數據規模小（這一點讓很多研究人員尤為頭疼）。這兩年Excel在大數據方面（如地理可視化和網路關系分析）上也作出了一些增強，但應用能力有限。

SPSS（SPSS Statistics)和SAS作為商業統計軟體，提供研究常用的經典統計分析（如回歸、方差、因子、多變數分析等）處理。
SPSS 輕量、易於使用，但功能相對較少，適合常規基本統計分析
SAS 功能豐富而強大（包括繪圖能力），且支持編程擴展其分析能力，適合復雜與高要求的統計性分析。

上述三個軟體在面對大數據環境出現了各種不適，具體不再贅述。但這並不代表其沒有使用價值。如果使用傳統研究方法論分析大數據時，海量原始數據資源經過前期處理（如降維和統計匯總等）得到的中間研究結果，就很適合使用它們進行進一步研究。

數據挖掘

數據挖掘作為大數據應用的重要領域，在傳統統計分析基礎上，更強調提供機器學習的方法，關注高維空間下復雜數據關聯關系和推演能力。代表是SPSS Modeler（注意不是SPSS Statistics，其前身為Clementine）

SPSS Modeler 的統計功能相對有限, 主要是提供面向商業挖掘的機器學習演算法（決策樹、神經元網路、分類、聚類和預測等）的實現。同時，其數據預處理和結果輔助分析方面也相當方便，這一點尤其適合商業環境下的快速挖掘。不過就處理能力而言，實際感覺難以應對億級以上的數據規模。

另一個商業軟體 Matlab 也能提供大量數據挖掘的演算法，但其特性更關注科學與工程計算領域。而著名的開源數據挖掘軟體Weka，功能較少，且數據預處理和結果分析也比較麻煩，更適合學術界或有數據預處理能力的使用者。

1、通用大數據可視化分析

近兩年來出現了許多面向大數據、具備可視化能力的分析工具，在商業研究領域，TableAU無疑是卓越代表。

TableAU 的優勢主要在於支持多種大數據源/格式，眾多的可視化圖表類型，加上拖拽式的使用方式，上手快，非常適合研究員使用，能夠涵蓋大部分分析研究的場景。不過要注意，其並不能提供經典統計和機器學習演算法支持， 因此其可以替代Excel, 但不能代替統計和數據挖掘軟體。另外，就實際處理速度而言，感覺面對較大數據（實例超過3000萬記錄）時，並沒有官方介紹的那麼迅速。

2 、關系分析

關系分析是大數據環境下的一個新的分析熱點（比如信息傳播圖、社交關系網等），其本質計算的是點之間的關聯關系。相關工具中，適合數據研究人員的是一些可視化的輕量桌面型工具，最常用的是Gephi。

Gephi 是免費軟體，擅長解決圖網路分析的很多需求，其插件眾多，功能強且易用。我們經常看到的各種社交關系/傳播譜圖, 很多都是基於其力導向圖（Force directed graph）功能生成。但由於其由java編寫，限制了處理性能（感覺處理超過10萬節點/邊時常陷入假死），如分析百萬級節點（如微博熱點傳播路徑）關系時，需先做平滑和剪枝處理。 而要處理更大規模（如億級以上）的關系網路（如社交網路關系）數據，則需要專門的圖關系資料庫（如GraphLab/GraphX）來支撐了，其技術要求較高，此處不再介紹。

3、時空數據分析

當前很多軟體（包括TableAU）都提供了時空數據的可視化分析功能。但就使用感受來看，其大都只適合較小規模（萬級）的可視化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千萬級以上的時空數據，比如新浪微博上億用戶發文的時間與地理分布（從省到街道多級粒度的探索）時，推薦使用 NanoCubes（http://www.nanocubes.net/）。該開源軟體可在日常的辦公電腦上提供對億級時空數據的快速展示和多級實時鑽取探索分析。下圖是對芝加哥犯罪時間地點的分析，網站有更多的實時分析的演示例子

4、文本/非結構化分析

基於自然語言處理（NLP）的文本分析，在非結構化內容（如互聯網/社交媒體/電商評論）大數據的分析方面（甚至調研開放題結果分析）有重要用途。其應用處理涉及分詞、特徵抽取、情感分析、多主題模型等眾多內容。

由於實現難度與領域差異，當前市面上只有一些開源函數包或者雲API（如BosonNLP）提供一些基礎處理功能，尚未看到適合商業研究分析中文文本的集成化工具軟體（如果有誰知道煩請通知我）。在這種情況下，各商業公司（如HCR）主要依靠內部技術實力自主研發適合業務所需的分析功能。

前面介紹的各種大數據分析工具，可應對的數據都在億級以下，也以結構化數據為主。當實際面臨以下要求： 億級以上/半實時性處理/非標准化復雜需求 ，通常就需要藉助編程（甚至藉助於Hadoop/Spark等分布式計算框架）來完成相關的分析。 如果能掌握相關的編程語言能力，那研究員的分析能力將如虎添翼。

當前適合大數據處理的編程語言，包括：

R語言——最適合統計研究背景的人員學習，具有豐富的統計分析功能庫以及可視化繪圖函數可以直接調用。通過Hadoop-R更可支持處理百億級別的數據。 相比SAS，其計算能力更強，可解決更復雜更大數據規模的問題。

Python語言——最大的優勢是在文本處理以及大數據量處理場景，且易於開發。在相關分析領域，Python代替R的勢頭越來越明顯。

Java語言——通用性編程語言，能力最全面，擁有最多的開源大數據處理資源（統計、機器學習、NLP等等）直接使用。也得到所有分布式計算框架（Hadoop/Spark）的支持。

前面的內容介紹了面向大數據研究的不同工具軟體/語言的特點和適用場景。 這些工具能夠極大增強研究員在大數據環境下的分析能力，但更重要的是研究員要發揮自身對業務的深入理解，從數據結果中洞察發現有深度的結果，這才是最有價值的。

以上是小編為大家分享的關於大數據研究常用軟體工具與應用場景的相關內容，更多信息可以關注環球青藤分享更多干貨

⑥ 大數據挖掘在企業CRM中是怎樣應用的

以百會CRM為例分析如何利用CRM結合大數據技術助力企業深層挖掘潛在客戶。
採集精準數據 凈化客戶資料庫
信息化的市場，各種各樣的數據不斷湧出，企業能夠輕松從市場上獲得各類數據，但是並非所有的數據都是有價值的，如何對數據進行篩選、核查是一個問題。利用百會CRM能夠方便地進行電子調查，利用系統模板創建調查問卷，通過匹配相關客戶群，定時定量發送給客戶來進行數據調研，百會CRM能夠自動把客戶的回復數據存入資料庫，供相關人員查看或提取。通過預設條件，企業能夠獲得CRM採集最准確的第一手數據，無需費時費力即能完成客戶數據凈化。
智能分析 抓住有價值的客戶
採集數據的關鍵在於如何使用。不經過整合分析形成有用的信息，再多的數據對企業也毫無價值。而百會CRM能夠對客戶資料進行篩選分析，根據客戶消費行為和身份信息，識別目標客戶；從客戶的興趣愛好分析其感興趣的產品；從歷史業務信息挖掘潛在商機。通過多維度分析潛在客戶，判斷其能否為企業帶來可估的價值，是客戶開發的關鍵一步。
全方位維護 讓客戶價值最大化
無論在什麼時候、什麼行業，客戶流失的情況總是存在的，企業的客戶像在一個巨大的沙漏中，以不同的速率流失，為了保證業績，必須有源源不斷的新客戶注入，但若一味地招攬新客戶而無暇顧及老客戶，大量的老客戶就會從服務不周的"漏洞"中快速流失。在競爭激烈的市場中，獲取新客戶的成本居高不下，大量舊客戶的流失對企業無疑是一個巨大的損失。百會CRM能夠根據客戶需求匹配產品信息，提供個性化的建議，生成詳細的客戶分析報表，幫助銷售人員更高效地跟進客戶，而清晰的客戶消費行為分析結果，讓公司得以提供給顧客超出預期的產品或服務，不僅僅滿足於其目標需求，超出期待的體驗，才有可能在顧客心中建立起真正的忠誠度。百會CRM如此的信息化管理讓幫助企業有更多的心力關懷客戶，留住有價值的客戶。

⑦ 大數據時代空間數據挖掘的認識及其思考

引言

空間數據挖掘（Spatial Data Mining，SDM）即找出開始並不知道但是卻隱藏在空間數據中潛在的、有價值的規則的過程。具體來說，空間數據挖掘就是在海量空間數據集中，結合確定集、模糊集、仿生學等理論，利用人工智慧、模式識別等科學技術，提取出令人相信的、潛在有用的知識，發現空間數據集背後隱藏的規律、聯系，為空間決策提供理論技術上的依據[1]。

1.空間數據挖掘的一般步驟

空間數據挖掘系統大致可以分為以下步驟：

（1）空間數據准備：選擇合適的多種數據來源，包括地圖數據、影像數據、地形數據、屬性數據等。

（2）空間數據預處理和特徵提取：數據預處理目的是去除數據中的雜訊，包括對數據的清洗、數據的轉換、數據的集成等。特徵提取是剔除掉冗餘或不相關的特徵並將特徵轉化為適合數據挖掘的新特徵。

（3）空間數據挖掘和知識評估：採用空間數據挖掘技術對空間數據進行分析處理和預測，從而發現數據背後的某種聯系。然後結合具體的領域知識進行評估，看是否達到預期效果。

2.空間數據挖掘的方法研究

空間數據挖掘是一門綜合型的交叉學科，結合了計算機科學、統計學、地理學等領域的很多特性，產生了大量處理空間數據的挖掘方法。

2.1 空間關聯規則

關聯規則挖掘是尋找數據項之間的聯系，表達式形式是X→Y，其中X與Y是兩種不相交的數據項集，即X∩Y=？覫。KOPERSKI K等人將關聯規則與空間資料庫相結合，提出了空間關聯規則挖掘[2]。空間關聯規則將數據項替換為了空間謂詞，一般表達形式如下：

A1∧A2∧…∧An→B1∧B2∧…∧Bm（3）

令A=（A1，A2，…，An），B=（B1，B2，…，Bm），A和B分別表示Ai和Bj的謂詞集合，A和B可以是空間謂詞或非空間謂詞，但是必須至少包含一個空間謂詞且A∩B=？覫。SHEKHAR S和HUANG Y針對空間關聯規則的特點提出了把關聯規則的思想泛化成空間索引點集的空間同位規則的概念，在不違背空間相關性的同時用鄰域替換掉了事務[3]。時空關聯不僅涉及事件在空間中的關聯，還考慮了空間位置和時間序列因素。國內的柴思躍、蘇奮振和周成虎提出了基於周期表的時空關聯規則挖掘方法[4]。

2.2 空間聚類

空間聚類分析是普通聚類分析的擴展，不能完全按照處理普通數據的聚類分析方法來處理空間數據。由於存在地理學第一定律，即空間對象之間都存在一定的相關性，因此在空間聚類分析中，對於簇內的定義，要考慮空間自相關這一因素。通過對空間數據進行自相關分析，可判斷對象之間是否存在空間相關性，從而可合理判斷出對象是否可以分為一簇。

基本的聚類挖掘演算法有：

（1）劃分聚類演算法：存在n個數據對象，對於給定k個分組（k≤n），將n個對象通過基於一定目標劃分規則，不停迭代、優化，直到將這n個對象分配到k個分組中，使得每組內部對象相似度大於組之間相似度。

（2）層次聚類演算法：通過將數據不停地拆分與重組，最終把數據轉為一棵符合一定標準的具有層次結構的聚類樹。

（3）密度聚類演算法：用低密度的區域對數據對象進行分割，最終將數據對象聚類成為若干高密度的區域。

（4）圖聚類演算法：用空間結點表示每個數據對象，然後基於一定標准形成若乾子圖，最後把所有子圖聚類成一個包含所有空間對象的整圖，子圖則代表一個個空間簇。

（5）網格聚類演算法：把空間區域分割成具有多重解析度的和有網格結構特性的若干網格單元，在網格單元上對數據進行聚類。

（6）模型聚類演算法：藉助一定的數學模型，使用最佳擬合數據的數學模型來對數據進行聚類，每一個簇用一個概率分布表示。

僅採用一種演算法通常無法達到令人滿意的預期結果，王家耀、張雪萍、周海燕將遺傳演算法與K-均值演算法結合提出了用於空間聚類分析的遺傳K-均值演算法[5]。現實空間環境中，存在很多像道路、橋梁、河流的障礙物，張雪萍、楊騰飛等人把K-Medoids演算法與量子粒子群演算法結合進行帶有空間障礙約束的聚類分析[6]。

2.3 空間分類

分類，簡單地說是通過學習得到一定的分類模型，然後把數據對象按照分類模型劃分至預先給定類的過程。空間分類時，不僅考慮數據對象的非空間屬性，還要顧及鄰近對象的非空間屬性對其類別的影響，是一種監督式的分析方法。

空間分類挖掘方法有統計方法、機器學習的方法和神經網路方法等。貝葉斯分類器是基於統計學的方法，利用數據對象的先驗概率和貝葉斯公式計算出其後驗概率，選擇較大後驗概率的類作為該對象映射的類別。決策樹分類器是機器學習的方法，採取從上到下的貪心策略，比較決策樹內部節點的屬性值來往下建立決策樹的各分支，每個葉節點代表滿足某個條件的屬性值，從根節點到葉節點的路徑表示一條合適的規則。支持向量機也是機器學習的方法，思路是使用非線性映射把訓練數據集映射到較高維，然後尋找出最大邊緣超平面，將數據對象分類。神經網路是一種模擬人神經的網路，由一組連接的輸入和輸出單元組成，賦予各個連接相應的權值，通過調節各連接的權值使得數據對象得到正確分類。

針對融入空間自相關性的空間分類挖掘，SHEKHAR S等人使用空間自回歸模型和基於貝葉斯的馬可夫隨機場進行空間分類挖掘[7]，汪閩、駱劍承、周成虎等人將高斯馬爾可夫隨機場與支持向量機結合並將其用於遙感圖像的信息提取[8]。

2.4 其他空間挖掘方法

空間數據挖掘的方法多種多樣，其他還包括：空間分析的方法，即利用GIS的方法、技術和理論對空間數據進行加工處理，從而找出未知有用的信息模式；基於模糊集、粗糙集和雲理論的方法可用來分析具有不確定性的空間數據；可視化方法是對空間數據對象的視覺表示，通過一定技術用圖像的形式表達要分析的空間數據，從而得到其隱含的信息；國內張自嘉、岳邦珊、潘琦等人將蟻群演算法與自適應濾波的模糊聚類演算法相結合用以對圖像進行分割[9]。

3.結論

空間數據挖掘作為數據挖掘的延伸，有很好的傳統數據挖掘方法理論的基礎，雖然取得了很大進步，然而其理論和方法仍需進一步的深入研究。伴隨著大數據時代，面對越來越多的空間數據，提升數據挖掘的准確度和精度是一個有待研究的問題。同時現在流行的空間數據挖掘演算法的時間復雜度仍停留在O（nlog（n））~O（n3）之間，處理大量的異構數據，數據挖掘演算法的效率也需要進一步提高。數據挖掘在雲環境下已經得到很好的應用[10]，對於處理空間數據的空間雲計算是有待學者們研究的方向。大多數空間數據挖掘演算法沒有考慮含有障礙約束的情況，如何解決現實中障礙約束問題值得探討。帶有時間屬性的空間數據呈現出了一種動態、可變的空間現象，時空數據挖掘將是未來研究的重點。

由於數據挖掘涉及多種學科，其基本理論與方法也已經比較成熟，針對空間數據挖掘，如何合理地利用和拓展這些理論方法以實現對空間數據的挖掘仍將是研究人員們需要長期努力的方向。

參考文獻

[1] 李德仁，王樹良，李德毅.空間數據挖掘理論與應用（第2版）[M].北京：科學出版社，2013.

[2] KOPERSKI K， HAN J W. Discovery of spatial association rules in geographic information databases[C]. Procedings of the 4th International Symposium on Advances in Spatial Databases， 1995： 47-66.

[3] SHEKHAR S， HUANG Y. Discovering spatial co-location patterns： a summary of results[C]. Procedings of the 7th International Symposium on Advances in Spatial and Temporal Databases， 2001：236-256.

[4] 柴思躍，蘇奮振，周成虎．基於周期表的時空關聯規則挖掘方法與實驗[J]．地球信息科學學報，2011，13（4）：455-464.

[5] 王家耀，張雪萍，周海燕.一個用於空間聚類分析的遺傳K-均值演算法[J].計算機工程，2006，32（3）：188-190.

[6] Zhang Xueping， Du Haohua， Yang Tengfei， et al. A novel spatial clustering with obstacles constraints based on PNPSO and K-medoids[C]. Advances in Swarm Intelligence， Lecture Notes in Computer Science （LNCS）， 2010： 476-483.

[7] SHEKHAR S， SCHRATER P R， VATSAVAI R R， et al．Spatial contextual classification and prediction models for mining geospatial data[J]． IEEE Transactions on Multimedia， 2002， 4（2）：174-187.

[8] 汪閩，駱劍承，周成虎，等.結合高斯馬爾可夫隨機場紋理模型與支撐向量機在高解析度遙感圖像上提取道路網[J].遙感學報，2005，9（3）：271-275.

[9] 張自嘉，岳邦珊，潘琦，等.基於蟻群和自適應濾波的模糊聚類圖像分割[J].電子技術應用，2015，41（4）：144-147.

[10] 石傑.雲計算環境下的數據挖掘應用[J].微型機與應用，2015，34（5）：13-15.

來源 | AET電子技術應用

⑧ 大數據挖掘常用的方法有哪些

1. Analytic Visualizations（可視化分析）

不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據，讓數據自己說話，讓觀眾聽到結果。

2. Data Mining Algorithms（數據挖掘演算法）
可視化是給人看的，數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部，挖掘價值。這些演算法不僅要處理大數據的量，也要處理大數據的速度。

3. Predictive Analytic Capabilities（預測性分析能力）
數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。

4. Semantic Engines（語義引擎）
由於非結構化數據的多樣性帶來了數據分析的新的挑戰，需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從「文檔」中智能提取信息。

5. Data Quality and Master Data Management（數據質量和數據管理）

數據質量和數據管理是一些管理方面的最佳實踐。通過標准化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。

⑨ 大數據時代的數據怎麼挖掘

3月13日下午，南京郵電大學計算機學院、軟體學院院長、教授李濤在CIO時代微講座欄目作了題為《大數據時代的數據挖掘》的主題分享，深度詮釋了大數據及大數據時代下的數據挖掘。

眾所周知，大數據時代的大數據挖掘已成為各行各業的一大熱點。
一、數據挖掘
在大數據時代，數據的產生和收集是基礎，數據挖掘是關鍵，數據挖掘可以說是大數據最關鍵也是最基本的工作。通常而言，數據挖掘也稱為DataMining，或知識發現Knowledge Discovery from Data，泛指從大量數據中挖掘出隱含的、先前未知但潛在的有用信息和模式的一個工程化和系統化的過程。
不同的學者對數據挖掘有著不同的理解，但個人認為，數據挖掘的特性主要有以下四個方面：
1.應用性（A Combination of Theory and Application）：數據挖掘是理論演算法和應用實踐的完美結合。數據挖掘源於實際生產生活中應用的需求，挖掘的數據來自於具體應用，同時通過數據挖掘發現的知識又要運用到實踐中去，輔助實際決策。所以，數據挖掘來自於應用實踐，同時也服務於應用實踐，數據是根本，數據挖掘應以數據為導向，其中涉及到演算法的設計與開發都需考慮到實際應用的需求，對問題進行抽象和泛化，將好的演算法應用於實際中，並在實際中得到檢驗。
2.工程性（An Engineering Process）：數據挖掘是一個由多個步驟組成的工程化過程。數據挖掘的應用特性決定了數據挖掘不僅僅是演算法分析和應用，而是一個包含數據准備和管理、數據預處理和轉換、挖掘演算法開發和應用、結果展示和驗證以及知識積累和使用的完整過程。而且在實際應用中，典型的數據挖掘過程還是一個交互和循環的過程。
3.集合性（A Collection of Functionalities）：數據挖掘是多種功能的集合。常用的數據挖掘功能包括數據探索分析、關聯規則挖掘、時間序列模式挖掘、分類預測、聚類分析、異常檢測、數據可視化和鏈接分析等。一個具體的應用案例往往涉及多個不同的功能。不同的功能通常有不同的理論和技術基礎，而且每一個功能都有不同的演算法支撐。
4.交叉性（An Interdisciplinary Field）：數據挖掘是一門交叉學科，它利用了來自統計分析、模式識別、機器學習、人工智慧、信息檢索、資料庫等諸多不同領域的研究成果和學術思想。同時一些其他領域如隨機演算法、資訊理論、可視化、分布式計算和最優化也對數據挖掘的發展起到重要的作用。數據挖掘與這些相關領域的區別可以由前面提到的數據挖掘的3個特性來總結，最重要的是它更側重於應用。
綜上所述，應用性是數據挖掘的一個重要特性，是其區別於其他學科的關鍵，同時，其應用特性與其他特性相輔相成，這些特性在一定程度上決定了數據挖掘的研究與發展，同時，也為如何學習和掌握數據挖掘提出了指導性意見。如從研究發展來看，實際應用的需求是數據挖掘領域很多方法提出和發展的根源。從最開始的顧客交易數據分析（market basket analysis）、多媒體數據挖掘（multimedia data mining）、隱私保護數據挖掘（privacy-preserving data mining）到文本數據挖掘（text mining）和Web挖掘（Web mining），再到社交媒體挖掘（social media mining）都是由應用推動的。工程性和集合性決定了數據挖掘研究內容和方向的廣泛性。其中，工程性使得整個研究過程里的不同步驟都屬於數據挖掘的研究范疇。而集合性使得數據挖掘有多種不同的功能，而如何將多種功能聯系和結合起來，從一定程度上影響了數據挖掘研究方法的發展。比如，20世紀90年代中期，數據挖掘的研究主要集中在關聯規則和時間序列模式的挖掘。到20世紀90年代末，研究人員開始研究基於關聯規則和時間序列模式的分類演算法（如classification based on association），將兩種不同的數據挖掘功能有機地結合起來。21世紀初，一個研究的熱點是半監督學習（semi-supervised learning）和半監督聚類（semi-supervised clustering），也是將分類和聚類這兩種功能有機結合起來。近年來的一些其他研究方向如子空間聚類（subspace clustering）（特徵抽取和聚類的結合）和圖分類（graph classification）（圖挖掘和分類的結合）也是將多種功能聯系和結合在一起。最後，交叉性導致了研究思路和方法設計的多樣化。
前面提到的是數據挖掘的特性對研究發展及研究方法的影響，另外，數據挖掘的這些特性對如何學習和掌握數據挖掘提出了指導性的意見，對培養研究生、本科生均有一些指導意見，如應用性在指導數據挖掘時，應熟悉應用的業務和需求，需求才是數據挖掘的目的，業務和演算法、技術的緊密結合非常重要，了解業務、把握需求才能有針對性地對數據進行分析，挖掘其價值。因此，在實際應用中需要的是一種既懂業務，又懂數據挖掘演算法的人才。工程性決定了要掌握數據挖掘需有一定的工程能力，一個好的數據額挖掘人員首先是一名工程師，有很強大的處理大規模數據和開發原型系統的能力，這相當於在培養數據挖掘工程師時，對數據的處理能力和編程能力很重要。集合性使得在具體應用數據挖掘時，要做好底層不同功能和多種演算法積累。交叉性決定了在學習數據挖掘時要主動了解和學習相關領域的思想和技術。
因此，這些特性均是數據挖掘的特點，通過這四個特性可總結和學習數據挖掘。
二、大數據的特徵
大數據（bigdata）一詞經常被用以描述和指代信息爆炸時代產生的海量信息。研究大數據的意義在於發現和理解信息內容及信息與信息之間的聯系。研究大數據首先要理清和了解大數據的特點及基本概念，進而理解和認識大數據。
研究大數據首先要理解大數據的特徵和基本概念。業界普遍認為，大數據具有標準的「4V」特徵：
1.Volume（大量）：數據體量巨大，從TB級別躍升到PB級別。
2.Variety（多樣）：數據類型繁多，如網路日誌、視頻、圖片、地理位置信息等。
3.Velocity（高速）：處理速度快，實時分析，這也是和傳統的數據挖掘技術有著本質的不同。
4.Value（價值）：價值密度低，蘊含有效價值高，合理利用低密度價值的數據並對其進行正確、准確的分析，將會帶來巨大的商業和社會價值。
上述「4V」特點描述了大數據與以往部分抽樣的「小數據」的主要區別。然而，實踐是大數據的最終價值體現的唯一途徑。從實際應用和大數據處理的復雜性看，大數據還具有如下新的「4V」特點：
5.Variability（變化）：在不同的場景、不同的研究目標下數據的結構和意義可能會發生變化，因此，在實際研究中要考慮具體的上下文場景（Context）。
6.Veracity（真實性）：獲取真實、可靠的數據是保證分析結果准確、有效的前提。只有真實而准確的數據才能獲取真正有意義的結果。
7.Volatility（波動性）/Variance（差異）：由於數據本身含有噪音及分析流程的不規范性，導致採用不同的演算法或不同分析過程與手段會得到不穩定的分析結果。
8.Visualization（可視化）：在大數據環境下，通過數據可視化可以更加直觀地闡釋數據的意義，幫助理解數據，解釋結果。
綜上所述，以上「8V」特徵在大數據分析與數據挖掘中具有很強的指導意義。
三、大數據時代下的數據挖掘
在大數據時代，數據挖掘需考慮以下四個問題：
大數據挖掘的核心和本質是應用、演算法、數據和平台4個要素的有機結合。
因為數據挖掘是應用驅動的，來源於實踐，海量數據產生於應用之中。需用具體的應用數據作為驅動，以演算法、工具和平台作為支撐，最終將發現的知識和信息應用到實踐中去，從而提供量化的、合理的、可行的、且能產生巨大價值的信息。
挖掘大數據中隱含的有用信息需設計和開發相應的數據挖掘和學習演算法。演算法的設計和開發需以具體的應用數據作為驅動，同時在實際問題中得到應用和驗證，而演算法的實現和應用需要高效的處理平台，這個處理平台可以解決波動性問題。高效的處理平台需要有效分析海量數據，及時對多元數據進行集成，同時有力支持數據化對演算法及數據可視化的執行，並對數據分析的流程進行規范。
總之，應用、演算法、數據、平台這四個方面相結合的思想，是對大數據時代的數據挖掘理解與認識的綜合提煉，體現了大數據時代數據挖掘的本質與核心。這四個方面也是對相應研究方面的集成和架構，這四個架構具體從以下四個層面展開：
應用層（Application）：關心的是數據的收集與演算法驗證，關鍵問題是理解與應用相關的語義和領域知識。
數據層（Data）：數據的管理、存儲、訪問與安全，關心的是如何進行高效的數據使用。
演算法層（Algorithm）：主要是數據挖掘、機器學習、近似演算法等演算法的設計與實現。
平台層（Infrastructure）：數據的訪問和計算，計算平台處理分布式大規模的數據。
綜上所述，數據挖掘的演算法分為多個層次，在不同的層面有不同的研究內容，可以看到目前在做數據挖掘時的主要研究方向，如利用數據融合技術預處理稀疏、異構、不確定、不完整以及多來源數據；挖掘復雜動態變化的數據；測試通過局部學習和模型融合所得到的全局知識，並反饋相關信息給預處理階段；對數據並行分布化，達到有效使用的目的。
四、大數據挖掘系統的開發
1.背景目標
大數據時代的來臨使得數據的規模和復雜性都出現爆炸式的增長，促使不同應用領域的數據分析人員利用數據挖掘技術對數據進行分析。在應用領域中，如醫療保健、高端製造、金融等，一個典型的數據挖掘任務往往需要復雜的子任務配置，整合多種不同類型的挖掘演算法以及在分布式計算環境中高效運行。因此，在大數據時代進行數據挖掘應用的一個當務之急是要開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
之前提到一個數據挖掘有多種任務、多種功能及不同的挖掘演算法，同時，需要一個高效的平台。因此，大數據時代的數據挖掘和應用的當務之急，便是開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
2.相關產品
現有的數據挖掘工具
有Weka、SPSS和SQLServer，它們提供了友好的界面，方便用戶進行分析，然而這些工具並不適合進行大規模的數據分析，同時，在使用這些工具時用戶很難添加新的演算法程序。
流行的數據挖掘演算法庫
如Mahout、MLC++和MILK，這些演算法庫提供了大量的數據挖掘演算法。但這些演算法庫需要有高級編程技能才能進行任務配置和演算法集成。
最近出現的一些集成的數據挖掘產品
如Radoop和BC-PDM，它們提供友好的用戶界面來快速配置數據挖掘任務。但這些產品是基於Hadoop框架的，對非Hadoop演算法程序的支持非常有限。沒有明確地解決在多用戶和多任務情況下的資源分配。
3.FIU-Miner
為解決現有工具和產品在大數據挖掘中的局限性，我們團隊開發了一個新的平台——FIU-Miner，它代表了A Fast,Integrated,and User-Friendly System for Data Miningin Distributed Environment。它是一個用戶友好並支持在分布式環境中進行高效率計算和快速集成的數據挖掘系統。與現有數據挖掘平台相比，FIU-Miner提供了一組新的功能，能夠幫助數據分析人員方便並有效地開展各項復雜的數據挖掘任務。
與傳統的數據挖掘平台相比，它提供了一些新的功能，主要有以下幾個方面：
A.用戶友好、人性化、快速的數據挖掘任務配置。基於「軟體即服務」這一模式，FIU-Miner隱藏了與數據分析任務無關的低端細節。通過FIU-Miner提供的人性化用戶界面，用戶可以通過將現有演算法直接組裝成工作流，輕松完成一個復雜數據挖掘問題的任務配置，而不需要編寫任何代碼。
B.靈活的多語言程序集成。允許用戶將目前最先進的數據挖掘演算法直接導入系統演算法庫中，以此對分析工具集合進行擴充和管理。同時，由於FIU-Miner能夠正確地將任務分配到有合適運行環境的計算節點上，所以對這些導入的演算法沒有實現語言的限制。
C.異構環境中有效的資源管理。FIU-Miner支持在異構的計算環境中（包括圖形工作站、單個計算機、和伺服器等）運行數據挖掘任務。FIU-Miner綜合考慮各種因素（包括演算法實現、伺服器負載平衡和數據位置）來優化計算資源的利用率。
D.有效的程序調度和執行。
應用架構上包括用戶界面層、任務和系統管理層、邏輯資源層、異構的物理資源層。這種分層架構充分考慮了海量數據的分布式存儲、不同數據挖掘演算法的集成、多重任務的配置及系統用戶的交付功能。一個典型的數據挖掘任務在應用之中需要復雜的主任務配置，整合多種不同類型的挖掘演算法。因此，開發和建立這樣的計算平台和工具，支持應用領域的數據分析人員進行有效的分析是大數據挖掘中的一個重要任務。
FIU-Miner系統用在了不同方面：如高端製造業、倉庫智能管理、空間數據處理等，TerraFly GeoCloud是建立在TerraFly系統之上的、支持多種在線空間數據分析的一個平台。提供了一種類SQL語句的空間數據查詢與挖掘語言MapQL。它不但支持類SQL語句，更重要的是可根據用戶的不同要求，進行空間數據挖掘，渲染和畫圖查詢得到空間數據。通過構建空間數據分析的工作流來優化分析流程，提高分析效率。
製造業是指大規模地把原材料加工成成品的工業生產過程。高端製造業是指製造業中新出現的具有高技術含量、高附加值、強競爭力的產業。典型的高端製造業包括電子半導體生產、精密儀器製造、生物制葯等。這些製造領域往往涉及嚴密的工程設計、復雜的裝配生產線、大量的控制加工設備與工藝參數、精確的過程式控制制和材料的嚴格規范。產量和品質極大地依賴流程管控和優化決策。因此，製造企業不遺餘力地採用各種措施優化生產流程、調優控制參數、提高產品品質和產量，從而提高企業的競爭力。
在空間數據處理方面，TerraFly GeoCloud對多種在線空間數據分析。對傳統數據分析而言，其難點在於MapQL語句比較難寫，任務之間的關系比較復雜，順序執行之間空間數據分許效率較低。而FIU-Miner可有效解決以上三個難點。
總結而言，大數據的復雜特徵對數據挖掘在理論和演算法研究方面提出了新的要求和挑戰。大數據是現象，核心是挖掘數據中蘊含的潛在信息，並使它們發揮價值。數據挖掘是理論技術和實際應用的完美結合。數據挖掘是理論和實踐相結合的一個例子。

⑩ 智慧城市中的大數據挖掘與應用

智慧城市中的大數據挖掘與應用
智慧城市蘊含大數據
城市是生存繁衍最好的地方，城市是社會交往的地方，是文化享受的地方，按照城市的職能，我們讓它智能化，比如智慧安防、智慧環保、智慧能源、智慧城管、智慧養老、智慧國土規劃、智慧社區、智慧家居都是讓人有更好的環境來生存繁衍。在經濟發展方面，可以推動智慧製造、工業互聯網、物聯網。在文化享受方面，可以考慮智慧戶外流媒體、智慧教育、智慧旅遊等等。在社會交往方面，有智慧交通、購物、社會綜合管理。
在智慧城市的建設和應用中，將產生從TB到PB級越來越多的數據，從而進入大數據時代。2011年，Science專刊指出大數據時代已經到來，美國工程院院士也指出大數據可以讓我們實現海量數據在預測、建模、可視化和發現新規律等方面應用的時代就要到來，奧巴馬總統宣布美國政府正式啟動大數據研究發展計劃，奧巴馬認為大數據就是未來世界的「石油」，這個計劃要超過以前提出的「信息高速公路計劃」，智慧城市建設的潮流已經到來。
空間數據方面，空間的感測器資源，美國有185顆衛星，中國有91顆衛星，到2020年中國將有200多顆衛星，衛星每天往回傳輸的數據可以達到PB級，空間數據資源、處理資源、空間信息資源、地學知識庫資源，這些資源都可以傳到網上，通過可視化的服務，利用雲計算環境，包括計算資源、網路資源和存儲資源，來保證服務質量。
「天地圖」挖掘海量數據
為了充分研究這些海量空間大數據，我們研發了一個軟體，叫做「天地圖」，「天地圖」的數據已經超過了TB級，目前已經超過100TB。利用「4+1」傾斜相機城市三維模型，貴陽做了很多三維建模工作。通過大數據，我們可以監測上海的地表下沉問題，把雷達數據放在一起，進行數據分析和挖掘，自動地、隨時地檢測地表下沉，不同地區的下沉速度不同，上海大概每年下沉20毫米，遠郊區和市中心都在下沉。我們的檢測結果同上海市國土局對比，精度可以達到3.9毫米和2.5毫米。我們已經對上海、蘇州、天津、廣州等很多大城市進行了自動檢測。我們還監測了三峽，將來還要監測高鐵。
我國已建成世界最大的視頻監控網，2005年平安城市計劃啟動，現在我們已經在全國600個城市安裝了超過2000萬個攝像頭，投資超過3000多億，攝像頭的工作可以幫助我們保證城市的平安、交通的通暢，但是出現了大數據的問題，就是存不起，數據量太大導致無法存儲。我們為天津做了一個規劃，「十二五」末，天津將安裝60萬個攝像頭，按照公安部的要求，數據要保留3個月，有4600多個PB，1PB等於1000TB，比我們的空間數據還要大，如果這樣存下去，一年要花580多億，相當於去年西藏的GDP。同時，數據也查不準，發現問題以後，用人工去查，查不準，不可能用幾十萬個人去查數據，超過了人工處理的極限。此外，也防不住，案件破案效率、破案速度、破案質量不高，這是我們面臨的一個嚴峻的問題。
智慧交通方面，中國有13億人，數據量到了PB級，24小時都有流量，我們要把這些數據保存起來。安防方面，我們要「365天×24小時」管好城市的安防，數據量也很大。智慧養老方面，現在中國超過65歲的老人已經達到2億到2.5億，一個人從65歲活到90歲、100歲，如果把變化狀態記錄下來，可以使老人得到及時的救護和幫助。
目前，大數據依靠雲計算和數據挖掘。科學的發展經過了四個時代，最早靠經驗，後來靠理論，現在我們進入了數字發現知識的時代，雲計算就應運而生，把計算能力、存儲能力、交互能力放在雲端，這種服務叫雲計算服務，出現了基於雲計算的信息服務，今天走到了虛擬服務雲計算的時代，雲計算中心內部的生態鏈，在一個網路上，除了自身的計算資源之外，我們有一些商人做雲伺服器、集成服務等，這些人構成了一個鏈條，這個鏈條無所不在，為大家服務。
我們現在做了一個遙感雲，把海量的遙感數據，復雜的遙感處理與分析方法放在遠程的雲計算平台上，利用雲計算平台彈性的計算能力，用戶無需買數據、不需搭建環境，也不需要買軟體，只需要選擇數據和演算法後即可獲得計算結果，我們的服務不再是提供一個地鐵、提供一個文件拷貝和數據共享，而是基於雲計算的注冊服務。
遙感雲叫做OpenRS-Cloud，開放的遙感雲是不收錢的，可以檢查任務進來的速度，可以看計算機結果，把數據輸入進去，可以直接在瀏覽器上察看到結果，用戶使用非常方便。大家體會一下遙感雲服務實例，雲系統可以搜索下雨之前的衛星影像，還可以搜索下雨之後的衛星影像，有了這些影像以後自動生成了服務鏈條，可以得到遙感服務的結果。
雲計算與數據挖掘
位置雲可以將手機的導航衛星信號與其他定位相關的感測器信息傳輸到雲計算中心，通過實時解算，實現室內外高精度的手機連續位置定位和實時導航。
地理國情檢測需要，災情報告員需要，土地調查員和城管員都需要，這樣的系統可以把外面的衛星定位方法、室內的感測器定位方法、無線信號定位方法揉在一起，叫做混合定位。北斗正在做服務雲，中國北斗從2012年已經開始全面運營，有120字短報文特性，我們做了增強系統，按照220公里的距離，可以保證導航精度一秒鍾十個精度，在60公里以內，可以實現區域三頻厘米級精密定位。如果用GPS，信號完好率達44%，初始化時間只有40多秒。
我們推薦的是GPS雙頻加北斗三頻，可以保證平面精度1厘米、高程精度3.6厘米，提高了30%，完好率達100%，初始化時間只有6秒。
現在運營商做這個軟體，精密定位可能收1毛或者2毛，高精度導航性能分析，可用於智慧交通中的車輛控制和智能駕駛，物質的運送只能在慢車道，原來控制不住，有了米級精度便可以控制，如果犯規了，指揮中心可以實時了解。
數據挖掘方面，我們現實世界的數據不是我們需要的，我們需要的是信息，最後要的是知識，我們要從海量數據中挖掘、發現我們所需的知識。
視頻數據挖掘，要把安全行為進行智能分析，視頻數據自動理解，從而實現視頻數據自動壓縮，把PB數據壓縮下來，要推行智能設備就要解決一些問題，例如人體異常行為檢測，異常事件檢測，這是公安部門最感興趣的。如果計算機能做，可以對目標進行跟蹤，這就是我們需要的，自動地對物體中的運動目標進行檢測、分離、跟蹤，對其行為進行有效識別，如果有了這個軟體，視頻數據就能充分利用，正常人的活動可以刪去，只把可疑的數據留下來。
智慧城市是基於數字城市、物聯網和雲計算建立的現實世界與數字世界的融合，以實現對人和物的感知、控制和智能服務。感知是數字城市的功能，控制和智能服務是智慧的高級階段，智慧城市對經濟轉型發展、城市職能管理和對大眾的智慧服務具有廣闊的前景，使得人與自然更加協調。
做這件事情並不容易，首先要讓大家把網路基礎設施建設好，讓大家用的好、用的起，如果大家用不好、用不起，智慧化就等於零。專家和企業應該抓好技術創新和攻關研究，拉動智慧城市引起的數字服務產業的發展，更好地實現各種智能化的應用。
智慧城市建設是一把手工程，城市一把手要根據每個城市的特點做好頂層設計，統一規劃，分步實施。