sqlserver提供哪些數據挖掘演算法

⑴ 對於社交網路的數據挖掘應該如何入手，使用哪些演算法

3月13日下午，南京郵電大學計算機學院、軟體學院院長、教授李濤在CIO時代APP微講座欄目作了題為《大數據時代的數據挖掘》的主題分享，深度詮釋了大數據及大數據時代下的數據挖掘。

眾所周知，大數據時代的大數據挖掘已成為各行各業的一大熱點。
一、數據挖掘
在大數據時代，數據的產生和收集是基礎，數據挖掘是關鍵，數據挖掘可以說是大數據最關鍵也是最基本的工作。通常而言，數據挖掘也稱為DataMining，或知識發現Knowledge Discovery from Data，泛指從大量數據中挖掘出隱含的、先前未知但潛在的有用信息和模式的一個工程化和系統化的過程。
不同的學者對數據挖掘有著不同的理解，但個人認為，數據挖掘的特性主要有以下四個方面：
1.應用性（A Combination of Theory and Application）：數據挖掘是理論演算法和應用實踐的完美結合。數據挖掘源於實際生產生活中應用的需求，挖掘的數據來自於具體應用，同時通過數據挖掘發現的知識又要運用到實踐中去，輔助實際決策。所以，數據挖掘來自於應用實踐，同時也服務於應用實踐，數據是根本，數據挖掘應以數據為導向，其中涉及到演算法的設計與開發都需考慮到實際應用的需求，對問題進行抽象和泛化，將好的演算法應用於實際中，並在實際中得到檢驗。
2.工程性（An Engineering Process）：數據挖掘是一個由多個步驟組成的工程化過程。數據挖掘的應用特性決定了數據挖掘不僅僅是演算法分析和應用，而是一個包含數據准備和管理、數據預處理和轉換、挖掘演算法開發和應用、結果展示和驗證以及知識積累和使用的完整過程。而且在實際應用中，典型的數據挖掘過程還是一個交互和循環的過程。
3.集合性（A Collection of Functionalities）：數據挖掘是多種功能的集合。常用的數據挖掘功能包括數據探索分析、關聯規則挖掘、時間序列模式挖掘、分類預測、聚類分析、異常檢測、數據可視化和鏈接分析等。一個具體的應用案例往往涉及多個不同的功能。不同的功能通常有不同的理論和技術基礎，而且每一個功能都有不同的演算法支撐。
4.交叉性（An Interdisciplinary Field）：數據挖掘是一門交叉學科，它利用了來自統計分析、模式識別、機器學習、人工智慧、信息檢索、資料庫等諸多不同領域的研究成果和學術思想。同時一些其他領域如隨機演算法、資訊理論、可視化、分布式計算和最優化也對數據挖掘的發展起到重要的作用。數據挖掘與這些相關領域的區別可以由前面提到的數據挖掘的3個特性來總結，最重要的是它更側重於應用。
綜上所述，應用性是數據挖掘的一個重要特性，是其區別於其他學科的關鍵，同時，其應用特性與其他特性相輔相成，這些特性在一定程度上決定了數據挖掘的研究與發展，同時，也為如何學習和掌握數據挖掘提出了指導性意見。如從研究發展來看，實際應用的需求是數據挖掘領域很多方法提出和發展的根源。從最開始的顧客交易數據分析（market basket analysis）、多媒體數據挖掘（multimedia data mining）、隱私保護數據挖掘（privacy-preserving data mining）到文本數據挖掘（text mining）和Web挖掘（Web mining），再到社交媒體挖掘（social media mining）都是由應用推動的。工程性和集合性決定了數據挖掘研究內容和方向的廣泛性。其中，工程性使得整個研究過程里的不同步驟都屬於數據挖掘的研究范疇。而集合性使得數據挖掘有多種不同的功能，而如何將多種功能聯系和結合起來，從一定程度上影響了數據挖掘研究方法的發展。比如，20世紀90年代中期，數據挖掘的研究主要集中在關聯規則和時間序列模式的挖掘。到20世紀90年代末，研究人員開始研究基於關聯規則和時間序列模式的分類演算法（如classification based on association），將兩種不同的數據挖掘功能有機地結合起來。21世紀初，一個研究的熱點是半監督學習（semi-supervised learning）和半監督聚類（semi-supervised clustering），也是將分類和聚類這兩種功能有機結合起來。近年來的一些其他研究方向如子空間聚類（subspace clustering）（特徵抽取和聚類的結合）和圖分類（graph classification）（圖挖掘和分類的結合）也是將多種功能聯系和結合在一起。最後，交叉性導致了研究思路和方法設計的多樣化。
前面提到的是數據挖掘的特性對研究發展及研究方法的影響，另外，數據挖掘的這些特性對如何學習和掌握數據挖掘提出了指導性的意見，對培養研究生、本科生均有一些指導意見，如應用性在指導數據挖掘時，應熟悉應用的業務和需求，需求才是數據挖掘的目的，業務和演算法、技術的緊密結合非常重要，了解業務、把握需求才能有針對性地對數據進行分析，挖掘其價值。因此，在實際應用中需要的是一種既懂業務，又懂數據挖掘演算法的人才。工程性決定了要掌握數據挖掘需有一定的工程能力，一個好的數據額挖掘人員首先是一名工程師，有很強大的處理大規模數據和開發原型系統的能力，這相當於在培養數據挖掘工程師時，對數據的處理能力和編程能力很重要。集合性使得在具體應用數據挖掘時，要做好底層不同功能和多種演算法積累。交叉性決定了在學習數據挖掘時要主動了解和學習相關領域的思想和技術。
因此，這些特性均是數據挖掘的特點，通過這四個特性可總結和學習數據挖掘。
二、大數據的特徵
大數據（bigdata）一詞經常被用以描述和指代信息爆炸時代產生的海量信息。研究大數據的意義在於發現和理解信息內容及信息與信息之間的聯系。研究大數據首先要理清和了解大數據的特點及基本概念，進而理解和認識大數據。
研究大數據首先要理解大數據的特徵和基本概念。業界普遍認為，大數據具有標準的「4V」特徵：
1.Volume（大量）：數據體量巨大，從TB級別躍升到PB級別。
2.Variety（多樣）：數據類型繁多，如網路日誌、視頻、圖片、地理位置信息等。
3.Velocity（高速）：處理速度快，實時分析，這也是和傳統的數據挖掘技術有著本質的不同。
4.Value（價值）：價值密度低，蘊含有效價值高，合理利用低密度價值的數據並對其進行正確、准確的分析，將會帶來巨大的商業和社會價值。
上述「4V」特點描述了大數據與以往部分抽樣的「小數據」的主要區別。然而，實踐是大數據的最終價值體現的唯一途徑。從實際應用和大數據處理的復雜性看，大數據還具有如下新的「4V」特點：
5.Variability（變化）：在不同的場景、不同的研究目標下數據的結構和意義可能會發生變化，因此，在實際研究中要考慮具體的上下文場景（Context）。
6.Veracity（真實性）：獲取真實、可靠的數據是保證分析結果准確、有效的前提。只有真實而准確的數據才能獲取真正有意義的結果。
7.Volatility（波動性）/Variance（差異）：由於數據本身含有噪音及分析流程的不規范性，導致採用不同的演算法或不同分析過程與手段會得到不穩定的分析結果。
8.Visualization（可視化）：在大數據環境下，通過數據可視化可以更加直觀地闡釋數據的意義，幫助理解數據，解釋結果。
綜上所述，以上「8V」特徵在大數據分析與數據挖掘中具有很強的指導意義。
三、大數據時代下的數據挖掘
在大數據時代，數據挖掘需考慮以下四個問題：
大數據挖掘的核心和本質是應用、演算法、數據和平台4個要素的有機結合。
因為數據挖掘是應用驅動的，來源於實踐，海量數據產生於應用之中。需用具體的應用數據作為驅動，以演算法、工具和平台作為支撐，最終將發現的知識和信息應用到實踐中去，從而提供量化的、合理的、可行的、且能產生巨大價值的信息。
挖掘大數據中隱含的有用信息需設計和開發相應的數據挖掘和學習演算法。演算法的設計和開發需以具體的應用數據作為驅動，同時在實際問題中得到應用和驗證，而演算法的實現和應用需要高效的處理平台，這個處理平台可以解決波動性問題。高效的處理平台需要有效分析海量數據，及時對多元數據進行集成，同時有力支持數據化對演算法及數據可視化的執行，並對數據分析的流程進行規范。
總之，應用、演算法、數據、平台這四個方面相結合的思想，是對大數據時代的數據挖掘理解與認識的綜合提煉，體現了大數據時代數據挖掘的本質與核心。這四個方面也是對相應研究方面的集成和架構，這四個架構具體從以下四個層面展開：
應用層（Application）：關心的是數據的收集與演算法驗證，關鍵問題是理解與應用相關的語義和領域知識。
數據層（Data）：數據的管理、存儲、訪問與安全，關心的是如何進行高效的數據使用。
演算法層（Algorithm）：主要是數據挖掘、機器學習、近似演算法等演算法的設計與實現。
平台層（Infrastructure）：數據的訪問和計算，計算平台處理分布式大規模的數據。
綜上所述，數據挖掘的演算法分為多個層次，在不同的層面有不同的研究內容，可以看到目前在做數據挖掘時的主要研究方向，如利用數據融合技術預處理稀疏、異構、不確定、不完整以及多來源數據；挖掘復雜動態變化的數據；測試通過局部學習和模型融合所得到的全局知識，並反饋相關信息給預處理階段；對數據並行分布化，達到有效使用的目的。
四、大數據挖掘系統的開發
1.背景目標
大數據時代的來臨使得數據的規模和復雜性都出現爆炸式的增長，促使不同應用領域的數據分析人員利用數據挖掘技術對數據進行分析。在應用領域中，如醫療保健、高端製造、金融等，一個典型的數據挖掘任務往往需要復雜的子任務配置，整合多種不同類型的挖掘演算法以及在分布式計算環境中高效運行。因此，在大數據時代進行數據挖掘應用的一個當務之急是要開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
之前提到一個數據挖掘有多種任務、多種功能及不同的挖掘演算法，同時，需要一個高效的平台。因此，大數據時代的數據挖掘和應用的當務之急，便是開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
2.相關產品
現有的數據挖掘工具
有Weka、SPSS和SQLServer，它們提供了友好的界面，方便用戶進行分析，然而這些工具並不適合進行大規模的數據分析，同時，在使用這些工具時用戶很難添加新的演算法程序。
流行的數據挖掘演算法庫
如Mahout、MLC++和MILK，這些演算法庫提供了大量的數據挖掘演算法。但這些演算法庫需要有高級編程技能才能進行任務配置和演算法集成。
最近出現的一些集成的數據挖掘產品
如Radoop和BC-PDM，它們提供友好的用戶界面來快速配置數據挖掘任務。但這些產品是基於Hadoop框架的，對非Hadoop演算法程序的支持非常有限。沒有明確地解決在多用戶和多任務情況下的資源分配。
3.FIU-Miner
為解決現有工具和產品在大數據挖掘中的局限性，我們團隊開發了一個新的平台——FIU-Miner，它代表了A Fast,Integrated,and User-Friendly System for Data Miningin Distributed Environment。它是一個用戶友好並支持在分布式環境中進行高效率計算和快速集成的數據挖掘系統。與現有數據挖掘平台相比，FIU-Miner提供了一組新的功能，能夠幫助數據分析人員方便並有效地開展各項復雜的數據挖掘任務。
與傳統的數據挖掘平台相比，它提供了一些新的功能，主要有以下幾個方面：
A.用戶友好、人性化、快速的數據挖掘任務配置。基於「軟體即服務」這一模式，FIU-Miner隱藏了與數據分析任務無關的低端細節。通過FIU-Miner提供的人性化用戶界面，用戶可以通過將現有演算法直接組裝成工作流，輕松完成一個復雜數據挖掘問題的任務配置，而不需要編寫任何代碼。
B.靈活的多語言程序集成。允許用戶將目前最先進的數據挖掘演算法直接導入系統演算法庫中，以此對分析工具集合進行擴充和管理。同時，由於FIU-Miner能夠正確地將任務分配到有合適運行環境的計算節點上，所以對這些導入的演算法沒有實現語言的限制。
C.異構環境中有效的資源管理。FIU-Miner支持在異構的計算環境中（包括圖形工作站、單個計算機、和伺服器等）運行數據挖掘任務。FIU-Miner綜合考慮各種因素（包括演算法實現、伺服器負載平衡和數據位置）來優化計算資源的利用率。
D.有效的程序調度和執行。
應用架構上包括用戶界面層、任務和系統管理層、邏輯資源層、異構的物理資源層。這種分層架構充分考慮了海量數據的分布式存儲、不同數據挖掘演算法的集成、多重任務的配置及系統用戶的交付功能。一個典型的數據挖掘任務在應用之中需要復雜的主任務配置，整合多種不同類型的挖掘演算法。因此，開發和建立這樣的計算平台和工具，支持應用領域的數據分析人員進行有效的分析是大數據挖掘中的一個重要任務。
FIU-Miner系統用在了不同方面：如高端製造業、倉庫智能管理、空間數據處理等，TerraFly GeoCloud是建立在TerraFly系統之上的、支持多種在線空間數據分析的一個平台。提供了一種類SQL語句的空間數據查詢與挖掘語言MapQL。它不但支持類SQL語句，更重要的是可根據用戶的不同要求，進行空間數據挖掘，渲染和畫圖查詢得到空間數據。通過構建空間數據分析的工作流來優化分析流程，提高分析效率。
製造業是指大規模地把原材料加工成成品的工業生產過程。高端製造業是指製造業中新出現的具有高技術含量、高附加值、強競爭力的產業。典型的高端製造業包括電子半導體生產、精密儀器製造、生物制葯等。這些製造領域往往涉及嚴密的工程設計、復雜的裝配生產線、大量的控制加工設備與工藝參數、精確的過程式控制制和材料的嚴格規范。產量和品質極大地依賴流程管控和優化決策。因此，製造企業不遺餘力地採用各種措施優化生產流程、調優控制參數、提高產品品質和產量，從而提高企業的競爭力。
在空間數據處理方面，TerraFly GeoCloud對多種在線空間數據分析。對傳統數據分析而言，其難點在於MapQL語句比較難寫，任務之間的關系比較復雜，順序執行之間空間數據分許效率較低。而FIU-Miner可有效解決以上三個難點。
總結而言，大數據的復雜特徵對數據挖掘在理論和演算法研究方面提出了新的要求和挑戰。大數據是現象，核心是挖掘數據中蘊含的潛在信息，並使它們發揮價值。數據挖掘是理論技術和實際應用的完美結合。數據挖掘是理論和實踐相結合的一個例子。
-
-

⑵ 常用的大數據分析軟體有哪些

數據分析軟體有Excel、SAS、R、SPSS、Tableau Software。

1、Excel

為Excel微軟辦公套裝軟體的一個重要的組成部分，它可以進行各種回數據的處理、答統計分析和輔助決策操作，廣泛地應用於管理、統計財經、金融等眾多領域。

5、Tableau Software

Tableau Software用來快速分析、可視化並分享信息。Tableau Desktop 是基於斯坦福大學突破性技術的軟體應用程序。它可以以在幾分鍾內生成美觀的圖表、坐標圖、儀表盤與報告。

⑶ 數據挖掘中的數據預處理技術有哪些，它們分別適用於哪些場合

一、數據挖掘工具分類數據挖掘工具根據其適用的范圍分為兩類：專用挖掘工具和通用挖掘工具。專用數據挖掘工具是針對某個特定領域的問題提供解決方案，在涉及演算法的時候充分考慮了數據、需求的特殊性，並作了優化。對任何領域，都可以開發特定的數據挖掘工具。例如，IBM公司的AdvancedScout系統針對NBA的數據，幫助教練優化戰術組合。特定領域的數據挖掘工具針對性比較強，只能用於一種應用；也正因為針對性強，往往採用特殊的演算法，可以處理特殊的數據，實現特殊的目的，發現的知識可靠度也比較高。通用數據挖掘工具不區分具體數據的含義，採用通用的挖掘演算法，處理常見的數據類型。通用的數據挖掘工具不區分具體數據的含義，採用通用的挖掘演算法，處理常見的數據類型。例如，IBM公司Almaden研究中心開發的QUEST系統，SGI公司開發的MineSet系統，加拿大SimonFraser大學開發的DBMiner系統。通用的數據挖掘工具可以做多種模式的挖掘，挖掘什麼、用什麼來挖掘都由用戶根據自己的應用來選擇。二、數據挖掘工具選擇需要考慮的問題數據挖掘是一個過程，只有將數據挖掘工具提供的技術和實施經驗與企業的業務邏輯和需求緊密結合，並在實施的過程中不斷的磨合，才能取得成功，因此我們在選擇數據挖掘工具的時候，要全面考慮多方面的因素，主要包括以下幾點：(1)可產生的模式種類的數量：分類，聚類，關聯等(2)解決復雜問題的能力(3)操作性能(4)數據存取能力(5)和其他產品的介面三、數據挖掘工具介紹：1.QUESTQUEST是IBM公司Almaden研究中心開發的一個多任務數據挖掘系統，目的是為新一代決策支持系統的應用開發提供高效的數據開采基本構件。系統具有如下特點：提供了專門在大型資料庫上進行各種開採的功能：關聯規則發現、序列模式發現、時間序列聚類、決策樹分類、遞增式主動開采等。各種開采演算法具有近似線性計算復雜度，可適用於任意大小的資料庫。演算法具有找全性，即能將所有滿足指定類型的模式全部尋找出來。為各種發現功能設計了相應的並行演算法。2.MineSetMineSet是由SGI公司和美國Standford大學聯合開發的多任務數據挖掘系統。MineSet集成多種數據挖掘演算法和可視化工具，幫助用戶直觀地、實時地發掘、理解大量數據背後的知識。MineSet有如下特點：MineSet以先進的可視化顯示方法聞名於世。支持多種關系資料庫。可以直接從Oracle、Informix、Sybase的表讀取數據，也可以通過SQL命令執行查詢。多種數據轉換功能。在進行挖掘前，MineSet可以去除不必要的數據項，統計、集合、分組數據，轉換數據類型，構造表達式由已有數據項生成新的數據項，對數據采樣等。操作簡單、支持國際字元、可以直接發布到Web。3.DBMinerDBMiner是加拿大SimonFraser大學開發的一個多任務數據挖掘系統，它的前身是DBLearn。該系統設計的目的是把關系資料庫和數據開採集成在一起，以面向屬性的多級概念為基礎發現各種知識。DBMiner系統具有如下特色：能完成多種知識的發現：泛化規則、特性規則、關聯規則、分類規則、演化知識、偏離知識等。綜合了多種數據開采技術：面向屬性的歸納、統計分析、逐級深化發現多級規則、元規則引導發現等方法。提出了一種互動式的類SQL語言——數據開采查詢語言DMQL。能與關系資料庫平滑集成。實現了基於客戶/伺服器體系結構的Unix和PC（Windows/NT）版本的系統。4.IntelligentMiner由美國IBM公司開發的數據挖掘軟體IntelligentMiner是一種分別面向資料庫和文本信息進行數據挖掘的軟體系列,它包括IntelligentMinerforData和IntelligentMinerforText。IntelligentMinerforData可以挖掘包含在資料庫、數據倉庫和數據中心中的隱含信息,幫助用戶利用傳統資料庫或普通文件中的結構化數據進行數據挖掘。它已經成功應用於市場分析、詐騙行為監測及客戶聯系管理等；IntelligentMinerforText允許企業從文本信息進行數據挖掘，文本數據源可以是文本文件、Web頁面、電子郵件、LotusNotes資料庫等等。5.SASEnterpriseMiner這是一種在我國的企業中得到採用的數據挖掘工具，比較典型的包括上海寶鋼配礦系統應用和鐵路部門在春運客運研究中的應用。SASEnterpriseMiner是一種通用的數據挖掘工具，按照"抽樣--探索--轉換--建模--評估"的方法進行數據挖掘。可以與SAS數據倉庫和OLAP集成，實現從提出數據、抓住數據到得到解答的"端到端"知識發現。6.SPSSClementineSPSSClementine是一個開放式數據挖掘工具，曾兩次獲得英國政府SMART創新獎，它不但支持整個數據挖掘流程，從數據獲取、轉化、建模、評估到最終部署的全部過程，還支持數據挖掘的行業標准--CRISP-DM。Clementine的可視化數據挖掘使得"思路"分析成為可能，即將集中精力在要解決的問題本身，而不是局限於完成一些技術性工作（比如編寫代碼）。提供了多種圖形化技術，有助理解數據間的關鍵性聯系，指導用戶以最便捷的途徑找到問題的最終解決法。7.資料庫廠商集成的挖掘工具SQLServer2000包含由Microsoft研究院開發的兩種數據挖掘演算法：Microsoft決策樹和Microsoft聚集。此外，SQLServer2000中的數據挖掘支持由第三方開發的演算法。Microsoft決策樹演算法：該演算法基於分類。演算法建立一個決策樹，用於按照事實數據表中的一些列來預測其他列的值。該演算法可以用於判斷最傾向於單擊特定標題（banner）或從某電子商務網站購買特定商品的個人。Microsoft聚集演算法：該演算法將記錄組合到可以表示類似的、可預測的特徵的聚集中。通常這些特徵可能是隱含或非直觀的。例如，聚集演算法可以用於將潛在汽車買主分組，並創建對應於每個汽車購買群體的營銷活動。，SQLServer2005在數據挖掘方面提供了更為豐富的模型、工具以及擴展空間。包括：可視化的數據挖掘工具與導航、8種數據挖掘演算法集成、DMX、XML/A、第三方演算法嵌入支持等等。OracleDataMining(ODM)是Oracle資料庫10g企業版的一個選件，它使公司能夠從最大的資料庫中高效地提取信息並創建集成的商務智能應用程序。數據分析人員能夠發現那些隱藏在數據中的模式和內涵。應用程序開發人員能夠在整個機構范圍內快速自動提取和分發新的商務智能—預測、模式和發現。ODM針對以下數據挖掘問題為Oracle資料庫10g提供支持：分類、預測、回歸、聚類、關聯、屬性重要性、特性提取以及序列相似性搜索與分析(BLAST)。所有的建模、評分和元數據管理操作都是通過OracleDataMining客戶端以及PL/SQL或基於Java的API來訪問的，並且完全在關系資料庫內部進行。IBMIntelligentMiner通過其世界領先的獨有技術，例如典型數據集自動生成、關聯發現、序列規律發現、概念性分類和可視化呈現，它可以自動實現數據選擇、數據轉換、數據發掘和結果呈現這一整套數據發掘操作。若有必要，對結果數據集還可以重復這一過程，直至得到滿意結果為止。現在，IBM的IntelligentMiner已形成系列，它幫助用戶從企業數據資產中識別和提煉有價值的信息。它包括分析軟體工具----IntelligentMinerforData和IBMIntelligentMinerforText，幫助企業選取以前未知的、有效的、可行的業務知識----如客戶購買行為，隱藏的關系和新的趨勢，數據來源可以是大型資料庫和企業內部或Internet上的文本數據源。然後公司可以應用這些信息進行更好、更准確的決策，獲得競爭優勢。

⑷ SqlServer里「多維和數據挖掘模式」和「表格模式」到底是什麼意思

表格、 多維和數據挖掘是SQLServerAnalysis Services 提供用於創建商業智能語義模型的兩種方法，還有一種方法是Power Pivot for SharePoint。

可以使用多種方法來實現針對不同業務和用戶需求量身定製的建模體驗。「多維」是建立在開放標准基礎之上的成熟技術，已由 BI 軟體的眾多供應商採用，但難以駕馭。「表格」提供一種關系建模方法，很多開發人員認為它更加直觀。

所有模型將部署為在 Analysis Services 實例上運行的資料庫，可以使用一套數據提供程序通過客戶端工具來訪問，並通過 Excel、Reporting Services、Power BI 和其他供應商的 BI 工具在互動式靜態報告中可視化。

表格和多維解決方案使用 SSDT 構建，旨在用於在獨立上運行的公司 BI 項目Analysis Services實例在本地和表格模型中，Azure Analysis Services中的伺服器雲。這兩個解決方案將生成可與 BI 客戶端輕松集成的高性能分析資料庫。然而，每個解決方案在創建、使用和部署方式上都存在不同。本主題的大部分內容比較了這兩種類型，以方便你找到適當的方法。