雲速數據挖掘哪裡弄

『壹』 現在市面上有哪些好用的數據挖掘工具或者平台

樓主發現的不錯，收藏下。。正愁著沒有可以直接API調用的採集存儲工具呢，

『貳』 雲計算的海量數據挖掘工作是怎樣實現的

雲計算屬於新興技術領域，群英雲計算轉一篇關於問題的學術報告吧。對您應該有所幫助。

1引言

目前，人們正處於一個「無處不網、無時不網，人人上網、時時在線」的時代，圖靈獎獲得者吉姆·格雷（Jim Gray）認為，網路環境下每18個月產生的數據量等於過去幾千年的數據量之和。目前互聯網的數據具有海量增長、用戶廣泛、動態變化等特徵。2010年，QQ同時在線的用戶超過1億人，淘寶一年交易次數比上年增長150%，視頻服務Animoto在3天內通過Amazon將其服務能力迅速擴展至75萬用戶。

數據挖掘能夠發現隱含在大規模數據中的知識，提高信息服務的質量。如伊朗事件中twitter快速傳播假消息的識別、Amazon和淘寶網中商品關聯關系分析，以及優酷網中視頻個性化推薦等。海量數據挖掘在國家安全、國民經濟和現代服務業中具有廣泛應用，有助於提升網路環境下信息服務的質量，實現以人為本的信息服務。

從數據挖掘技術的發展歷史看，隨著互聯網的蓬勃發展，數據的規模越來越大，從KB級發展到TB甚至PB級海量數據；數據挖掘的對象也變得越來越復雜，從資料庫、到多媒體數據和復雜社會網路；數據挖掘的需求也從分類、聚類和關聯到復雜的演化和預測分析；挖掘過程中的交互方式從單機的人機交互發展到現在社會網路群體的交互。這種發展給數據挖掘帶來了巨大的挑戰：對於網路環境下產生的TB級和PB級的復雜數據，需要有高效的海量數據挖掘演算法；網路環境下大眾的廣泛參與，需要在數據挖掘演算法中能夠融入群體智慧；同時社會網路的迅速發展使得信息服務的個性化成為必然，要求能夠滿足即時組合的個性化挖掘服務。

雲計算是一種基於互聯網的、大眾參與的計算模式，其計算資源（包括計算能力、存儲能力、交互能力等）是動態、可伸縮、被虛擬化的，並以服務的方式提供 [1] 。具體表現在：雲計算的動態和可伸縮的計算能力為高效海量數據挖掘帶來可能性；雲計算環境下大眾參與的群體智能為研究集群體智慧的新的數據挖掘方法研究提供了環境；雲計算的服務化特徵使面向大眾的數據挖掘成為可能。同時，雲計算發展也離不開數據挖掘的支持，以搜索為例，基於雲計算的搜索包括網頁存儲、搜索處理和前端交互三大部分。數據挖掘在這幾部分中都有廣泛應用，例如網頁存儲中網頁去重、搜索處理中網頁排序和前端交互中的查詢建議，其中每部分都需要數據挖掘技術的支持。

因此，雲計算為海量和復雜數據對象的數據挖掘提供了基礎設施，為網路環境下面向大眾的數據挖掘服務帶來了機遇，同時也為數據挖掘研究提出了新的挑戰性課題。

下面將對並行編程模型、基於並行編程模型高效海量數據挖掘演算法，以及基於雲計算的海量數據挖掘服務相關研究進行綜述。

2並行編程模型相關方法

為了使用戶能夠通過簡單的開發來方便地達到並行計算的效果，研究人員提出了一系列的並行計算模型。並行計算模型在用戶需求和底層的硬體系統之間搭建橋梁使得並行演算法的表示變得更加直觀，對大規模數據的處理更加便捷。根據用戶使用硬體環境的不同，並行編程模型又可以分為在多核機器、GPU計算、大型計算機以及計算機集群上的多種類型。目前比較常用的並行編程介面和模型包括：

pThread介面[2]。pThread是在類Unix系統上進行多線程編程的通用API，為用戶提供了一系列對線程進行創建、管理和各類操作的函數，使用戶能夠方便地編寫多線程程序。

MPI模型[3]。MPI的全稱為消息傳遞介面（Message Passing Interface），它為用戶提供了一系列的介面，使用戶利用消息傳遞的方式來建立進程間的通信機制，從而方便地對各種演算法進行並行實現。

MapRece模型[4]。MapRece模型是由谷歌公司提出的並行編程框架，它首先為用戶提供分布式的文件系統，使用戶能方便地處理大規模數據；然後將所有的程序運算抽象為Map和Rece兩個基本操作，在Map階段模型將問題分解為更小規模的問題，並在集群的不同節點上執行，在Rece階段將結果歸並匯總。MapRece是一個簡單，但是非常有效的並行編程模型。

Pregel模型[5]。Pregel同樣是由谷歌公司提出的專門針對圖演算法的編程模型，能夠為大規模數據的圖演算法提供並行支持。一個典型的Pregel計算過程將在圖上進行一系列的超級步驟（SuperSteps），在每個超級步驟中，所有頂點的計算都並行地執行用戶定義的同一個函數，並通過一個「投票」機制來決定程序是否停止。

CUDA模型①。CUDA是由NVIDIA公司提出的一個基於GPU的並行計算模型。由於GPU在設計需求上與普通CPU不同，GPU通常被設計為能較慢地執行許多並發的線程，而不是較快的連續執行多個線程，這使得GPU在並行計算上有先天的優勢。CUDA為用戶提供了利用GPU計算的各種介面，使程序員能夠像在普通電腦上進行CPU編程那樣進行GPU程序的編寫。

此外還有OpenMP、PVM、OpenCL等各種並行編程模型和方法。這些並行編程和方法一般都提供了主流編程語言的實現，從而使得用戶能根據自身編程習慣來選用。

另一方面，隨著雲計算的不斷推廣，還出現了各種商用的並行計算/雲計算平台，為用戶提供並行計算服務。這其中比較著名的包括微軟的Azure平台、Amazon公司的EC2平台、IBM公司的藍雲平台、谷歌公司的Google App Engine等。各大IT公司也紛紛開發自己的並行計算模型/框架作為自身技術服務的基本平台，這使得並行計算技術得到了更加快速的發展。

3基於並行編程模型高效海量數據挖掘演算法研究

為了實現海量數據上的數據挖掘，大量分布式並行數據挖掘演算法被提出。Bhari et al[6]整理了一個十分詳盡的並行數據挖掘演算法文獻目錄，包含了關聯規則學習、分類、聚類、流數據挖掘四大類分布式數據挖掘演算法，同時還包括分布式系統、隱私保護等相關的研究工作。

MapRece並行編程模型具有強大的處理大規模數據的能力，因而是海量數據挖掘的理想編程平台。數據挖掘演算法通常需要遍歷訓練數據獲得相關的統計信息，用於求解或優化模型參數。在大規模數據上進行頻繁的數據訪問需要耗費大量運算時間。為了提高演算法效率，斯坦福大學Chu et al[7]提出了一種適用於大量機器學習演算法的通用並行編程方法。通過對經典的機器學習演算法進行分析可以發現，演算法學習過程中的運算都能轉化為若干在訓練數據集上的求和操作；求和操作可以獨立地在不同數據子集上進行，因此很容易在MapRece編程平台上實現並行化執行。將大規模的數據集分割為若乾子集分配給多個Mapper節點，在Mapper節點上分別執行各種求和操作得到中間結果，最後通過Rece節點將求和結果合並，實現學習演算法的並行執行。在該框架下，Chu et al實現了十種經典的數據挖掘演算法，包括線性回歸、樸素貝葉斯、神經網路、主成分分析和支持向量機等，相關成果在NIPS 2006會議上發表。

Ranger et al[8]提出了一個基於MapRece的應用程序編程介面Phoenix，支持多核和多處理器系統環境下的並行程序設計。Phoenix能夠進行緩存管理、錯誤恢復和並發管理。他們使用Phoenix實現了K-Means、主成分分析和線性回歸三種數據挖掘演算法。

Gillick et al[9]對單程學習（Single-pass）、迭代學習（Iterative Learning）和基於查詢的學習（Query-based Learning）三類機器學習演算法在MapRece框架下的性能分別做了評測。他們對並行學習演算法涉及到的如何在計算節點之間的共享數據、如何處理分布式存儲數據等問題進行了研究。

Mahout①是APS（Apache Software Foundation）旗下的一個開源數據挖掘項目，通過使用Apache Hadoop庫，可以實現大規模數據上的並行數據挖掘，包括分類、聚類、頻繁模式挖掘、回歸、降維等演算法，目前已經發布了四個版本。

4基於雲計算的海量數據挖掘服務研究

雲計算除了給用戶提供通用的並行編程模型和大規模數據處理能力之外，另一個重要的特點是為用戶提供開放的計算服務平台。在數據挖掘方向，現在也有一系列的系統被開發出來，面向公眾提供數據挖掘服務雲計算平台。

Talia et al[10]提出可以從四個層次提供雲計算數據挖掘服務：底層為組成數據挖掘演算法的基本步驟；第二層為單獨的數據挖掘服務，例如分類、聚類等；第三層為分布式的數據挖掘模式，例如並行分類、聚合式機器學習等；第四層為之前三層元素構成的完整的數據挖掘應用。在此設計基礎上，他們設計了基於雲計算的數據挖掘開放服務框架，並開發了一系列的數據挖掘服務系統，例如Weka4WS、Knowledge Grid、Mobile Data Mining Services、Mining@home等，用戶可以利用圖形界面定義自己的數據挖掘工作流，然後在平台上執行。

PDMiner[11]是由中國科學院計算技術研究所開發的基於Hadoop的並行分布式數據挖掘平台，該系統現在已經用於中國移動通信企業TB級實際數據的挖掘。PDMiner提供了一系列並行挖掘演算法和ETL操作組件，開發的ETL演算法絕大多數達到了線性加速比，同時具有很好的容錯性。PDMiner的開放式架構可以使用戶將演算法組件經過簡單配置方便地封裝載入到系統中。

此外，商業智能領域的各大公司也提供面向企業的大規模數據挖掘服務，例如微策略、IBM、Oracle等公司都擁有自己的基於雲計算的數據挖掘服務平台。

5總結和展望

通過雲計算的海量數據存儲和分布計算，為雲計算環境下的海量數據挖掘提供了新方法和手段，有效解決了海量數據挖掘的分布存儲和高效計算問題。開展基於雲計算特點的數據挖掘方法的研究，可以為更多、更復雜的海量數據挖掘問題提供新的理論與支撐工具。而作為傳統數據挖掘向雲計算的延伸和豐富，基於雲計算的海量數據挖掘將推動互聯網先進技術成果服務於大眾，是促進信息資源的深度分享和可持續利用的新方法、新途徑。

『叄』 如何通過網路營銷獲取有效客戶

做商業營銷說白了就是一個經營人脈的過程

人脈越廣關系網越大

業務做得越輕松

那麼企業如何獲取有效客戶呢？

想要獲得更多人脈

網路上有很多的方法可以進行嘗試

除了以上幾種方式

還可以嘗試雲速數據挖掘採集客戶信息

通過輸入行業關鍵字

選定要搜索的區域或位置

就可以迅速獲得客戶的資料及聯系方式

為企業迅速獲得人脈打下堅實地基礎

找到潛在客戶群只是做好營銷的第一步

完美的營銷行為還需要優質的產品和良好的服務

三者缺一不可