weka大數據挖掘

❶ 大數據挖掘通常用哪些軟體

大數據挖掘通常用的軟體有：
1.RapidMiner功能強大，它除了提供優秀的數據挖掘功能，還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。
2.R，R-programming的簡稱，統稱R。作為一款針對編程語言和軟體環境進行統計計算和制圖的免費軟體，它主要是由C語言和FORTRAN語言編寫的，並且很多模塊都是由R編寫的，這是R一個很大的特性
3.WEKA支持多種標准數據挖掘任務，包括數據預處理、收集、分類、回歸分析、可視化和特徵選取，由於功能多樣，讓它能夠被廣泛使用於很多不同的應用——包括數據分析以及預測建模的可視化和演算法當中。
4.Orange是一個基於Python語言的功能強大的開源工具，如果你碰巧是一個Python開發者，當需要找一個開源數據挖掘工具時，Orange必定是你的首選，當之無愧。
5.KNIME是一個開源的數據分析、報告和綜合平台，同時還通過其模塊化數據的流水型概念，集成了各種機器學習的組件和數據挖掘。

想要了解更多關於大數據挖掘的相關知識，推薦CDA數據分析課程，課程教你學企業需要的敏捷演算法建模能力。你可以學到前沿且實用的技術，挖掘數據的魅力;教你用可落地、易操作的數據科學思維和技術模板構建出優秀模型;聚焦策略分析技術及企業常用的分類、NLP、深度學習、特徵工程等數據演算法。點擊預約免費試聽課。

❷ Weka，RapidMiner,KNIME這些開源的數據挖掘工具可以用在Hadoop上嗎

weka，knime不是很清楚。。。RapidMiner 有個大數據擴展 Radoop，可以將數據挖掘流程推送到hadoop集群上運算。內最新版的RapidMiner 7.2, radoop也有永久免費版本容了，可以去rapidminerchina官網下載使用。

❸ 為什麼要進行數據挖掘

問題一：為什麼要進行數據挖掘和搜集客戶信息 數據挖掘技術在客戶關系管理中的典型應用
客戶獲取
客戶獲取的傳統方式一般是通過大量的媒體廣告、散發傳單等方式吸引新客戶。這種方式涉及面過廣不能做到有的放矢而且企業投入太大。數據挖掘技術可以從以往的市場活動中收集到的有用數據(主要是指潛在客戶反應模式分類)建立起數據挖掘模型。企業因此能夠了解真正的潛在客戶的特徵分類，從而在以蘆毀彎後的市場活動中做到有的放矢而不是傳統的憑經驗的猜想。
客戶細分
細分就是指將一個大的消費群體劃分成為一個個細分群體的動作，同屬一個細分群體的消費者彼此相似，而隸屬於不同細分群體的消費者是被視為不同的。比如將資料庫中的數據按照年齡的不同來組織存放這樣一個簡單的動作就是細分。細分可以讓用戶從比較高的層次上來觀察資料庫中的數據，細分可以讓人們用不同的方法對待處於不同細分群中的客戶。數據挖掘中的分類、聚類等技術可以讓用戶對資料庫中的數據按類別、年齡、職業、地址、喜好等企業感興趣的屬性進行客戶細分。客戶細分是企業確定產品和服務的基礎．也是建立客戶一對一營銷的基礎。
客戶贏利能力分析
就企業的客戶而言，企業的絕大部分利潤是來自於小部分的客戶，而對於企業來說很難確定哪些客戶是高利潤回報，哪些客戶是低利潤回報甚至是負利潤回報的。數據挖掘技術能幫助企業區分利潤回報不同的客戶。從而可以將資源更多的分配在高利潤回報的客戶身上以產生更大的利潤，同時減少低或負利潤回報客戶的投入。為此，在數據挖掘之前，企業應該建立一套計算利潤回報的優化目標方法。可以是簡單的計算，如某客戶身上產生的收入減去所有相應的支陪悶出，也可以是較復雜的公式。然後利用數據挖掘工具從交易記錄中挖掘相應的知識。
客戶的保持
隨著行業中競爭愈來愈激烈，人們普遍認識到獲得一個新客戶的開支比保持一個老客戶的開支要大得多。所以如何保持原來老的客戶，不讓他們流失就成為CRM的一個重要課題。在實際應用中，利用數據挖掘工具為已經流失的客戶建立模型，然後利用這些模型可以預測出現有客戶中將來可能流失的客戶，企業就能研究這些客戶的需求，並採取相應的措施防止其流失，從而達到保持客戶的目的。

問題二：數據挖掘為什麼要對數據進行分類 不太明白您說的分類是什麼意思？是在數據預處理階段，還是挖掘的目的？
如果在數據預處理階段，可能是只對某個領域的數據進行挖掘，從而可以得出更置信的結論；
如果是挖掘目的，也就是模型的輸出，這就比較好理解了。

問題三：數據挖掘具體要做什麼？ 數據挖掘是一個很大的方面。你會java，這個很好。可以從weka 這個工具學起來，他是一個java寫的工具包。對於一個具體問題，比如，怎麼獲取測試數據，對於數據怎麼預處理，這些weka都有直接的介面。
至於你說的建模，不是一句話可以說清楚，首先你肯定要調查這個領域做得比較好的有哪些方法，然後從中至少選取幾種方法，都要實現，做統計，歸納結果，選擇符合你數據集的。當然你的數據 *** 一定要有代表性余空，就是國際認可的，至於怎麼罰到這些數據，一般都是比較出名的論文引用的，這些就很可以。用的工具當然有很多，你不能局限於一種方式或者一種工具，不同情況下用不同的工具，根據實際需要選擇。比如你要做聚類，你選擇一個weka，做神經元，你可能會傾向於matlab，實際情況決定你選擇的工具。
流程方面：數據獲取------數據預處理-----完成預定的任務 這是一個大概的流程。這一套都可以用weka實現。對於數據挖掘而言，都是80%數據+20%演算法，數據很重要，演算法其實只是一個測試數據集的作用，這是一點看法，希望對你有幫助。

問題四：在數據挖掘之前為什麼要對原始數據進行預處理 數據中包含很多雜訊數據，需要去除不相關的數據，比如如分析無關的欄位
了解數據質量，有些數據質量不足以直接使用，如包含過多的缺失值，需要進行缺失值處理
數據欄位不能夠直接使用，需要派生新的欄位，以更好的進行進一步的數據挖掘
數據分散，需要將數據進行整合，例如追加表（增加行），或者合並表（增加列）
通過數據的預處理能夠很好的對數據有初步的認識和理解。
數據預處理推薦你一個數據挖掘軟體：SmartMining桌面版，它和SPSS modeler 一樣都是面板操作，預處理能力和計算能力都非常不錯

問題五：為什麼要進行數據采樣？ 作為一個快速發展的領域，數據挖掘的目的是從數據中抽取有效的模式或者是有用的規則。數據挖掘的任務一般分為關聯規則、分類及聚類。這些任務通常涉及到大量的數據集，在這些數據集中隱藏著有用的知識。稱一個數據集是大的，數據集要麼有大量的記錄，要麼有大量的屬性，或者是兩者的組合。具有大量的記錄將使與模型匹配所花費的時間變長，而具有大量的屬性將使模型佔用的空間變大。大數據集對數據挖掘的演算法來說是一個主要的障礙，在演算法進行模式搜索及模型匹配的過程中，經常需要在數據集上遍歷多遍，而將所有的數據集裝入物理內存又非常困難。當數據集越來越大時，數據挖掘領域有面臨著開發適合大數據集的演算法，因此，一個簡單有效的方法就是利用采樣來縮減數據的大小(即記錄的數量)，即取一個大數據集的一個子集。在數據挖掘的應用中，存在兩種方法進行采樣:一種方法是某些數據挖掘演算法在演算法執行過程中並不是使用數據集中的所有數據:另一種方法是在部分數據上運行演算法的結果與在整個數據集上得到的結果是相同的。這與在數據挖掘中使用的兩種采樣基本方法是不謀而合的。一種方法是將采樣嵌入到數據挖掘的演算法中;而另一種方法是采樣與數據挖掘演算法分別運行。但是，利用采樣可能帶來一個問題:在小概率的情況下其結果不準確，而在大概率的情況下其結果的相似性是非常好的.。其原因是，運行在整個數據集的子集上可能破壞了屬性間的內在相關性，這種相關性在高維數據問題中是非常復雜而且難以理解的。

問題六：數據挖掘為什麼要用java或python 主要是方便，python的第三方模塊很豐富，而且語法非常簡練，自由度很高，python的numpy、scipy、matplotlib模塊可以完成所有的spss的功能，而且可以根據自己的需要按照定製的方法對數據進行清洗、歸約，需要的情況下還可以跟sql進行連接，做機器學習，很多時候數據是從互聯網上用網路爬蟲收集的，python有urllib模塊，可以很簡單的完成這個工作，有些時候爬蟲收集數據還要對付某些網站的驗證碼，python有PIL模塊，可以方便的進行識別，如果需要做神經網路、遺傳演算法，scipy也可以完成這個工作，還有決策樹就用if-then這樣的代碼，做聚類不能局限於某幾種聚類，可能要根據實際情況進行調整，k-means聚類、DBSCAN聚類，有時候可能還要綜合兩種聚類方法對大規模數據進行聚類分析，這些都需要自行編碼來完成，此外，基於距離的分類方法，有很多距離表達方式可以選用，比如歐幾里得距離、餘弦距離、閔可夫斯基距離、城市塊距離，雖然並不復雜， 但是用python編程實現很方便，基於內容的分類方法，python有強大的nltk自然語言處理模塊，對語言片語進行切分、收集、分類、統計等。
綜上，就是非常非常方便，只要你對python足夠了解，你發現你可以僅僅使用這一個工具快速實現你的所有想法

問題七：數據分析和數據挖掘的深入學習為什麼重要 1、大數據（big data）：
指無法在可承受的時間范圍內用常規工具進行捕捉、管理和處理的數據 *** ，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產；
在維克托・邁爾-舍恩伯格及肯尼斯・庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）Veracity（真實性） 。
2、數據分析：
是指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們作出判斷，以便採取適當行動。
數據分析的數學基礎在20世紀早期就已確立，但直到計算機的出現才使得實際操作成為可能，並使得數據分析得以推廣。數據分析是數學與計算機科學相結合的產物。
3、數據挖掘（英語：Data mining）：
又譯為資料探勘、數據采礦。它是資料庫知識發現（英語：Knowledge-Discovery in Databases，簡稱：KDD)中的一個步驟。數據挖掘一般是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。數據挖掘通常與計算機科學有關，並通過統計、在線分析處理、情報檢索、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方法來實現上述目標。

問題八：數據分析和數據挖掘的區別是什麼？如何做好數據挖掘 大數據、數據分析、數據挖掘的區別是，大數據是互聯網的海量數據挖掘，而數據挖掘更多是針對內部企業行業小眾化的數據挖掘，數據分析就是進行做出針對性的分析和診斷，大數據需要分析的是趨勢和發展，數據挖掘主要發現的是問題和診斷：
1、大數據（big data）：
指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據 *** ，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產；
在維克托・邁爾-舍恩伯格及肯尼斯・庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）Veracity（真實性） 。
2、數據分析：
是指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們作出判斷，以便採取適當行動。
數據分析的數學基礎在20世紀早期就已確立，但直到計算機的出現才使得實際操作成為可能，並使得數據分析得以推廣。數據分析是數學與計算機科學相結合的產物。
3、數據挖掘（英語：Data mining）：
又譯為資料探勘、數據采礦。它是資料庫知識發現（英語：Knowledge-Discovery in Databases，簡稱：KDD)中的一個步驟。數據挖掘一般是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。數據挖掘通常與計算機科學有關，並通過統計、在線分析處理、情報檢索、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方法來實現上述目標。

問題九：在crm過程中為什麼要進行數據挖掘 挖掘大數據，進行分析，這樣才能發揮crm的作用，做好客戶關系管理。

❹ 大數據挖掘通常用哪些軟體

1.RapidMiner
只要是從事開源數據挖掘相關的業內人士都知道，RapidMiner在數據挖掘工具榜上虎踞榜首，叫好叫座。是什麼讓RapidMiner得到如此厚譽呢?首先，RapidMiner功能強大，它除了提供優秀的數據挖掘功能，還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。更厲害的是，它還提供來自WEKA(一種智能分析環境)和R腳本的學習方案、模型和演算法，讓它成為業界的一棵常春藤。
用Java語言編寫的RapidMiner，是通過基於模板的框架為用戶提供先進的分析技術的。它最大的好處就是，作為一個服務提供給用戶，而不是一款本地軟體，用戶無需編寫任何代碼，為用戶尤其是精於數據分析但不太懂編程的用戶帶來了極大的方便。
2.R-Programming
R語言被廣泛應用於數據挖掘、開發統計軟體以及數據分析中。你以為大名鼎鼎的R只有數據相關功能嗎?其實，它還提供統計和制圖技術，包括線性和非線性建模，經典的統計測試，時間序列分析、分類、收集等等。
R，R-programming的簡稱，統稱R。作為一款針對編程語言和軟體環境進行統計計算和制圖的免費軟體，它主要是由C語言和FORTRAN語言編寫的，並且很多模塊都是由R編寫的，這是R一個很大的特性。而且，由於出色的易用性和可擴展性，也讓R的知名度在近年來大大提高了，它也逐漸成為數據人常用的工具之一。
3.WEKA
WEKA支持多種標准數據挖掘任務，包括數據預處理、收集、分類、回歸分析、可視化和特徵選取，由於功能多樣，讓它能夠被廣泛使用於很多不同的應用——包括數據分析以及預測建模的可視化和演算法當中。它在GNU通用公共許可證下是免費的，這也是它與RapidMiner相比的優勢所在，因此，用戶可以按照自己的喜好選擇自定義，讓工具更為個性化，更貼合用戶的使用習慣與獨特需求。
很多人都不知道，WEKA誕生於農業領域數據分析，它的原生的非Java版本也因此被開發了出來。現在的WEKA是基於Java版本的，比較復雜。令人欣喜的是，當它日後添加了序列建模之後，將會變得更加強大，雖然目前並不包括在內。但相信隨著時間的推移，WEKA一定會交出一張很好看的成績單。
4.Orange
對很多數據人來說，Orange並不是一個陌生的名字，它不僅有機器學習的組件，還附加有生物信息和文本挖掘，可以說是充滿了數據分析的各種功能。而且，Orange的可視化編程和Python腳本如行雲流水，定能讓你擁有暢快的使用感。
Orange是一個基於Python語言的功能強大的開源工具，如果你碰巧是一個Python開發者，當需要找一個開源數據挖掘工具時，Orange必定是你的首選，當之無愧。無論是對於初學者還是專家級大神來說，這款與Python一樣簡單易學又功能強大的工具，都十分容易上手。
5.NLTK
著名的開源數據挖掘工具——NLTK，提供了一個語言處理工具，包括數據挖掘、機器學習、數據抓取、情感分析等各種語言處理任務，因此，在語言處理任務領域中，它一直處於不敗之地。
想要感受這款深受數據人喜愛的工具的用戶，只需要安裝NLTK，然後將一個包拖拽到最喜愛的任務中，就可以繼續葛優癱N日遊了，高智能性也是這款工具受人喜愛的最大原因之一。另外，它是用Python語言編寫的，用戶可以直接在上面建立應用，還可以自定義小任務，十分便捷。
6.KNIME
KNIME是一個開源的數據分析、報告和綜合平台，同時還通過其模塊化數據的流水型概念，集成了各種機器學習的組件和數據挖掘。我們都知道，提取、轉換和載入是數據處理最主要的三個部分，而這三個部分，KNIME均能出色地完成。同時，KNIME還為用戶提供了一個圖形化的界面，以便用戶對數據節點進行進一步的處理，十分貼心。
基於Eclipse，用Java編寫的KNIME擁有易於擴展和補充插件特性，還有可隨時添加的附加功能。值得一提的是，它的大量的數據集成模塊已包含在核心版本中。良好的性能，更讓KNIME引起了商業智能和財務數據分析的注意。

❺ WEKA數據挖掘服務大概需要多少錢，在淘寶上搜到「大數據部落」店鋪名價格20元，看評價蠻不錯的

根據數據服務的難度和工作量來判斷的，你要把具體的要求發給什麼寶買家，他會跟你評判，一般什麼寶上的這類價格都是計量單位，實際都是20元的倍數，

❻ 數據挖掘WEKA工具怎樣來用來進行文本分類有800多個測試文本，求大神給出具體的步驟和通俗易懂的

第一步，你要有中文的數據集；
第二步，數據集要准備成weka能處理的結構，這很好做到，回你把數據集壓縮了就答行了，因為它要求的格式是，一個類別的文件放一個文件夾下。但是還有一個問題，你的機器往往沒那麼多內存去處理這個數據集，那麼你可以選幾個類別出來，在每個類別中放幾十個文檔來做就可以了。
第三步，分詞。
第四步，使用weka wiki中的例子將數據集轉換成arff格式。

weka是一種機器學習演算法的集合，它可以用於分類，預測等。由於weka支持的數據格式是arff或csv的格式，因此在進行weka實驗的時候必須進行數據的預處理。一般，我們可以在EXCEL裡面導入TXT，然後另存為.CSV格式的文件（這個格式WEKA也是可以識別的），然後打開WEKA，–》TOOL–》 arffviewer中打開剛才的.CSV文件，另存為.arff就OK了！

❼ 常用的數據挖掘工具有哪些

市場上的數據挖掘工具一般分為三個組成部分：a、通用型工具；b、綜合／DSS／OLAP數據挖掘工具；c、快速發展的面向特定應用的工具。常用的數據挖掘工具有很多，例如：

1、思邁特軟體Smartbi的大數據挖掘平台：通過深度數據建模，為企業提供預測能力支持文本分析、五大類演算法和數據預處理，並為用戶提供一站式的流程式建模、拖拽式操作和可視化配置體驗。

2、Enterprise Miner 這是一種在我國的企業中得到採用的數據挖掘工具，比較典型的包括上海寶鋼配礦系統應用和鐵路部門在春運客運研究中的應用。SAS Enterprise Miner是一種通用的數據挖掘工具，按照「抽樣——探索——轉換——建模——評估」的方法進行數據挖掘。可以與SAS數據倉庫和OLAP集成，實現從提出數據、抓住數據到得到解答的「端到端」知識發現。

3、SPSS Clementine是一個開放式數據挖掘工具，曾兩次獲得英國政府SMART 創新獎，它不但支持整個數據挖掘流程，從數據獲取、轉化、建模、評估到最終部署的全部過程，還支持數據挖掘的行業標准——CRISP-DM。

更多的了解我們可以到思邁特軟體Smartbi了解一下。 在金融行業，全球財富500強的10家國內銀行中，有8家選用了思邁特軟體Smartbi；國內12家股份制銀行，已覆蓋8家；國內六大銀行，已簽約4家；國內排名前十的保險公司已經覆蓋6家；國內排名前十的證券公司已經覆蓋5家。

❽ 數據挖掘什麼軟體簡單

數據挖掘用什麼軟體
1.R是用於統計分析和圖形化的計算機語言及分析工具；

2.Weka可能是名氣最大的開源機器學習和數據挖掘軟體，但用起來並不方便，界面也簡單了點；

3.Tanagra 是使用圖形界面的數據挖掘軟體；4.RapidMiner現在流行的滾返罩勢頭在上升，但它的操作方式和商用軟體差別較大，不支持分析流程圖的方式，當包含的運算符比較多的時候就不容易查看了；

5.KNIME和Orange看起來都不錯，Orange界面看上去很清爽，但我發現它不支持中 文。推薦KNIME，同時安裝Weka和R擴展包。

對於普通用戶可以選 用界面友好易於使用的軟體，對於希望從事演算法開發的用戶則可以根據軟體開發工具不同（Java、R、C++、Python等）來選擇相應的軟體。
求推薦簡單好用的數據挖掘軟體 10分
那肯定是SPSS啊，網上自學教程也一堆，如果你不追求特別專業的，只是想數據可視化的基礎上有意思數據挖掘的功能，也可以用watson *** ytics，它還支持自然語言呢
常用的數據挖掘工具有哪些
RapidMiner、R、Weka、KNIME、GGobi、Orange，都是優秀的挖掘工具，可以依據自己的需要選擇。
常用數據挖掘工具有哪些
EXCEL MATLAB Origin 等等

當前流行的圖形可視化和數據分析軟體有Matlab，Mathmatica和Maple等。這些軟體功大鬧能強大，可滿足科技工作中的許多需要，但使用這些軟體需要一定的計算機編程知識和矩陣知識，並熟悉其中大量的函數和命令。而使用Origin就像使用Excel和Word那樣簡單，只需點擊滑鼠，選擇菜單命令就可以完成大部分工作，獲得滿意的結果。 但它又比excel要強大些。一般日常的話可以用Excel，然後載入宏，裡面有一些分析工具，不過有時需要資料庫軟體支持
學習數據挖掘一般要學哪些軟體和工具
1、WEKA

WEKA 原生的非 Java 版本主要是為了分析農業領域數據而開發的。該工具基於 Java 版本，是非常復雜的，並且應用在許多不同的應用中，包括數據分析以及預測建模的可視化和演算法。與 RapidMiner 相比優勢在於，它在 GNU 通用公共許可證下是免費的，因為用戶可以按照自己的喜好選擇自定義。

WEKA 支持多種標准數據挖掘任務，包括數據預處理、收集、分類、回歸分析、可視化和特徵選取。添加序列建模後，WEKA 將會變得更強大，但目前不包括在內。

2、RapidMiner

該工具是用 Java 語言編寫的，通過基於模板的框架提供先進的分析技術。該款工具最大的好處就是，用戶無需寫任何代碼。它是作為一個服務提供，而不是一款本地軟體。值得一提的是，該工具在數據挖掘工具榜上位列榜首。另外，除了數據挖掘，RapidMiner 還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。更厲害的是它還提供來自 WEKA(一種智能分析環境)和 R 腳本的學習方案、模型和演算法。

RapidMiner 分布在 AGPL 開源許可下，可以從 SourceForge 上下載。SourceForge 是一個開發者進行開發管理的集中式場所，大量開源項目在此落戶，其中就包括 *** 使用的 MediaWiki。

3、NLTK

當涉及到語言處理任務，沒有什麼可以打敗 NLTK。NLTK 提供了一個語言處理工具，包括數據挖掘、機器學習、數據抓取、情感分析等各種語言處理任務。

而您需要做的只是安裝 NLTK，然後將一個包拖拽到您最喜愛的任務中，您就可以去做其他事了。因為它是用 Python 語言編寫的，你可以在上面建立應用，還可以自定義它的小任務。

4、Orange

Python 之所以受歡迎，是因為它簡單易學並且功能強大。如果你是一個 Python 開發者，當涉及到需要找一個工作用的工具時，那麼沒世御有比 Orange 更合適的了。它是一個基於 Python 語言，功能強大的開源工具，並且對初學者和專家級的大神均適用。

此外，你肯定會愛上這個工具的可視化編程和 Python 腳本。它不僅有機器學習的組件，還附加有生物信息和文本挖掘，可以說是充滿了數據分析的各種功能。

5、KNIME

數據處理主要有三個部分：提取、轉換和載入。 而這三者 KNIME 都可以做到。 KNIME 為您提供了一個圖形化的用戶界面，以便對數據節點進行處理。它是一個開源的數據分析、報告和綜合平台，同時還通過其模塊化數據的流水型概念，集成了各種機 器學習的組件和數據挖掘，並引起了商業智能和財務數據分析的注意。

KNIME 是基於 Eclipse，用 Java 編寫的，並且易於擴展和補充插件。其附加功能可隨時添加，並且其大量的數據集成模塊已包含在核心版本中。

6、R-Programming

如果我告訴你R項目，一個 GNU 項目，是由 R(R-programming簡稱，以下統稱R)自身編寫的，你會怎麼想?它主要是由 C 語言和 FORTRAN 語言編寫的，並且很多模塊都是由 R 編寫的，這是一款針對編程語言和軟體環境進行統計計算和制圖的免費軟體。

R語言被廣泛應用於數據挖掘，以及開發統計軟體和數據分析中。近年來，易用性和可擴展性也大大提高了 R 的知名度。除了數據，它還提供統計和制圖技術，包括線性和非線性建模，經典的統計測試，時間序列分析、分類、收......
學習數據挖掘一般要學哪些軟體和工具
1、WEKA

WEKA 原生的非 Java 版本主要是為了分析農業領域數據而開發的。該工具基於 Java 版本，是非常復雜的，並且應用在許多不同的應用中，包括數據分析以及預測建模的可視化和演算法。與 RapidMiner 相比優勢在於，它在 GNU 通用公共許可證下是免費的，因為用戶可以按照自己的喜好選擇自定義。

WEKA 支持多種標准數據挖掘任務，包括數據預處理、收集、分類、回歸分析、可視化和特徵選取。添加序列建模後，WEKA 將會變得更強大，但目前不包括在內。

2、RapidMiner

該工具是用 Java 語言編寫的，通過基於模板的框架提供先進的分析技術。該款工具最大的好處就是，用戶無需寫任何代碼。它是作為一個服務提供，而不是一款本地軟體。值得一提的是，該工具在數據挖掘工具榜上位列榜首。另外，除了數據挖掘，RapidMiner 還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。更厲害的是它還提供來自 WEKA(一種智能分析環境)和 R 腳本的學習方案、模型和演算法。

RapidMiner 分布在 AGPL 開源許可下，可以從 SourceForge 上下載。SourceForge 是一個開發者進行開發管理的集中式場所，大量開源項目在此落戶，其中就包括 *** 使用的 MediaWiki。

3、NLTK

當涉及到語言處理任務，沒有什麼可以打敗 NLTK。NLTK 提供了一個語言處理工具，包括數據挖掘、機器學習、數據抓取、情感分析等各種語言處理任務。

而您需要做的只是安裝 NLTK，然後將一個包拖拽到您最喜愛的任務中，您就可以去做其他事了。因為它是用 Python 語言編寫的，你可以在上面建立應用，還可以自定義它的小任務。
目前業界常用的數據挖掘分析工具有哪些
數據分析的概念太寬泛了，做需要的是側重於數據展示、數據挖掘、還是數據存儲的？是個人用還是企業、部門用呢？應用的場景是製作簡單的個人圖表，還是要做銷售、財務還是供應鏈的分析？

那就說說應用最廣的BI吧，企業級應用，其實功能上已經涵蓋了我上面所述的部分，主要用於數據整合，構建分析，展示數據供決策分析的，譬如FineBI，是能夠」智能」分析數據的工具了。
哪個軟體建立資料庫比較簡單好用
隨著數據大數據的發展，數據安全已經上升到一個很高的高度。隨著國家對數據安全的重視,國產資料庫開始走進中國個大企業，其中不乏 *** 、國企。

實時資料庫系統是開發實時控制系統、數據採集系統、CIMS系統等的支撐軟體。在流程行業中，大量使用實時資料庫系統進行控制系統監控，系統先進控制和優化控制，並為企業的生產管理和調度、數據分析、決策支持及遠程在線瀏覽提供實時數據服務和多種數據管理功能。實時資料庫已經成為企業信息化的基礎數據平台，可直接實時採集、獲取企業運行過程中的各種數據，並將其轉化為對各類業務有效的公共信息，滿足企業生產管理、企業過程監控、企業經營管理之間對實時信息完整性、一致性、安全共享的需求，可為企業自動化系統與管理信息系統間建立起信息溝通的橋梁。幫助企業的各專業管理部門利用這些關鍵的實時信息，提高生產銷售的營運效率。如果你想定製這款國產資料庫 可以打 前面是 一三六 中間是 六一二零 末尾是 四一四七

北京開運聯合信息技術股份有限公司-實時性工業資料庫軟體（CreatRun Database ）

實時性工業資料庫軟體（CreatRun Database ）是什麼？

1、實時性工業資料庫軟體（CreatRun Database ） 是開運聯合公司針對行業應用，獨立研發的，擁有全部自主知識產權的企業級實時/歷史資料庫平台。為企業監控生產情況、計算性能指標、進行事故分析和對設備啟停分析診斷、故障預防等提供重要的數據保障。

2、實時性工業資料庫軟體（CreatRun Database ） 可廣泛用於工業控制自動化數據的高速採集和存儲，提供高速、海量數據存儲和基礎分析能力。

3、實時性工業資料庫軟體（CreatRun Database ） 可隨時觀察以及在線分析生產過程。長期保存的歷史數據不僅可以重現歷史生產情況，也使大規模數據挖掘成為可能。 提供企業生產信息管理解決方案，可以有效應對「從小到大」 「由近及遠」 的各種企業級數據應用。

4、CreatRun Database 可在線按照時間序列以毫秒級精度自動採集企業的各類過程自動化系統中的生產數據，高效壓縮並存儲。同時可向用戶和應用程序提供實時和歷史數據，使得用戶可隨時觀察以及在線分析生產過程。長期保存的歷史數據不僅可以重現歷史生產情況，也使大規模數據挖掘成為可能。

【工業軟體開發】實時性工業資料庫軟體（CreatRun Database ）系統主要技術指標:

支持數據類型：digital、int16、int32、float16、float32、float64、String等類型

標簽容量：200,000 Tag

數據容量：TB級

客戶端並發用戶數：500 個

生產過程數據採集時間響應速度：<500 毫秒

時間戳解析度：毫秒

存儲速度：>100,000 輸入值/秒存檔數據回取事務吞吐量：>2,000,000 輸出值/秒

實時性工業資料庫軟體（CreatRun Database ）系統特性——高可用性:

1、高效的數據存儲策略及壓縮演算法「死區例外+可變斜率壓縮演算法 」，精確到每個Tag的壓縮配置，有效提高了歷史數據存儲性能，節約磁碟空間.

2、高速的數據緩存機制，使並行訪問鎖域粒度精確到「Block（1KBytes）」，實現了並行訪問能力的最大化。使歷史數據訪問路由復雜度「最小化、均衡化，扁平化」，不界定「冷熱」數據，所有數據訪問時間成本一致，同時提供均衡訪問特性和最大遠程數據訪問友好度。

3、Creat RUN ......
數據挖掘工具一般都有哪些
數據挖掘工具有國外的Qlik，國內的有永洪，收費是肯定的，你可以先去找些可以免費試用的挖掘工具，國內的ETHINK平台好像可以
數據挖掘工具有哪些？
SQL Server是資料庫，但內建數據挖掘功能，若提到工具的話，大概有SAS, SPSS, Statistica(Dell), R, Revolution R...

❾ 大數據研究常用軟體工具與應用場景

大數據研究常用軟體工具與應用場景

如今，大數據日益成為研究行業的重要研究目標。面對其高數據量、多維度與異構化的特點，以及分析方法思路的擴展，傳統統計工具已經難以應對。

工欲善其事，必先利其器。眾多新的軟體分析工具作為深入大數據洞察研究的重要助力， 也成為數據科學家所必須掌握的知識技能。

然而，現實情況的復雜性決定了並不存在解決一切問題的終極工具。實際研究過程中，需要根據實際情況靈活選擇最合適的工具（甚至多種工具組合使用），才能更好的完成研究探索。

為此，本文針對研究人員（非技術人員）的實際情況，介紹當前大數據研究涉及的一些主要工具軟體（因為相關軟體眾多，只介紹常用的），並進一步闡述其應用特點和適合的場景，以便於研究人員能有的放矢的學習和使用。

基礎篇

傳統分析/商業統計

Excel、SPSS、SAS 這三者對於研究人員而言並不陌生。

Excel 作為電子表格軟體，適合簡單統計（分組/求和等）需求，由於其方便好用，功能也能滿足很多場景需要，所以實際成為研究人員最常用的軟體工具。其缺點在於功能單一，且可處理數據規模小（這一點讓很多研究人員尤為頭疼）。這兩年Excel在大數據方面（如地理可視化和網路關系分析）上也作出了一些增強，但應用能力有限。

SPSS（SPSS Statistics)和SAS作為商業統計軟體，提供研究常用的經典統計分析（如回歸、方差、因子、多變數分析等）處理。
SPSS 輕量、易於使用，但功能相對較少，適合常規基本統計分析
SAS 功能豐富而強大（包括繪圖能力），且支持編程擴展其分析能力，適合復雜與高要求的統計性分析。

上述三個軟體在面對大數據環境出現了各種不適，具體不再贅述。但這並不代表其沒有使用價值。如果使用傳統研究方法論分析大數據時，海量原始數據資源經過前期處理（如降維和統計匯總等）得到的中間研究結果，就很適合使用它們進行進一步研究。

數據挖掘

數據挖掘作為大數據應用的重要領域，在傳統統計分析基礎上，更強調提供機器學習的方法，關注高維空間下復雜數據關聯關系和推演能力。代表是SPSS Modeler（注意不是SPSS Statistics，其前身為Clementine）

SPSS Modeler 的統計功能相對有限, 主要是提供面向商業挖掘的機器學習演算法（決策樹、神經元網路、分類、聚類和預測等）的實現。同時，其數據預處理和結果輔助分析方面也相當方便，這一點尤其適合商業環境下的快速挖掘。不過就處理能力而言，實際感覺難以應對億級以上的數據規模。

另一個商業軟體 Matlab 也能提供大量數據挖掘的演算法，但其特性更關注科學與工程計算領域。而著名的開源數據挖掘軟體Weka，功能較少，且數據預處理和結果分析也比較麻煩，更適合學術界或有數據預處理能力的使用者。

中級篇

1、通用大數據可視化分析

近兩年來出現了許多面向大數據、具備可視化能力的分析工具，在商業研究領域，TableAU無疑是卓越代表。

TableAU 的優勢主要在於支持多種大數據源/格式，眾多的可視化圖表類型，加上拖拽式的使用方式，上手快，非常適合研究員使用，能夠涵蓋大部分分析研究的場景。不過要注意，其並不能提供經典統計和機器學習演算法支持， 因此其可以替代Excel, 但不能代替統計和數據挖掘軟體。另外，就實際處理速度而言，感覺面對較大數據（實例超過3000萬記錄）時，並沒有官方介紹的那麼迅速。

2 、關系分析

關系分析是大數據環境下的一個新的分析熱點（比如信息傳播圖、社交關系網等），其本質計算的是點之間的關聯關系。相關工具中，適合數據研究人員的是一些可視化的輕量桌面型工具，最常用的是Gephi。

Gephi 是免費軟體，擅長解決圖網路分析的很多需求，其插件眾多，功能強且易用。我們經常看到的各種社交關系/傳播譜圖, 很多都是基於其力導向圖（Force directed graph）功能生成。但由於其由java編寫，限制了處理性能（感覺處理超過10萬節點/邊時常陷入假死），如分析百萬級節點（如微博熱點傳播路徑）關系時，需先做平滑和剪枝處理。 而要處理更大規模（如億級以上）的關系網路（如社交網路關系）數據，則需要專門的圖關系資料庫（如GraphLab/GraphX）來支撐了，其技術要求較高，此處不再介紹。

3、時空數據分析

當前很多軟體（包括TableAU）都提供了時空數據的可視化分析功能。但就使用感受來看，其大都只適合較小規模（萬級）的可視化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千萬級以上的時空數據，比如新浪微博上億用戶發文的時間與地理分布（從省到街道多級粒度的探索）時，推薦使用 NanoCubes（http://www.nanocubes.net/）。該開源軟體可在日常的辦公電腦上提供對億級時空數據的快速展示和多級實時鑽取探索分析。下圖是對芝加哥犯罪時間地點的分析，網站有更多的實時分析的演示例子

4、文本/非結構化分析

基於自然語言處理（NLP）的文本分析，在非結構化內容（如互聯網/社交媒體/電商評論）大數據的分析方面（甚至調研開放題結果分析）有重要用途。其應用處理涉及分詞、特徵抽取、情感分析、多主題模型等眾多內容。

由於實現難度與領域差異，當前市面上只有一些開源函數包或者雲API（如BosonNLP）提供一些基礎處理功能，尚未看到適合商業研究分析中文文本的集成化工具軟體（如果有誰知道煩請通知我）。在這種情況下，各商業公司（如HCR）主要依靠內部技術實力自主研發適合業務所需的分析功能。

高級篇

前面介紹的各種大數據分析工具，可應對的數據都在億級以下，也以結構化數據為主。當實際面臨以下要求： 億級以上/半實時性處理/非標准化復雜需求 ，通常就需要藉助編程（甚至藉助於Hadoop/Spark等分布式計算框架）來完成相關的分析。 如果能掌握相關的編程語言能力，那研究員的分析能力將如虎添翼。

當前適合大數據處理的編程語言，包括：

R語言——最適合統計研究背景的人員學習，具有豐富的統計分析功能庫以及可視化繪圖函數可以直接調用。通過Hadoop-R更可支持處理百億級別的數據。 相比SAS，其計算能力更強，可解決更復雜更大數據規模的問題。

Python語言——最大的優勢是在文本處理以及大數據量處理場景，且易於開發。在相關分析領域，Python代替R的勢頭越來越明顯。

Java語言——通用性編程語言，能力最全面，擁有最多的開源大數據處理資源（統計、機器學習、NLP等等）直接使用。也得到所有分布式計算框架（Hadoop/Spark）的支持。

前面的內容介紹了面向大數據研究的不同工具軟體/語言的特點和適用場景。 這些工具能夠極大增強研究員在大數據環境下的分析能力，但更重要的是研究員要發揮自身對業務的深入理解，從數據結果中洞察發現有深度的結果，這才是最有價值的。

以上是小編為大家分享的關於大數據研究常用軟體工具與應用場景的相關內容，更多信息可以關注環球青藤分享更多干貨

❿ 大數據時代的數據怎麼挖掘

3月13日下午，南京郵電大學計算機學院、軟體學院院長、教授李濤在CIO時代微講座欄目作了題為《大數據時代的數據挖掘》的主題分享，深度詮釋了大數據及大數據時代下的數據挖掘。

眾所周知，大數據時代的大數據挖掘已成為各行各業的一大熱點。
一、數據挖掘
在大數據時代，數據的產生和收集是基礎，數據挖掘是關鍵，數據挖掘可以說是大數據最關鍵也是最基本的工作。通常而言，數據挖掘也稱為DataMining，或知識發現Knowledge Discovery from Data，泛指從大量數據中挖掘出隱含的、先前未知但潛在的有用信息和模式的一個工程化和系統化的過程。
不同的學者對數據挖掘有著不同的理解，但個人認為，數據挖掘的特性主要有以下四個方面：
1.應用性（A Combination of Theory and Application）：數據挖掘是理論演算法和應用實踐的完美結合。數據挖掘源於實際生產生活中應用的需求，挖掘的數據來自於具體應用，同時通過數據挖掘發現的知識又要運用到實踐中去，輔助實際決策。所以，數據挖掘來自於應用實踐，同時也服務於應用實踐，數據是根本，數據挖掘應以數據為導向，其中涉及到演算法的設計與開發都需考慮到實際應用的需求，對問題進行抽象和泛化，將好的演算法應用於實際中，並在實際中得到檢驗。
2.工程性（An Engineering Process）：數據挖掘是一個由多個步驟組成的工程化過程。數據挖掘的應用特性決定了數據挖掘不僅僅是演算法分析和應用，而是一個包含數據准備和管理、數據預處理和轉換、挖掘演算法開發和應用、結果展示和驗證以及知識積累和使用的完整過程。而且在實際應用中，典型的數據挖掘過程還是一個交互和循環的過程。
3.集合性（A Collection of Functionalities）：數據挖掘是多種功能的集合。常用的數據挖掘功能包括數據探索分析、關聯規則挖掘、時間序列模式挖掘、分類預測、聚類分析、異常檢測、數據可視化和鏈接分析等。一個具體的應用案例往往涉及多個不同的功能。不同的功能通常有不同的理論和技術基礎，而且每一個功能都有不同的演算法支撐。
4.交叉性（An Interdisciplinary Field）：數據挖掘是一門交叉學科，它利用了來自統計分析、模式識別、機器學習、人工智慧、信息檢索、資料庫等諸多不同領域的研究成果和學術思想。同時一些其他領域如隨機演算法、資訊理論、可視化、分布式計算和最優化也對數據挖掘的發展起到重要的作用。數據挖掘與這些相關領域的區別可以由前面提到的數據挖掘的3個特性來總結，最重要的是它更側重於應用。
綜上所述，應用性是數據挖掘的一個重要特性，是其區別於其他學科的關鍵，同時，其應用特性與其他特性相輔相成，這些特性在一定程度上決定了數據挖掘的研究與發展，同時，也為如何學習和掌握數據挖掘提出了指導性意見。如從研究發展來看，實際應用的需求是數據挖掘領域很多方法提出和發展的根源。從最開始的顧客交易數據分析（market basket analysis）、多媒體數據挖掘（multimedia data mining）、隱私保護數據挖掘（privacy-preserving data mining）到文本數據挖掘（text mining）和Web挖掘（Web mining），再到社交媒體挖掘（social media mining）都是由應用推動的。工程性和集合性決定了數據挖掘研究內容和方向的廣泛性。其中，工程性使得整個研究過程里的不同步驟都屬於數據挖掘的研究范疇。而集合性使得數據挖掘有多種不同的功能，而如何將多種功能聯系和結合起來，從一定程度上影響了數據挖掘研究方法的發展。比如，20世紀90年代中期，數據挖掘的研究主要集中在關聯規則和時間序列模式的挖掘。到20世紀90年代末，研究人員開始研究基於關聯規則和時間序列模式的分類演算法（如classification based on association），將兩種不同的數據挖掘功能有機地結合起來。21世紀初，一個研究的熱點是半監督學習（semi-supervised learning）和半監督聚類（semi-supervised clustering），也是將分類和聚類這兩種功能有機結合起來。近年來的一些其他研究方向如子空間聚類（subspace clustering）（特徵抽取和聚類的結合）和圖分類（graph classification）（圖挖掘和分類的結合）也是將多種功能聯系和結合在一起。最後，交叉性導致了研究思路和方法設計的多樣化。
前面提到的是數據挖掘的特性對研究發展及研究方法的影響，另外，數據挖掘的這些特性對如何學習和掌握數據挖掘提出了指導性的意見，對培養研究生、本科生均有一些指導意見，如應用性在指導數據挖掘時，應熟悉應用的業務和需求，需求才是數據挖掘的目的，業務和演算法、技術的緊密結合非常重要，了解業務、把握需求才能有針對性地對數據進行分析，挖掘其價值。因此，在實際應用中需要的是一種既懂業務，又懂數據挖掘演算法的人才。工程性決定了要掌握數據挖掘需有一定的工程能力，一個好的數據額挖掘人員首先是一名工程師，有很強大的處理大規模數據和開發原型系統的能力，這相當於在培養數據挖掘工程師時，對數據的處理能力和編程能力很重要。集合性使得在具體應用數據挖掘時，要做好底層不同功能和多種演算法積累。交叉性決定了在學習數據挖掘時要主動了解和學習相關領域的思想和技術。
因此，這些特性均是數據挖掘的特點，通過這四個特性可總結和學習數據挖掘。
二、大數據的特徵
大數據（bigdata）一詞經常被用以描述和指代信息爆炸時代產生的海量信息。研究大數據的意義在於發現和理解信息內容及信息與信息之間的聯系。研究大數據首先要理清和了解大數據的特點及基本概念，進而理解和認識大數據。
研究大數據首先要理解大數據的特徵和基本概念。業界普遍認為，大數據具有標準的「4V」特徵：
1.Volume（大量）：數據體量巨大，從TB級別躍升到PB級別。
2.Variety（多樣）：數據類型繁多，如網路日誌、視頻、圖片、地理位置信息等。
3.Velocity（高速）：處理速度快，實時分析，這也是和傳統的數據挖掘技術有著本質的不同。
4.Value（價值）：價值密度低，蘊含有效價值高，合理利用低密度價值的數據並對其進行正確、准確的分析，將會帶來巨大的商業和社會價值。
上述「4V」特點描述了大數據與以往部分抽樣的「小數據」的主要區別。然而，實踐是大數據的最終價值體現的唯一途徑。從實際應用和大數據處理的復雜性看，大數據還具有如下新的「4V」特點：
5.Variability（變化）：在不同的場景、不同的研究目標下數據的結構和意義可能會發生變化，因此，在實際研究中要考慮具體的上下文場景（Context）。
6.Veracity（真實性）：獲取真實、可靠的數據是保證分析結果准確、有效的前提。只有真實而准確的數據才能獲取真正有意義的結果。
7.Volatility（波動性）/Variance（差異）：由於數據本身含有噪音及分析流程的不規范性，導致採用不同的演算法或不同分析過程與手段會得到不穩定的分析結果。
8.Visualization（可視化）：在大數據環境下，通過數據可視化可以更加直觀地闡釋數據的意義，幫助理解數據，解釋結果。
綜上所述，以上「8V」特徵在大數據分析與數據挖掘中具有很強的指導意義。
三、大數據時代下的數據挖掘
在大數據時代，數據挖掘需考慮以下四個問題：
大數據挖掘的核心和本質是應用、演算法、數據和平台4個要素的有機結合。
因為數據挖掘是應用驅動的，來源於實踐，海量數據產生於應用之中。需用具體的應用數據作為驅動，以演算法、工具和平台作為支撐，最終將發現的知識和信息應用到實踐中去，從而提供量化的、合理的、可行的、且能產生巨大價值的信息。
挖掘大數據中隱含的有用信息需設計和開發相應的數據挖掘和學習演算法。演算法的設計和開發需以具體的應用數據作為驅動，同時在實際問題中得到應用和驗證，而演算法的實現和應用需要高效的處理平台，這個處理平台可以解決波動性問題。高效的處理平台需要有效分析海量數據，及時對多元數據進行集成，同時有力支持數據化對演算法及數據可視化的執行，並對數據分析的流程進行規范。
總之，應用、演算法、數據、平台這四個方面相結合的思想，是對大數據時代的數據挖掘理解與認識的綜合提煉，體現了大數據時代數據挖掘的本質與核心。這四個方面也是對相應研究方面的集成和架構，這四個架構具體從以下四個層面展開：
應用層（Application）：關心的是數據的收集與演算法驗證，關鍵問題是理解與應用相關的語義和領域知識。
數據層（Data）：數據的管理、存儲、訪問與安全，關心的是如何進行高效的數據使用。
演算法層（Algorithm）：主要是數據挖掘、機器學習、近似演算法等演算法的設計與實現。
平台層（Infrastructure）：數據的訪問和計算，計算平台處理分布式大規模的數據。
綜上所述，數據挖掘的演算法分為多個層次，在不同的層面有不同的研究內容，可以看到目前在做數據挖掘時的主要研究方向，如利用數據融合技術預處理稀疏、異構、不確定、不完整以及多來源數據；挖掘復雜動態變化的數據；測試通過局部學習和模型融合所得到的全局知識，並反饋相關信息給預處理階段；對數據並行分布化，達到有效使用的目的。
四、大數據挖掘系統的開發
1.背景目標
大數據時代的來臨使得數據的規模和復雜性都出現爆炸式的增長，促使不同應用領域的數據分析人員利用數據挖掘技術對數據進行分析。在應用領域中，如醫療保健、高端製造、金融等，一個典型的數據挖掘任務往往需要復雜的子任務配置，整合多種不同類型的挖掘演算法以及在分布式計算環境中高效運行。因此，在大數據時代進行數據挖掘應用的一個當務之急是要開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
之前提到一個數據挖掘有多種任務、多種功能及不同的挖掘演算法，同時，需要一個高效的平台。因此，大數據時代的數據挖掘和應用的當務之急，便是開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
2.相關產品
現有的數據挖掘工具
有Weka、SPSS和SQLServer，它們提供了友好的界面，方便用戶進行分析，然而這些工具並不適合進行大規模的數據分析，同時，在使用這些工具時用戶很難添加新的演算法程序。
流行的數據挖掘演算法庫
如Mahout、MLC++和MILK，這些演算法庫提供了大量的數據挖掘演算法。但這些演算法庫需要有高級編程技能才能進行任務配置和演算法集成。
最近出現的一些集成的數據挖掘產品
如Radoop和BC-PDM，它們提供友好的用戶界面來快速配置數據挖掘任務。但這些產品是基於Hadoop框架的，對非Hadoop演算法程序的支持非常有限。沒有明確地解決在多用戶和多任務情況下的資源分配。
3.FIU-Miner
為解決現有工具和產品在大數據挖掘中的局限性，我們團隊開發了一個新的平台——FIU-Miner，它代表了A Fast,Integrated,and User-Friendly System for Data Miningin Distributed Environment。它是一個用戶友好並支持在分布式環境中進行高效率計算和快速集成的數據挖掘系統。與現有數據挖掘平台相比，FIU-Miner提供了一組新的功能，能夠幫助數據分析人員方便並有效地開展各項復雜的數據挖掘任務。
與傳統的數據挖掘平台相比，它提供了一些新的功能，主要有以下幾個方面：
A.用戶友好、人性化、快速的數據挖掘任務配置。基於「軟體即服務」這一模式，FIU-Miner隱藏了與數據分析任務無關的低端細節。通過FIU-Miner提供的人性化用戶界面，用戶可以通過將現有演算法直接組裝成工作流，輕松完成一個復雜數據挖掘問題的任務配置，而不需要編寫任何代碼。
B.靈活的多語言程序集成。允許用戶將目前最先進的數據挖掘演算法直接導入系統演算法庫中，以此對分析工具集合進行擴充和管理。同時，由於FIU-Miner能夠正確地將任務分配到有合適運行環境的計算節點上，所以對這些導入的演算法沒有實現語言的限制。
C.異構環境中有效的資源管理。FIU-Miner支持在異構的計算環境中（包括圖形工作站、單個計算機、和伺服器等）運行數據挖掘任務。FIU-Miner綜合考慮各種因素（包括演算法實現、伺服器負載平衡和數據位置）來優化計算資源的利用率。
D.有效的程序調度和執行。
應用架構上包括用戶界面層、任務和系統管理層、邏輯資源層、異構的物理資源層。這種分層架構充分考慮了海量數據的分布式存儲、不同數據挖掘演算法的集成、多重任務的配置及系統用戶的交付功能。一個典型的數據挖掘任務在應用之中需要復雜的主任務配置，整合多種不同類型的挖掘演算法。因此，開發和建立這樣的計算平台和工具，支持應用領域的數據分析人員進行有效的分析是大數據挖掘中的一個重要任務。
FIU-Miner系統用在了不同方面：如高端製造業、倉庫智能管理、空間數據處理等，TerraFly GeoCloud是建立在TerraFly系統之上的、支持多種在線空間數據分析的一個平台。提供了一種類SQL語句的空間數據查詢與挖掘語言MapQL。它不但支持類SQL語句，更重要的是可根據用戶的不同要求，進行空間數據挖掘，渲染和畫圖查詢得到空間數據。通過構建空間數據分析的工作流來優化分析流程，提高分析效率。
製造業是指大規模地把原材料加工成成品的工業生產過程。高端製造業是指製造業中新出現的具有高技術含量、高附加值、強競爭力的產業。典型的高端製造業包括電子半導體生產、精密儀器製造、生物制葯等。這些製造領域往往涉及嚴密的工程設計、復雜的裝配生產線、大量的控制加工設備與工藝參數、精確的過程式控制制和材料的嚴格規范。產量和品質極大地依賴流程管控和優化決策。因此，製造企業不遺餘力地採用各種措施優化生產流程、調優控制參數、提高產品品質和產量，從而提高企業的競爭力。
在空間數據處理方面，TerraFly GeoCloud對多種在線空間數據分析。對傳統數據分析而言，其難點在於MapQL語句比較難寫，任務之間的關系比較復雜，順序執行之間空間數據分許效率較低。而FIU-Miner可有效解決以上三個難點。
總結而言，大數據的復雜特徵對數據挖掘在理論和演算法研究方面提出了新的要求和挑戰。大數據是現象，核心是挖掘數據中蘊含的潛在信息，並使它們發揮價值。數據挖掘是理論技術和實際應用的完美結合。數據挖掘是理論和實踐相結合的一個例子。