導航:首頁 > 網路數據 > weka處理大數據類型

weka處理大數據類型

發布時間:2023-03-03 09:57:25

❶ 用weka貝葉斯公式決策分類的步驟是什麼求賜教。。。。 最好給出詳細的步驟,謝謝!

你可以用程序debug跟蹤一下,以前是weka中NaiveBayesSimple類的主要函數和作用。
(1) globalInfo()
返回該分類器的描述字元串.
(2) getTechnicalInformation()
返回一個TechnicalInformation類型的對象實例,包含該類的技術背景等信息.
(3) getCapabilities()
返回默認參數.
(4) BuildClassifier(Instances instances)
BuildClassifier()方法從一個訓練數據集合instances構造一個分類器.求出所有名稱型屬性的後驗概率,類屬性的先驗概率,數值屬性的均值和方差,為後來的分類工作做准備.
(5) distributionForInstance (Instance instance)
該方法計算待分類實例instance屬於各個類標的百分比,並且將各個百分比數值存於一個數組中,最後返回該數組.
(6)toString()
把分類器的參數(均值,方差,各先驗概率,各後驗概率)以字元串的形式返回.
(7)normalDens(double x, double mean, double stdDev)
該方法用於根據正態分布(均值為mean,方差為stdDev)計算數值型屬性當屬性值為x時的概率密度.
(8) getRevision()
返回程序的版本號.
(9) Main()
當類從命令行被執行時,就會調用main()方法.他只是用所給的命令行選項告訴Weka的Evaluation類來評估樸素貝葉斯,並且列印所得到的數組.完成這個功能的一行表達式包括在try-catch聲明中.try-catch聲明用於發現Weka常式或其他java方法中拋出的各種異常.

大數據研究常用軟體工具與應用場景

大數據研究常用軟體工具與應用場景

如今,大數據日益成為研究行業的重要研究目標。面對其高數據量、多維度與異構化的特點,以及分析方法思路的擴展,傳統統計工具已經難以應對。

工欲善其事,必先利其器。眾多新的軟體分析工具作為深入大數據洞察研究的重要助力, 也成為數據科學家所必須掌握的知識技能。

然而,現實情況的復雜性決定了並不存在解決一切問題的終極工具。實際研究過程中,需要根據實際情況靈活選擇最合適的工具(甚至多種工具組合使用),才能更好的完成研究探索。

為此,本文針對研究人員(非技術人員)的實際情況,介紹當前大數據研究涉及的一些主要工具軟體(因為相關軟體眾多,只介紹常用的),並進一步闡述其應用特點和適合的場景,以便於研究人員能有的放矢的學習和使用。

基礎篇

傳統分析/商業統計

Excel、SPSS、SAS 這三者對於研究人員而言並不陌生。

Excel 作為電子表格軟體,適合簡單統計(分組/求和等)需求,由於其方便好用,功能也能滿足很多場景需要,所以實際成為研究人員最常用的軟體工具。其缺點在於功能單一,且可處理數據規模小(這一點讓很多研究人員尤為頭疼)。這兩年Excel在大數據方面(如地理可視化和網路關系分析)上也作出了一些增強,但應用能力有限。

SPSS(SPSS Statistics)和SAS作為商業統計軟體,提供研究常用的經典統計分析(如回歸、方差、因子、多變數分析等)處理。
SPSS 輕量、易於使用,但功能相對較少,適合常規基本統計分析
SAS 功能豐富而強大(包括繪圖能力),且支持編程擴展其分析能力,適合復雜與高要求的統計性分析。

上述三個軟體在面對大數據環境出現了各種不適,具體不再贅述。但這並不代表其沒有使用價值。如果使用傳統研究方法論分析大數據時,海量原始數據資源經過前期處理(如降維和統計匯總等)得到的中間研究結果,就很適合使用它們進行進一步研究。

數據挖掘

數據挖掘作為大數據應用的重要領域,在傳統統計分析基礎上,更強調提供機器學習的方法,關注高維空間下復雜數據關聯關系和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics,其前身為Clementine)

SPSS Modeler 的統計功能相對有限, 主要是提供面向商業挖掘的機器學習演算法(決策樹、神經元網路、分類、聚類和預測等)的實現。同時,其數據預處理和結果輔助分析方面也相當方便,這一點尤其適合商業環境下的快速挖掘。不過就處理能力而言,實際感覺難以應對億級以上的數據規模。

另一個商業軟體 Matlab 也能提供大量數據挖掘的演算法,但其特性更關注科學與工程計算領域。而著名的開源數據挖掘軟體Weka,功能較少,且數據預處理和結果分析也比較麻煩,更適合學術界或有數據預處理能力的使用者。

中級篇

1、通用大數據可視化分析

近兩年來出現了許多面向大數據、具備可視化能力的分析工具,在商業研究領域,TableAU無疑是卓越代表。

TableAU 的優勢主要在於支持多種大數據源/格式,眾多的可視化圖表類型,加上拖拽式的使用方式,上手快,非常適合研究員使用,能夠涵蓋大部分分析研究的場景。不過要注意,其並不能提供經典統計和機器學習演算法支持, 因此其可以替代Excel, 但不能代替統計和數據挖掘軟體。另外,就實際處理速度而言,感覺面對較大數據(實例超過3000萬記錄)時,並沒有官方介紹的那麼迅速。

2 、關系分析

關系分析是大數據環境下的一個新的分析熱點(比如信息傳播圖、社交關系網等),其本質計算的是點之間的關聯關系。相關工具中,適合數據研究人員的是一些可視化的輕量桌面型工具,最常用的是Gephi。

Gephi 是免費軟體,擅長解決圖網路分析的很多需求,其插件眾多,功能強且易用。我們經常看到的各種社交關系/傳播譜圖, 很多都是基於其力導向圖(Force directed graph)功能生成。但由於其由java編寫,限制了處理性能(感覺處理超過10萬節點/邊時常陷入假死),如分析百萬級節點(如微博熱點傳播路徑)關系時,需先做平滑和剪枝處理。 而要處理更大規模(如億級以上)的關系網路(如社交網路關系)數據,則需要專門的圖關系資料庫(如GraphLab/GraphX)來支撐了,其技術要求較高,此處不再介紹。

3、時空數據分析

當前很多軟體(包括TableAU)都提供了時空數據的可視化分析功能。但就使用感受來看,其大都只適合較小規模(萬級)的可視化展示分析,很少支持不同粒度的快速聚合探索。

如果要分析千萬級以上的時空數據,比如新浪微博上億用戶發文的時間與地理分布(從省到街道多級粒度的探索)時,推薦使用 NanoCubes(http://www.nanocubes.net/)。該開源軟體可在日常的辦公電腦上提供對億級時空數據的快速展示和多級實時鑽取探索分析。下圖是對芝加哥犯罪時間地點的分析,網站有更多的實時分析的演示例子

4、文本/非結構化分析

基於自然語言處理(NLP)的文本分析,在非結構化內容(如互聯網/社交媒體/電商評論)大數據的分析方面(甚至調研開放題結果分析)有重要用途。其應用處理涉及分詞、特徵抽取、情感分析、多主題模型等眾多內容。

由於實現難度與領域差異,當前市面上只有一些開源函數包或者雲API(如BosonNLP)提供一些基礎處理功能,尚未看到適合商業研究分析中文文本的集成化工具軟體(如果有誰知道煩請通知我)。在這種情況下,各商業公司(如HCR)主要依靠內部技術實力自主研發適合業務所需的分析功能。

高級篇

前面介紹的各種大數據分析工具,可應對的數據都在億級以下,也以結構化數據為主。當實際面臨以下要求: 億級以上/半實時性處理/非標准化復雜需求 ,通常就需要藉助編程(甚至藉助於Hadoop/Spark等分布式計算框架)來完成相關的分析。 如果能掌握相關的編程語言能力,那研究員的分析能力將如虎添翼。

當前適合大數據處理的編程語言,包括:

R語言——最適合統計研究背景的人員學習,具有豐富的統計分析功能庫以及可視化繪圖函數可以直接調用。通過Hadoop-R更可支持處理百億級別的數據。 相比SAS,其計算能力更強,可解決更復雜更大數據規模的問題。

Python語言——最大的優勢是在文本處理以及大數據量處理場景,且易於開發。在相關分析領域,Python代替R的勢頭越來越明顯。

Java語言——通用性編程語言,能力最全面,擁有最多的開源大數據處理資源(統計、機器學習、NLP等等)直接使用。也得到所有分布式計算框架(Hadoop/Spark)的支持。

前面的內容介紹了面向大數據研究的不同工具軟體/語言的特點和適用場景。 這些工具能夠極大增強研究員在大數據環境下的分析能力,但更重要的是研究員要發揮自身對業務的深入理解,從數據結果中洞察發現有深度的結果,這才是最有價值的。

以上是小編為大家分享的關於大數據研究常用軟體工具與應用場景的相關內容,更多信息可以關注環球青藤分享更多干貨

❸ 大數據挖掘通常用哪些軟體

1.RapidMiner
只要是從事開源數據挖掘相關的業內人士都知道,RapidMiner在數據挖掘工具榜上虎踞榜首,叫好叫座。是什麼讓RapidMiner得到如此厚譽呢?首先,RapidMiner功能強大,它除了提供優秀的數據挖掘功能,還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。更厲害的是,它還提供來自WEKA(一種智能分析環境)和R腳本的學習方案、模型和演算法,讓它成為業界的一棵常春藤。
用Java語言編寫的RapidMiner,是通過基於模板的框架為用戶提供先進的分析技術的。它最大的好處就是,作為一個服務提供給用戶,而不是一款本地軟體,用戶無需編寫任何代碼,為用戶尤其是精於數據分析但不太懂編程的用戶帶來了極大的方便。
2.R-Programming
R語言被廣泛應用於數據挖掘、開發統計軟體以及數據分析中。你以為大名鼎鼎的R只有數據相關功能嗎?其實,它還提供統計和制圖技術,包括線性和非線性建模,經典的統計測試,時間序列分析、分類、收集等等。
R,R-programming的簡稱,統稱R。作為一款針對編程語言和軟體環境進行統計計算和制圖的免費軟體,它主要是由C語言和FORTRAN語言編寫的,並且很多模塊都是由R編寫的,這是R一個很大的特性。而且,由於出色的易用性和可擴展性,也讓R的知名度在近年來大大提高了,它也逐漸成為數據人常用的工具之一。
3.WEKA
WEKA支持多種標准數據挖掘任務,包括數據預處理、收集、分類、回歸分析、可視化和特徵選取,由於功能多樣,讓它能夠被廣泛使用於很多不同的應用——包括數據分析以及預測建模的可視化和演算法當中。它在GNU通用公共許可證下是免費的,這也是它與RapidMiner相比的優勢所在,因此,用戶可以按照自己的喜好選擇自定義,讓工具更為個性化,更貼合用戶的使用習慣與獨特需求。
很多人都不知道,WEKA誕生於農業領域數據分析,它的原生的非Java版本也因此被開發了出來。現在的WEKA是基於Java版本的,比較復雜。令人欣喜的是,當它日後添加了序列建模之後,將會變得更加強大,雖然目前並不包括在內。但相信隨著時間的推移,WEKA一定會交出一張很好看的成績單。
4.Orange
對很多數據人來說,Orange並不是一個陌生的名字,它不僅有機器學習的組件,還附加有生物信息和文本挖掘,可以說是充滿了數據分析的各種功能。而且,Orange的可視化編程和Python腳本如行雲流水,定能讓你擁有暢快的使用感。
Orange是一個基於Python語言的功能強大的開源工具,如果你碰巧是一個Python開發者,當需要找一個開源數據挖掘工具時,Orange必定是你的首選,當之無愧。無論是對於初學者還是專家級大神來說,這款與Python一樣簡單易學又功能強大的工具,都十分容易上手。
5.NLTK
著名的開源數據挖掘工具——NLTK,提供了一個語言處理工具,包括數據挖掘、機器學習、數據抓取、情感分析等各種語言處理任務,因此,在語言處理任務領域中,它一直處於不敗之地。
想要感受這款深受數據人喜愛的工具的用戶,只需要安裝NLTK,然後將一個包拖拽到最喜愛的任務中,就可以繼續葛優癱N日遊了,高智能性也是這款工具受人喜愛的最大原因之一。另外,它是用Python語言編寫的,用戶可以直接在上面建立應用,還可以自定義小任務,十分便捷。
6.KNIME
KNIME是一個開源的數據分析、報告和綜合平台,同時還通過其模塊化數據的流水型概念,集成了各種機器學習的組件和數據挖掘。我們都知道,提取、轉換和載入是數據處理最主要的三個部分,而這三個部分,KNIME均能出色地完成。同時,KNIME還為用戶提供了一個圖形化的界面,以便用戶對數據節點進行進一步的處理,十分貼心。
基於Eclipse,用Java編寫的KNIME擁有易於擴展和補充插件特性,還有可隨時添加的附加功能。值得一提的是,它的大量的數據集成模塊已包含在核心版本中。良好的性能,更讓KNIME引起了商業智能和財務數據分析的注意。

❹ 大數據挖掘通常用哪些軟體

大數據挖掘通常用的軟體有:
1.RapidMiner功能強大,它除了提供優秀的數據挖掘功能,還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。
2.R,R-programming的簡稱,統稱R。作為一款針對編程語言和軟體環境進行統計計算和制圖的免費軟體,它主要是由C語言和FORTRAN語言編寫的,並且很多模塊都是由R編寫的,這是R一個很大的特性
3.WEKA支持多種標准數據挖掘任務,包括數據預處理、收集、分類、回歸分析、可視化和特徵選取,由於功能多樣,讓它能夠被廣泛使用於很多不同的應用——包括數據分析以及預測建模的可視化和演算法當中。
4.Orange是一個基於Python語言的功能強大的開源工具,如果你碰巧是一個Python開發者,當需要找一個開源數據挖掘工具時,Orange必定是你的首選,當之無愧。
5.KNIME是一個開源的數據分析、報告和綜合平台,同時還通過其模塊化數據的流水型概念,集成了各種機器學習的組件和數據挖掘。

想要了解更多關於大數據挖掘的相關知識,推薦CDA數據分析課程,課程教你學企業需要的敏捷演算法建模能力。你可以學到前沿且實用的技術,挖掘數據的魅力;教你用可落地、易操作的數據科學思維和技術模板構建出優秀模型;聚焦策略分析技術及企業常用的分類、NLP、深度學習、特徵工程等數據演算法。點擊預約免費試聽課。

❺ 怎麼調用weka中的演算法怎麼用weka處理大數據集

weka是個開源java工具集,當然直接在你的java 工程中調用就可以了。。。
即使你的程序是.net的,也能通過IKVM搞定

❻ 用weka處理數據出現Cannot handle numeric attributes!是什麼原因

Cannot handle numeric attributes翻譯過來是:無法處理的數字類!
原因:最有可能您的類的定義是一個數字,而不是專名義
attribute.屬性。屬 Correct it in your arff file or use the NumericToNominal糾正你的arff文件或使用NumericToNominal
filter in the developer version.過濾器的開發版本。
解決:改變階級屬性的數值為( -1,1 )
希望對你有所幫助!

閱讀全文

與weka處理大數據類型相關的資料

熱點內容
哪些紅頭文件的抬頭下面是雙紅線 瀏覽:638
炒股app有哪個 瀏覽:108
汽車鑰匙編程器哪個好 瀏覽:688
誤刪除文件怎麼恢復 瀏覽:885
360wifi擴展器版本升級 瀏覽:336
word批量刪除某個同一圖片logo 瀏覽:637
蘋果5應用需要證書 瀏覽:531
觸摸屏編程有哪些優勢 瀏覽:550
ps文件存儲環境 瀏覽:74
文件名怎麼改不了大小寫 瀏覽:613
眼睛驗光數據什麼樣算假近視 瀏覽:269
1在編程里代表什麼 瀏覽:193
密碼文件櫃哪裡便宜 瀏覽:949
box文件怎麼打開 瀏覽:114
線切割編程哪個好用 瀏覽:70
反詐app官方已下載怎麼注冊 瀏覽:496
安卓5flash游戲 瀏覽:895
什麼卡有免費微信提示 瀏覽:511
iphone看不了文件管理 瀏覽:783
數據包如何上傳寶貝 瀏覽:885

友情鏈接