大數據挖掘演算法用什麼語言開發

① 在大數據分析/挖掘領域，哪些編程語言應用最多

一般來詳說做數據分析挖掘每種編程語言基本都能做。
做分析方面R語言是強項。
數據可視化是Matlab。
但是挖數據要做爬蟲，這個又會用到Java和Python
Python是個全能，在分析方面有Numpy，Scipy等數據分析庫，又有很多爬蟲庫，還有matplotlib的庫把數據可視化。

② 數據挖掘什麼軟體簡單

數據挖掘用什麼軟體
1.R是用於統計分析和圖形化的計算機語言及分析工具；

2.Weka可能是名氣最大的開源機器學習和數據挖掘軟體，但用起來並不方便，界面也簡單了點；

3.Tanagra 是使用圖形界面的數據挖掘軟體；4.RapidMiner現在流行的滾返罩勢頭在上升，但它的操作方式和商用軟體差別較大，不支持分析流程圖的方式，當包含的運算符比較多的時候就不容易查看了；

5.KNIME和Orange看起來都不錯，Orange界面看上去很清爽，但我發現它不支持中 文。推薦KNIME，同時安裝Weka和R擴展包。

對於普通用戶可以選 用界面友好易於使用的軟體，對於希望從事演算法開發的用戶則可以根據軟體開發工具不同（Java、R、C++、Python等）來選擇相應的軟體。
求推薦簡單好用的數據挖掘軟體 10分
那肯定是SPSS啊，網上自學教程也一堆，如果你不追求特別專業的，只是想數據可視化的基礎上有意思數據挖掘的功能，也可以用watson *** ytics，它還支持自然語言呢
常用的數據挖掘工具有哪些
RapidMiner、R、Weka、KNIME、GGobi、Orange，都是優秀的挖掘工具，可以依據自己的需要選擇。
常用數據挖掘工具有哪些
EXCEL MATLAB Origin 等等

當前流行的圖形可視化和數據分析軟體有Matlab，Mathmatica和Maple等。這些軟體功大鬧能強大，可滿足科技工作中的許多需要，但使用這些軟體需要一定的計算機編程知識和矩陣知識，並熟悉其中大量的函數和命令。而使用Origin就像使用Excel和Word那樣簡單，只需點擊滑鼠，選擇菜單命令就可以完成大部分工作，獲得滿意的結果。 但它又比excel要強大些。一般日常的話可以用Excel，然後載入宏，裡面有一些分析工具，不過有時需要資料庫軟體支持
學習數據挖掘一般要學哪些軟體和工具
1、WEKA

WEKA 原生的非 Java 版本主要是為了分析農業領域數據而開發的。該工具基於 Java 版本，是非常復雜的，並且應用在許多不同的應用中，包括數據分析以及預測建模的可視化和演算法。與 RapidMiner 相比優勢在於，它在 GNU 通用公共許可證下是免費的，因為用戶可以按照自己的喜好選擇自定義。

WEKA 支持多種標准數據挖掘任務，包括數據預處理、收集、分類、回歸分析、可視化和特徵選取。添加序列建模後，WEKA 將會變得更強大，但目前不包括在內。

2、RapidMiner

該工具是用 Java 語言編寫的，通過基於模板的框架提供先進的分析技術。該款工具最大的好處就是，用戶無需寫任何代碼。它是作為一個服務提供，而不是一款本地軟體。值得一提的是，該工具在數據挖掘工具榜上位列榜首。另外，除了數據挖掘，RapidMiner 還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。更厲害的是它還提供來自 WEKA(一種智能分析環境)和 R 腳本的學習方案、模型和演算法。

RapidMiner 分布在 AGPL 開源許可下，可以從 SourceForge 上下載。SourceForge 是一個開發者進行開發管理的集中式場所，大量開源項目在此落戶，其中就包括 *** 使用的 MediaWiki。

3、NLTK

當涉及到語言處理任務，沒有什麼可以打敗 NLTK。NLTK 提供了一個語言處理工具，包括數據挖掘、機器學習、數據抓取、情感分析等各種語言處理任務。

而您需要做的只是安裝 NLTK，然後將一個包拖拽到您最喜愛的任務中，您就可以去做其他事了。因為它是用 Python 語言編寫的，你可以在上面建立應用，還可以自定義它的小任務。

4、Orange

Python 之所以受歡迎，是因為它簡單易學並且功能強大。如果你是一個 Python 開發者，當涉及到需要找一個工作用的工具時，那麼沒世御有比 Orange 更合適的了。它是一個基於 Python 語言，功能強大的開源工具，並且對初學者和專家級的大神均適用。

此外，你肯定會愛上這個工具的可視化編程和 Python 腳本。它不僅有機器學習的組件，還附加有生物信息和文本挖掘，可以說是充滿了數據分析的各種功能。

5、KNIME

數據處理主要有三個部分：提取、轉換和載入。 而這三者 KNIME 都可以做到。 KNIME 為您提供了一個圖形化的用戶界面，以便對數據節點進行處理。它是一個開源的數據分析、報告和綜合平台，同時還通過其模塊化數據的流水型概念，集成了各種機 器學習的組件和數據挖掘，並引起了商業智能和財務數據分析的注意。

KNIME 是基於 Eclipse，用 Java 編寫的，並且易於擴展和補充插件。其附加功能可隨時添加，並且其大量的數據集成模塊已包含在核心版本中。

6、R-Programming

如果我告訴你R項目，一個 GNU 項目，是由 R(R-programming簡稱，以下統稱R)自身編寫的，你會怎麼想?它主要是由 C 語言和 FORTRAN 語言編寫的，並且很多模塊都是由 R 編寫的，這是一款針對編程語言和軟體環境進行統計計算和制圖的免費軟體。

R語言被廣泛應用於數據挖掘，以及開發統計軟體和數據分析中。近年來，易用性和可擴展性也大大提高了 R 的知名度。除了數據，它還提供統計和制圖技術，包括線性和非線性建模，經典的統計測試，時間序列分析、分類、收......
學習數據挖掘一般要學哪些軟體和工具
1、WEKA

WEKA 原生的非 Java 版本主要是為了分析農業領域數據而開發的。該工具基於 Java 版本，是非常復雜的，並且應用在許多不同的應用中，包括數據分析以及預測建模的可視化和演算法。與 RapidMiner 相比優勢在於，它在 GNU 通用公共許可證下是免費的，因為用戶可以按照自己的喜好選擇自定義。

WEKA 支持多種標准數據挖掘任務，包括數據預處理、收集、分類、回歸分析、可視化和特徵選取。添加序列建模後，WEKA 將會變得更強大，但目前不包括在內。

2、RapidMiner

該工具是用 Java 語言編寫的，通過基於模板的框架提供先進的分析技術。該款工具最大的好處就是，用戶無需寫任何代碼。它是作為一個服務提供，而不是一款本地軟體。值得一提的是，該工具在數據挖掘工具榜上位列榜首。另外，除了數據挖掘，RapidMiner 還提供如數據預處理和可視化、預測分析和統計建模、評估和部署等功能。更厲害的是它還提供來自 WEKA(一種智能分析環境)和 R 腳本的學習方案、模型和演算法。

RapidMiner 分布在 AGPL 開源許可下，可以從 SourceForge 上下載。SourceForge 是一個開發者進行開發管理的集中式場所，大量開源項目在此落戶，其中就包括 *** 使用的 MediaWiki。

3、NLTK

當涉及到語言處理任務，沒有什麼可以打敗 NLTK。NLTK 提供了一個語言處理工具，包括數據挖掘、機器學習、數據抓取、情感分析等各種語言處理任務。

而您需要做的只是安裝 NLTK，然後將一個包拖拽到您最喜愛的任務中，您就可以去做其他事了。因為它是用 Python 語言編寫的，你可以在上面建立應用，還可以自定義它的小任務。
目前業界常用的數據挖掘分析工具有哪些
數據分析的概念太寬泛了，做需要的是側重於數據展示、數據挖掘、還是數據存儲的？是個人用還是企業、部門用呢？應用的場景是製作簡單的個人圖表，還是要做銷售、財務還是供應鏈的分析？

那就說說應用最廣的BI吧，企業級應用，其實功能上已經涵蓋了我上面所述的部分，主要用於數據整合，構建分析，展示數據供決策分析的，譬如FineBI，是能夠」智能」分析數據的工具了。
哪個軟體建立資料庫比較簡單好用
隨著數據大數據的發展，數據安全已經上升到一個很高的高度。隨著國家對數據安全的重視,國產資料庫開始走進中國個大企業，其中不乏 *** 、國企。

實時資料庫系統是開發實時控制系統、數據採集系統、CIMS系統等的支撐軟體。在流程行業中，大量使用實時資料庫系統進行控制系統監控，系統先進控制和優化控制，並為企業的生產管理和調度、數據分析、決策支持及遠程在線瀏覽提供實時數據服務和多種數據管理功能。實時資料庫已經成為企業信息化的基礎數據平台，可直接實時採集、獲取企業運行過程中的各種數據，並將其轉化為對各類業務有效的公共信息，滿足企業生產管理、企業過程監控、企業經營管理之間對實時信息完整性、一致性、安全共享的需求，可為企業自動化系統與管理信息系統間建立起信息溝通的橋梁。幫助企業的各專業管理部門利用這些關鍵的實時信息，提高生產銷售的營運效率。如果你想定製這款國產資料庫 可以打 前面是 一三六 中間是 六一二零 末尾是 四一四七

北京開運聯合信息技術股份有限公司-實時性工業資料庫軟體（CreatRun Database ）

實時性工業資料庫軟體（CreatRun Database ）是什麼？

1、實時性工業資料庫軟體（CreatRun Database ） 是開運聯合公司針對行業應用，獨立研發的，擁有全部自主知識產權的企業級實時/歷史資料庫平台。為企業監控生產情況、計算性能指標、進行事故分析和對設備啟停分析診斷、故障預防等提供重要的數據保障。

2、實時性工業資料庫軟體（CreatRun Database ） 可廣泛用於工業控制自動化數據的高速採集和存儲，提供高速、海量數據存儲和基礎分析能力。

3、實時性工業資料庫軟體（CreatRun Database ） 可隨時觀察以及在線分析生產過程。長期保存的歷史數據不僅可以重現歷史生產情況，也使大規模數據挖掘成為可能。 提供企業生產信息管理解決方案，可以有效應對「從小到大」 「由近及遠」 的各種企業級數據應用。

4、CreatRun Database 可在線按照時間序列以毫秒級精度自動採集企業的各類過程自動化系統中的生產數據，高效壓縮並存儲。同時可向用戶和應用程序提供實時和歷史數據，使得用戶可隨時觀察以及在線分析生產過程。長期保存的歷史數據不僅可以重現歷史生產情況，也使大規模數據挖掘成為可能。

【工業軟體開發】實時性工業資料庫軟體（CreatRun Database ）系統主要技術指標:

支持數據類型：digital、int16、int32、float16、float32、float64、String等類型

標簽容量：200,000 Tag

數據容量：TB級

客戶端並發用戶數：500 個

生產過程數據採集時間響應速度：<500 毫秒

時間戳解析度：毫秒

存儲速度：>100,000 輸入值/秒存檔數據回取事務吞吐量：>2,000,000 輸出值/秒

實時性工業資料庫軟體（CreatRun Database ）系統特性——高可用性:

1、高效的數據存儲策略及壓縮演算法「死區例外+可變斜率壓縮演算法 」，精確到每個Tag的壓縮配置，有效提高了歷史數據存儲性能，節約磁碟空間.

2、高速的數據緩存機制，使並行訪問鎖域粒度精確到「Block（1KBytes）」，實現了並行訪問能力的最大化。使歷史數據訪問路由復雜度「最小化、均衡化，扁平化」，不界定「冷熱」數據，所有數據訪問時間成本一致，同時提供均衡訪問特性和最大遠程數據訪問友好度。

3、Creat RUN ......
數據挖掘工具一般都有哪些
數據挖掘工具有國外的Qlik，國內的有永洪，收費是肯定的，你可以先去找些可以免費試用的挖掘工具，國內的ETHINK平台好像可以
數據挖掘工具有哪些？
SQL Server是資料庫，但內建數據挖掘功能，若提到工具的話，大概有SAS, SPSS, Statistica(Dell), R, Revolution R...

③ 鏁版嵁鍒嗘瀽甯哥敤鐨勭紪紼嬭璦鏈夊摢浜

鏁版嵁鍒嗘瀽甯哥敤鐨勭紪紼嬭璦鏈塒ython銆丷銆丼QL銆丼cala銆丣ulia銆

緙栫▼鏄杞浠跺紑鍙戠殑鍩虹錛屽ぇ鏁版嵁鍒嗘瀽鏄鍖呮嫭璁＄畻鏈虹戝﹀湪鍐呯殑澶氫釜棰嗗煙鐨勯泦鍚堛傚畠娑夊強縐戝﹁繃紼嬪拰鏂規硶鐨勪嬌鐢錛屼互鍒嗘瀽鏁版嵁騫朵粠涓寰楀嚭緇撹恆備負姝よ掕壊璁捐＄殑鐗瑰畾緙栫▼璇璦灝嗘墽琛岃繖浜涙柟娉曘備負浜嗘垚涓虹啛緇冪殑澶ф暟鎹鍒嗘瀽瀹訛紝蹇呴』鎺屾彙浠ヤ笅澶ф暟鎹鍒嗘瀽緙栫▼璇璦銆

1銆丳ython

R鍦–RAN鐨勫紑鏀炬簮浠ｇ爜瀛樺偍搴撲腑鏈10,000澶氫釜杞浠跺寘錛屽彲婊¤凍鎵鏈夌粺璁″簲鐢ㄧ▼搴忕殑闇奼傘俁鐨勫彟涓涓寮洪」鏄瀹冨勭悊澶嶆潅綰挎т唬鏁扮殑鑳藉姏銆傝繖浣垮緱R涓嶄粎閫傜敤浜庣粺璁″垎鏋愯屼笖閫傜敤浜庣炵粡緗戠粶銆俁鐨勫彟涓涓閲嶈佸姛鑳芥槸鍏跺彲瑙嗗寲搴揼gplot2銆

榪樻湁鍏朵粬宸ヤ綔瀹ゅ椾歡錛屼緥濡倀idyverse鍜孲parklyr錛屽畠浠涓篈pache R鎻愪緵鍩轟簬Apache Spark鐨勬帴鍙ｃ俁Studio絳夊熀浜嶳鐨勭幆澧冧嬌榪炴帴鏁版嵁搴撳彉寰楁洿鍔犲規槗銆傚畠鍏鋒湁涓涓縐頒負鈥淩MySQL鈥濈殑鍐呯疆杞浠跺寘錛岃ヨ蔣浠跺寘鎻愪緵R涓嶮ySQL鐨勬湰鍦拌繛鎺ャ傛墍鏈夎繖浜涘姛鑳戒嬌R鎴愪負鏍稿績澶ф暟鎹鍒嗘瀽瀹剁殑鐞嗘兂閫夋嫨銆

3銆丼QL

SQL琚縐頒負鈥滃ぇ鏁版嵁鍒嗘瀽鐨勫叧閿鈥濓紝SQL鏄澶ф暟鎹鍒嗘瀽瀹跺繀欏誨叿澶囩殑鏈閲嶈佹妧鑳姐係QL鎴栤滅粨鏋勫寲鏌ヨ㈣璦鈥濇槸鐢ㄤ簬浠庣О涓哄叧緋繪暟鎹搴撶殑鏈夌粍緇囨暟鎹婧愪腑媯緔㈡暟鎹鐨勬暟鎹搴撹璦銆傚湪澶ф暟鎹鍒嗘瀽涓錛孲QL鐢ㄤ簬鏇存柊錛屾煡璇㈠拰鎿嶄綔鏁版嵁搴撱

浣滀負澶ф暟鎹鍒嗘瀽瀹訛紝浜嗚В濡備綍媯緔㈡暟鎹鏄宸ヤ綔涓鏈閲嶈佺殑閮ㄥ垎銆係QL鏄澶ф暟鎹鍒嗘瀽瀹剁殑鈥滆緟鍔╂﹀櫒鈥濓紝榪欐剰鍛崇潃瀹冩彁渚涚殑鍔熻兘鏈夐檺錛屼絾瀵逛簬鐗瑰畾瑙掕壊鑷沖叧閲嶈併傚畠鍏鋒湁澶氱嶅疄鐜幫紝渚嬪侻ySQL錛孲QLite錛孭ostgreSQL絳夈

4銆丼cala

Scala stand鏄鍦↗VM涓婅繍琛岀殑Java緙栫▼璇璦鐨勬墿灞曘傚畠鏄涓縐嶉氱敤緙栫▼璇璦錛屽叿鏈夐潰鍚戝硅薄鎶鏈鍜屽姛鑳界紪紼嬭璦鐨勫姛鑳姐傛偍鍙浠ュ皢Scala涓庡ぇ鏁版嵁騫沖彴Spark緇撳悎浣跨敤銆傚綋澶勭悊澶ч噺鏁版嵁鏃訛紝榪欎嬌Scala鎴愪負鐞嗘兂鐨勭紪紼嬭璦銆

Scala鎻愪緵浜嗕笌Java鐨勫畬鍏ㄤ簰鎿嶄綔鎬э紝鍚屾椂涓嶥ata淇濇寔浜嗙揣瀵嗙殑鑱旂郴銆備綔涓哄ぇ鏁版嵁鍒嗘瀽瀹訛紝蹇呴』瀵逛嬌鐢ㄧ紪紼嬭璦鍏呮弧淇″績錛屼互渚誇互鎵闇鐨勪換浣曞艦寮忛洉鍒繪暟鎹銆係cala鏄涓撻棬涓烘よ掕壊鍒涘緩鐨勯珮鏁堣璦銆係cala鐨勬渶閲嶈佺壒寰佹槸鍏朵績榪涘ぇ瑙勬ā騫惰屽勭悊鐨勮兘鍔涖備絾鏄錛孲cala鐨勫︿範鏇茬嚎姣旇緝闄″抄錛屾垜浠涓嶅緩璁鍒濆﹁呬嬌鐢ㄣ

5銆丣ulia

Julia鏄鏈榪戝紑鍙戠殑緙栫▼璇璦錛屾渶閫傚悎縐戝﹁＄畻銆傚畠鍍廝ython涓鏍風畝鍗曪紝鍥犳ゅ箍鍙楁㈣繋錛屽苟涓斿叿鏈塁璇璦鐨勮繀鎹鋒ц兘銆傝繖浣縅ulia鎴愪負闇瑕佸嶆潅鏁板﹁繍綆楃殑棰嗗煙鐨勭悊鎯寵璦銆備綔涓哄ぇ鏁版嵁鍒嗘瀽瀹訛紝鎮ㄥ皢鐮旂┒闇瑕佸嶆潅鏁板︾殑闂棰樸侸ulia鑳藉熶互寰堥珮鐨勯熷害瑙ｅ喅姝ょ被闂棰樸

灝界Julia鐢變簬鍏舵渶鏂板紑鍙戣屽湪鍏剁ǔ瀹氱増鏈涓閬囧埌浜嗕竴浜涢棶棰橈紝浣嗗畠鐜板湪宸茶騫挎硾璁ゅ彲涓轟漢宸ユ櫤鑳借璦銆

④ 大數據處理需要用到的九種編程語言

大數據處理需要用到的九種編程語言

隨著大數據的熱潮不斷升溫，幾乎各個領域都有洪水傾瀉般的信息涌來，面對用戶成千上萬的瀏覽記錄、記錄行為數據，如果就單純的Excel來進行數據處理是遠遠不能滿足的。但如果只用一些操作軟體來分析，而不怎麼如何用邏輯數據來分析的話，那也只是簡單的數據處理。

替代性很高的工作，而無法深入規劃策略的核心。

當然，基本功是最不可忽略的環節，想要成為數據科學家，對於這幾個程序你應該要有一定的認識：

若要列出所有程序語言，你能忘記其他的沒關系，但最不能忘的就是R。從1997年悄悄地出現，最大的優勢就是它免費，為昂貴的統計軟體像是Matlab或SAS的另一種選擇。

但是在過去幾年來，它的身價大翻轉，變成了資料科學界眼中的寶。不只是木訥的統計學家熟知它，包括WallStreet交易員、生物學家，以及矽谷開發者，他們都相當熟悉R。多元化的公司像是Google、Facebook、美國銀行以及NewYorkTimes通通都使用R，它的商業效用持續提高。

R的好處在於它簡單易上手，透過R，你可以從復雜的數據集中篩選你要的數據，從復雜的模型函數中操作數據，建立井然有序的圖表來呈現數字，這些都只需要幾行程序代碼就可以了，打個比方，它就像是好動版本的Excel。

R最棒的資產就是活躍的動態系統，R社群持續地增加新的軟體包，還有以內建豐富的功能集為特點。目前估計已有超過200萬人使用R，最近的調查顯示，R在數據科學界里，到目前為止最受歡迎的語言，佔了回復者的61%（緊追在後的是39%的Python）。

它也吸引了WallStreet的注目。傳統而言，證券分析師在Excel檔從白天看到晚上，但現在R在財務建模的使用率逐漸增加，特別是可視化工具，美國銀行的副總裁NiallO』Conno說，「R讓我們俗氣的表格變得突出」。

在數據建模上，它正在往逐漸成熟的專業語言邁進，雖然R仍受限於當公司需要製造大規模的產品時，而有的人說他被其他語言篡奪地位了。

「R更有用的是在畫圖，而不是建模。」頂尖數據分析公司Metamarkets的CEO，MichaelDriscoll表示，

「你不會在Google的網頁排名核心或是Facebook的朋友們推薦演算法時看到R的蹤影，工程師會在R里建立一個原型，然後再到Java或Python里寫模型語法」。

舉一個使用R很有名的例子，在2010年時，PaulButler用R來建立Facebook的世界地圖，證明了這個語言有多豐富多強大的可視化數據能力，雖然他現在比以前更少使用R了。

「R已經逐漸過時了，在龐大的數據集底下它跑的慢又笨重」Butler說。

所以接下來他用什麼呢?

如果說R是神經質又令人喜愛的Geek，那Python就是隨和又好相處的女生。

Python結合了R的快速、處理復雜數據采礦的能力以及更務實的語言等各個特質，迅速地成為主流，Python比起R，學起來更加簡單也更直觀，而且它的生態系統近幾年來不可思議地快速成長，在統計分析上比起R功能更強。

Butler說，「過去兩年間，從R到Python地顯著改變，就像是一個巨人不斷地推動向前進」。

在數據處理范疇內，通常在規模與復雜之間要有個取捨，而Python以折衷的姿態出現。IPythonNotebook（記事本軟體）和NumPy被用來暫時存取較低負擔的工作量，然而Python對於中等規模的數據處理是相當好的工具；Python擁有豐富的資料族，提供大量的工具包和統計特徵。

美國銀行用Python來建立新產品和在銀行的基礎建設介面，同時也處理財務數據，「Python是更廣泛又相當有彈性，所以大家會對它趨之若鶩。」O』Donnell如是說。

然而，雖然它的優點能夠彌補R的缺點，它仍然不是最高效能的語言，偶爾才能處理龐大規模、核心的基礎建設。Driscoll是這么認為的。

今日大多數的數據科學都是透過R、Python、Java、Matlab及SAS為主，但仍然存在著鴻溝要去彌補，而這個時候，新進者Julia看到了這個痛點。

Julia仍太過於神秘而尚未被業界廣泛的採用，但是當談到它的潛力足以搶奪R和Python的寶座時，數據黑客也難以解釋。原因在於Julia是個高階、不可思議的快速和善於表達的語言，比起R要快的許多，比起Python又有潛力處理更具規模的數據，也很容易上手。

「Julia會變的日漸重要，最終，在R和Python可以做的事情在Julia也可以」。Butler是這么認為的。

就現在而言，若要說Julia發展會倒退的原因，大概就是它太年輕了。Julia的數據小區還在初始階段，在它要能夠和R或Python競爭前，它還需要更多的工具包和軟體包。

Driscoll說，它就是因為它年輕，才會有可能變成主流又有前景。

Driscoll說，Java和以Java為基礎的架構，是由矽谷里最大的幾家科技公司的核心所建立的，如果你從Twitter、Linkedin或是Facebook里觀察，你會發現Java對於所有數據工程基礎架構而言，是非常基礎的語言。

Java沒有和R和Python一樣好的可視化功能，它也不是統計建模的最佳工具，但是如果你需要建立一個龐大的系統、使用過去的原型，那Java通常會是你最基的選擇。

Hadoop and Hive

為了迎合大量數據處理的需求，以Java為基礎的工具群興起。Hadoop為處理一批批數據處理，發展以Java為基礎的架構關鍵；相較於其他處理工具，Hadoop慢許多，但是無比的准確和可被後端資料庫分析廣泛使用。和Hive搭配的很好，Hive是基於查詢的架構下，運作的相當好。

又是另一個以Java為基礎的語言，和Java很像，對任何想要進行大規模的機械學習或是建立高階的演算法，Scala會是逐漸興起的工具。它是善於呈現且擁有建立可靠系統的能力。

「Java像是用鋼鐵建造的；Scala則是讓你能夠把它拿進窯烤然後變成鋼的黏土」Driscoll說。

說到當你需要快速的、實時的分析時，你會想到什麼?Kafka將會是你的最佳夥伴。其實它已經出現五年有了，只是因為最近串流處理興起才變的越來越流行。

Kafka是從Linkedin內誕生的，是一個特別快速的查詢訊息系統。Kafka的缺點呢?就是它太快了，因此在實時操作時它會犯錯，有時候會漏掉東西。

魚與熊掌不可兼得，「必須要在准確度跟速度之間做一個選擇」，Driscoll說。所以全部在矽谷的科技大公司都利用兩個管道：用Kafka或Storm處理實時數據，接下來打開Hadoop處理一批批處理數據系統，這樣聽起來有點麻煩又會有些慢，但好處是，它非常非常精準。

Storm是另一個從Scala寫出來的架構，在矽谷逐漸大幅增加它在串流處理的受歡迎程度，被Twitter並購，這並不意外，因為Twitter對快速事件處理有極大的興趣。

Matlab可以說是歷久不衰，即使它標價很高；在非常特定的利基市場它使用的相當廣泛，包括密集的研究機器學習、信號處理、圖像辨識等等。

Octave和Matlab很像，除了它是免費的之外。然而，在學術信號處理的圈子，幾乎都會提到它。

GO是另一個逐漸興起的新進者，從Google開發出來的，放寬點說，它是從C語言來的，並且在建立強大的基礎架構上，漸漸地成為Java和Python的競爭者。

這么多的軟體可以使用，但我認為不見得每個都一定要會才行，知道你的目標和方向是什麼，就選定一個最適合的工具使用吧!可以幫助你提升效率又達到精準的結果。

以上是小編為大家分享的關於大數據處理需要用到的九種編程語言的相關內容，更多信息可以關注環球青藤分享更多干貨

⑤ 如何用Python進行大數據挖掘和分析

如何用Python進行大數據挖掘和分析？快速入門路徑圖
大數據無處不在。在時下這個年代，不管你喜歡與否，在運營一個成功的商業的過程中都有可能會遇到它。
什麼是 大數據 ？
大數據就像它看起來那樣——有大量的數據。單獨而言，你能從單一的數據獲取的洞見窮其有限。但是結合復雜數學模型以及強大計算能力的TB級數據，卻能創造出人類無法製造的洞見。大數據分析提供給商業的價值是無形的，並且每天都在超越人類的能力。
大數據分析的第一步就是要收集數據本身，也就是眾所周知的「數據挖掘」。大部分的企業處理著GB級的數據，這些數據有用戶數據、產品數據和地理位置數據。今天，我將會帶著大家一起探索如何用 Python 進行大數據挖掘和分析？
為什麼選擇Python?
Python最大的優點就是簡單易用。這個語言有著直觀的語法並且還是個強大的多用途語言。這一點在大數據分析環境中很重要，並且許多企業內部已經在使用Python了，比如Google，YouTube，迪士尼等。還有，Python是開源的，並且有很多用於數據科學的類庫。
現在，如果你真的要用Python進行大數據分析的話，毫無疑問你需要了解Python的語法，理解正則表達式，知道什麼是元組、字元串、字典、字典推導式、列表和列表推導式——這只是開始。
數據分析流程
一般可以按「數據獲取-數據存儲與提取-數據預處理-數據建模與分析-數據可視化」這樣的步驟來實施一個數據分析項目。按照這個流程，每個部分需要掌握的細分知識點如下：
數據獲取：公開數據、Python爬蟲
外部數據的獲取方式主要有以下兩種。
第一種是獲取外部的公開數據集，一些科研機構、企業、政府會開放一些數據，你需要到特定的網站去下載這些數據。這些數據集通常比較完善、質量相對較高。
另一種獲取外部數據的方式就是爬蟲。
比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息，爬取租房網站上某城市的租房信息，爬取豆瓣評分評分最高的電影列表，獲取知乎點贊排行、網易雲音樂評論排行列表。基於互聯網爬取的數據，你可以對某個行業、某種人群進行分析。
在爬蟲之前你需要先了解一些 Python 的基礎知識：元素（列表、字典、元組等）、變數、循環、函數………
以及，如何用 Python 庫（urllib、BeautifulSoup、requests、scrapy）實現網頁爬蟲。
掌握基礎的爬蟲之後，你還需要一些高級技巧，比如正則表達式、使用cookie信息、模擬用戶登錄、抓包分析、搭建代理池等等，來應對不同網站的反爬蟲限制。
數據存取：SQL語言
在應對萬以內的數據的時候，Excel對於一般的分析沒有問題，一旦數據量大，就會力不從心，資料庫就能夠很好地解決這個問題。而且大多數的企業，都會以SQL的形式來存儲數據。
SQL作為最經典的資料庫工具，為海量數據的存儲與管理提供可能，並且使數據的提取的效率大大提升。你需要掌握以下技能：
提取特定情況下的數據
資料庫的增、刪、查、改
數據的分組聚合、如何建立多個表之間的聯系
數據預處理：Python（pandas）
很多時候我們拿到的數據是不幹凈的，數據的重復、缺失、異常值等等，這時候就需要進行數據的清洗，把這些影響分析的數據處理好，才能獲得更加精確地分析結果。
對於數據預處理，學會 pandas （Python包）的用法，應對一般的數據清洗就完全沒問題了。需要掌握的知識點如下：
選擇：數據訪問
缺失值處理：對缺失數據行進行刪除或填充
重復值處理：重復值的判斷與刪除
異常值處理：清除不必要的空格和極端、異常數據
相關操作：描述性統計、Apply、直方圖等
合並：符合各種邏輯關系的合並操作
分組：數據劃分、分別執行函數、數據重組
Reshaping：快速生成數據透視表
概率論及統計學知識
需要掌握的知識點如下：
基本統計量：均值、中位數、眾數、百分位數、極值等
其他描述性統計量：偏度、方差、標准差、顯著性等
其他統計知識：總體和樣本、參數和統計量、ErrorBar
概率分布與假設檢驗：各種分布、假設檢驗流程
其他概率論知識：條件概率、貝葉斯等
有了統計學的基本知識，你就可以用這些統計量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可視化的分析，通過各種可視化統計圖，並得出具有指導意義的結果。
Python 數據分析
掌握回歸分析的方法，通過線性回歸和邏輯回歸，其實你就可以對大多數的數據進行回歸分析，並得出相對精確地結論。這部分需要掌握的知識點如下：
回歸分析：線性回歸、邏輯回歸
基本的分類演算法：決策樹、隨機森林……
基本的聚類演算法：k-means……
特徵工程基礎：如何用特徵選擇優化模型
調參方法：如何調節參數優化模型
Python 數據分析包：scipy、numpy、scikit-learn等
在數據分析的這個階段，重點了解回歸分析的方法，大多數的問題可以得以解決，利用描述性的統計分析和回歸分析，你完全可以得到一個不錯的分析結論。
當然，隨著你實踐量的增多，可能會遇到一些復雜的問題，你就可能需要去了解一些更高級的演算法：分類、聚類。
然後你會知道面對不同類型的問題的時候更適合用哪種演算法模型，對於模型的優化，你需要去了解如何通過特徵提取、參數調節來提升預測的精度。
你可以通過 Python 中的 scikit-learn 庫來實現數據分析、數據挖掘建模和分析的全過程。
總結
其實做數據挖掘不是夢，5步就能讓你成為一個Python爬蟲高手!