大数据挖掘算法用什么语言开发

① 在大数据分析/挖掘领域，哪些编程语言应用最多

一般来详说做数据分析挖掘每种编程语言基本都能做。
做分析方面R语言是强项。
数据可视化是Matlab。
但是挖数据要做爬虫，这个又会用到Java和Python
Python是个全能，在分析方面有Numpy，Scipy等数据分析库，又有很多爬虫库，还有matplotlib的库把数据可视化。

② 数据挖掘什么软件简单

数据挖掘用什么软件
1.R是用于统计分析和图形化的计算机语言及分析工具；

2.Weka可能是名气最大的开源机器学习和数据挖掘软件，但用起来并不方便，界面也简单了点；

3.Tanagra 是使用图形界面的数据挖掘软件；4.RapidMiner现在流行的滚返罩势头在上升，但它的操作方式和商用软件差别较大，不支持分析流程图的方式，当包含的运算符比较多的时候就不容易查看了；

5.KNIME和Orange看起来都不错，Orange界面看上去很清爽，但我发现它不支持中 文。推荐KNIME，同时安装Weka和R扩展包。

对于普通用户可以选 用界面友好易于使用的软件，对于希望从事算法开发的用户则可以根据软件开发工具不同（Java、R、C++、Python等）来选择相应的软件。
求推荐简单好用的数据挖掘软件 10分
那肯定是SPSS啊，网上自学教程也一堆，如果你不追求特别专业的，只是想数据可视化的基础上有意思数据挖掘的功能，也可以用watson *** ytics，它还支持自然语言呢
常用的数据挖掘工具有哪些
RapidMiner、R、Weka、KNIME、GGobi、Orange，都是优秀的挖掘工具，可以依据自己的需要选择。
常用数据挖掘工具有哪些
EXCEL MATLAB Origin 等等

当前流行的图形可视化和数据分析软件有Matlab，Mathmatica和Maple等。这些软件功大闹能强大，可满足科技工作中的许多需要，但使用这些软件需要一定的计算机编程知识和矩阵知识，并熟悉其中大量的函数和命令。而使用Origin就像使用Excel和Word那样简单，只需点击鼠标，选择菜单命令就可以完成大部分工作，获得满意的结果。 但它又比excel要强大些。一般日常的话可以用Excel，然后加载宏，里面有一些分析工具，不过有时需要数据库软件支持
学习数据挖掘一般要学哪些软件和工具
1、WEKA

WEKA 原生的非 Java 版本主要是为了分析农业领域数据而开发的。该工具基于 Java 版本，是非常复杂的，并且应用在许多不同的应用中，包括数据分析以及预测建模的可视化和算法。与 RapidMiner 相比优势在于，它在 GNU 通用公共许可证下是免费的，因为用户可以按照自己的喜好选择自定义。

WEKA 支持多种标准数据挖掘任务，包括数据预处理、收集、分类、回归分析、可视化和特征选取。添加序列建模后，WEKA 将会变得更强大，但目前不包括在内。

2、RapidMiner

该工具是用 Java 语言编写的，通过基于模板的框架提供先进的分析技术。该款工具最大的好处就是，用户无需写任何代码。它是作为一个服务提供，而不是一款本地软件。值得一提的是，该工具在数据挖掘工具榜上位列榜首。另外，除了数据挖掘，RapidMiner 还提供如数据预处理和可视化、预测分析和统计建模、评估和部署等功能。更厉害的是它还提供来自 WEKA(一种智能分析环境)和 R 脚本的学习方案、模型和算法。

RapidMiner 分布在 AGPL 开源许可下，可以从 SourceForge 上下载。SourceForge 是一个开发者进行开发管理的集中式场所，大量开源项目在此落户，其中就包括 *** 使用的 MediaWiki。

3、NLTK

当涉及到语言处理任务，没有什么可以打败 NLTK。NLTK 提供了一个语言处理工具，包括数据挖掘、机器学习、数据抓取、情感分析等各种语言处理任务。

而您需要做的只是安装 NLTK，然后将一个包拖拽到您最喜爱的任务中，您就可以去做其他事了。因为它是用 Python 语言编写的，你可以在上面建立应用，还可以自定义它的小任务。

4、Orange

Python 之所以受欢迎，是因为它简单易学并且功能强大。如果你是一个 Python 开发者，当涉及到需要找一个工作用的工具时，那么没世御有比 Orange 更合适的了。它是一个基于 Python 语言，功能强大的开源工具，并且对初学者和专家级的大神均适用。

此外，你肯定会爱上这个工具的可视化编程和 Python 脚本。它不仅有机器学习的组件，还附加有生物信息和文本挖掘，可以说是充满了数据分析的各种功能。

5、KNIME

数据处理主要有三个部分：提取、转换和加载。 而这三者 KNIME 都可以做到。 KNIME 为您提供了一个图形化的用户界面，以便对数据节点进行处理。它是一个开源的数据分析、报告和综合平台，同时还通过其模块化数据的流水型概念，集成了各种机 器学习的组件和数据挖掘，并引起了商业智能和财务数据分析的注意。

KNIME 是基于 Eclipse，用 Java 编写的，并且易于扩展和补充插件。其附加功能可随时添加，并且其大量的数据集成模块已包含在核心版本中。

6、R-Programming

如果我告诉你R项目，一个 GNU 项目，是由 R(R-programming简称，以下统称R)自身编写的，你会怎么想?它主要是由 C 语言和 FORTRAN 语言编写的，并且很多模块都是由 R 编写的，这是一款针对编程语言和软件环境进行统计计算和制图的免费软件。

R语言被广泛应用于数据挖掘，以及开发统计软件和数据分析中。近年来，易用性和可扩展性也大大提高了 R 的知名度。除了数据，它还提供统计和制图技术，包括线性和非线性建模，经典的统计测试，时间序列分析、分类、收......
学习数据挖掘一般要学哪些软件和工具
1、WEKA

WEKA 原生的非 Java 版本主要是为了分析农业领域数据而开发的。该工具基于 Java 版本，是非常复杂的，并且应用在许多不同的应用中，包括数据分析以及预测建模的可视化和算法。与 RapidMiner 相比优势在于，它在 GNU 通用公共许可证下是免费的，因为用户可以按照自己的喜好选择自定义。

WEKA 支持多种标准数据挖掘任务，包括数据预处理、收集、分类、回归分析、可视化和特征选取。添加序列建模后，WEKA 将会变得更强大，但目前不包括在内。

2、RapidMiner

该工具是用 Java 语言编写的，通过基于模板的框架提供先进的分析技术。该款工具最大的好处就是，用户无需写任何代码。它是作为一个服务提供，而不是一款本地软件。值得一提的是，该工具在数据挖掘工具榜上位列榜首。另外，除了数据挖掘，RapidMiner 还提供如数据预处理和可视化、预测分析和统计建模、评估和部署等功能。更厉害的是它还提供来自 WEKA(一种智能分析环境)和 R 脚本的学习方案、模型和算法。

RapidMiner 分布在 AGPL 开源许可下，可以从 SourceForge 上下载。SourceForge 是一个开发者进行开发管理的集中式场所，大量开源项目在此落户，其中就包括 *** 使用的 MediaWiki。

3、NLTK

当涉及到语言处理任务，没有什么可以打败 NLTK。NLTK 提供了一个语言处理工具，包括数据挖掘、机器学习、数据抓取、情感分析等各种语言处理任务。

而您需要做的只是安装 NLTK，然后将一个包拖拽到您最喜爱的任务中，您就可以去做其他事了。因为它是用 Python 语言编写的，你可以在上面建立应用，还可以自定义它的小任务。
目前业界常用的数据挖掘分析工具有哪些
数据分析的概念太宽泛了，做需要的是侧重于数据展示、数据挖掘、还是数据存储的？是个人用还是企业、部门用呢？应用的场景是制作简单的个人图表，还是要做销售、财务还是供应链的分析？

那就说说应用最广的BI吧，企业级应用，其实功能上已经涵盖了我上面所述的部分，主要用于数据整合，构建分析，展示数据供决策分析的，譬如FineBI，是能够”智能”分析数据的工具了。
哪个软件建立数据库比较简单好用
随着数据大数据的发展，数据安全已经上升到一个很高的高度。随着国家对数据安全的重视,国产数据库开始走进中国个大企业，其中不乏 *** 、国企。

实时数据库系统是开发实时控制系统、数据采集系统、CIMS系统等的支撑软件。在流程行业中，大量使用实时数据库系统进行控制系统监控，系统先进控制和优化控制，并为企业的生产管理和调度、数据分析、决策支持及远程在线浏览提供实时数据服务和多种数据管理功能。实时数据库已经成为企业信息化的基础数据平台，可直接实时采集、获取企业运行过程中的各种数据，并将其转化为对各类业务有效的公共信息，满足企业生产管理、企业过程监控、企业经营管理之间对实时信息完整性、一致性、安全共享的需求，可为企业自动化系统与管理信息系统间建立起信息沟通的桥梁。帮助企业的各专业管理部门利用这些关键的实时信息，提高生产销售的营运效率。如果你想定制这款国产数据库 可以打 前面是 一三六 中间是 六一二零 末尾是 四一四七

北京开运联合信息技术股份有限公司-实时性工业数据库软件（CreatRun Database ）

实时性工业数据库软件（CreatRun Database ）是什么？

1、实时性工业数据库软件（CreatRun Database ） 是开运联合公司针对行业应用，独立研发的，拥有全部自主知识产权的企业级实时/历史数据库平台。为企业监控生产情况、计算性能指标、进行事故分析和对设备启停分析诊断、故障预防等提供重要的数据保障。

2、实时性工业数据库软件（CreatRun Database ） 可广泛用于工业控制自动化数据的高速采集和存储，提供高速、海量数据存储和基础分析能力。

3、实时性工业数据库软件（CreatRun Database ） 可随时观察以及在线分析生产过程。长期保存的历史数据不仅可以重现历史生产情况，也使大规模数据挖掘成为可能。 提供企业生产信息管理解决方案，可以有效应对“从小到大” “由近及远” 的各种企业级数据应用。

4、CreatRun Database 可在线按照时间序列以毫秒级精度自动采集企业的各类过程自动化系统中的生产数据，高效压缩并存储。同时可向用户和应用程序提供实时和历史数据，使得用户可随时观察以及在线分析生产过程。长期保存的历史数据不仅可以重现历史生产情况，也使大规模数据挖掘成为可能。

【工业软件开发】实时性工业数据库软件（CreatRun Database ）系统主要技术指标:

支持数据类型：digital、int16、int32、float16、float32、float64、String等类型

标签容量：200,000 Tag

数据容量：TB级

客户端并发用户数：500 个

生产过程数据采集时间响应速度：<500 毫秒

时间戳分辨率：毫秒

存储速度：>100,000 输入值/秒存档数据回取事务吞吐量：>2,000,000 输出值/秒

实时性工业数据库软件（CreatRun Database ）系统特性——高可用性:

1、高效的数据存储策略及压缩算法“死区例外+可变斜率压缩算法 ”，精确到每个Tag的压缩配置，有效提高了历史数据存储性能，节约磁盘空间.

2、高速的数据缓存机制，使并行访问锁域粒度精确到“Block（1KBytes）”，实现了并行访问能力的最大化。使历史数据访问路由复杂度“最小化、均衡化，扁平化”，不界定“冷热”数据，所有数据访问时间成本一致，同时提供均衡访问特性和最大远程数据访问友好度。

3、Creat RUN ......
数据挖掘工具一般都有哪些
数据挖掘工具有国外的Qlik，国内的有永洪，收费是肯定的，你可以先去找些可以免费试用的挖掘工具，国内的ETHINK平台好像可以
数据挖掘工具有哪些？
SQL Server是数据库，但内建数据挖掘功能，若提到工具的话，大概有SAS, SPSS, Statistica(Dell), R, Revolution R...

③ 鏁版嵁鍒嗘瀽甯哥敤鐨勭紪绋嬭瑷鏈夊摢浜

鏁版嵁鍒嗘瀽甯哥敤鐨勭紪绋嬭瑷鏈塒ython銆丷銆丼QL銆丼cala銆丣ulia銆

缂栫▼鏄杞浠跺紑鍙戠殑鍩虹锛屽ぇ鏁版嵁鍒嗘瀽鏄鍖呮嫭璁＄畻鏈虹戝﹀湪鍐呯殑澶氫釜棰嗗煙鐨勯泦鍚堛傚畠娑夊強绉戝﹁繃绋嬪拰鏂规硶鐨勪娇鐢锛屼互鍒嗘瀽鏁版嵁骞朵粠涓寰楀嚭缁撹恒備负姝よ掕壊璁捐＄殑鐗瑰畾缂栫▼璇瑷灏嗘墽琛岃繖浜涙柟娉曘備负浜嗘垚涓虹啛缁冪殑澶ф暟鎹鍒嗘瀽瀹讹紝蹇呴』鎺屾彙浠ヤ笅澶ф暟鎹鍒嗘瀽缂栫▼璇瑷銆

1銆丳ython

R鍦–RAN鐨勫紑鏀炬簮浠ｇ爜瀛樺偍搴撲腑鏈10,000澶氫釜杞浠跺寘锛屽彲婊¤冻鎵鏈夌粺璁″簲鐢ㄧ▼搴忕殑闇姹傘俁鐨勫彟涓涓寮洪」鏄瀹冨勭悊澶嶆潅绾挎т唬鏁扮殑鑳藉姏銆傝繖浣垮緱R涓嶄粎閫傜敤浜庣粺璁″垎鏋愯屼笖閫傜敤浜庣炵粡缃戠粶銆俁鐨勫彟涓涓閲嶈佸姛鑳芥槸鍏跺彲瑙嗗寲搴揼gplot2銆

杩樻湁鍏朵粬宸ヤ綔瀹ゅ椾欢锛屼緥濡倀idyverse鍜孲parklyr锛屽畠浠涓篈pache R鎻愪緵鍩轰簬Apache Spark鐨勬帴鍙ｃ俁Studio绛夊熀浜嶳鐨勭幆澧冧娇杩炴帴鏁版嵁搴撳彉寰楁洿鍔犲规槗銆傚畠鍏锋湁涓涓绉颁负鈥淩MySQL鈥濈殑鍐呯疆杞浠跺寘锛岃ヨ蒋浠跺寘鎻愪緵R涓嶮ySQL鐨勬湰鍦拌繛鎺ャ傛墍鏈夎繖浜涘姛鑳戒娇R鎴愪负鏍稿績澶ф暟鎹鍒嗘瀽瀹剁殑鐞嗘兂閫夋嫨銆

3銆丼QL

SQL琚绉颁负鈥滃ぇ鏁版嵁鍒嗘瀽鐨勫叧閿鈥濓紝SQL鏄澶ф暟鎹鍒嗘瀽瀹跺繀椤诲叿澶囩殑鏈閲嶈佹妧鑳姐係QL鎴栤滅粨鏋勫寲鏌ヨ㈣瑷鈥濇槸鐢ㄤ簬浠庣О涓哄叧绯绘暟鎹搴撶殑鏈夌粍缁囨暟鎹婧愪腑妫绱㈡暟鎹鐨勬暟鎹搴撹瑷銆傚湪澶ф暟鎹鍒嗘瀽涓锛孲QL鐢ㄤ簬鏇存柊锛屾煡璇㈠拰鎿嶄綔鏁版嵁搴撱

浣滀负澶ф暟鎹鍒嗘瀽瀹讹紝浜嗚В濡備綍妫绱㈡暟鎹鏄宸ヤ綔涓鏈閲嶈佺殑閮ㄥ垎銆係QL鏄澶ф暟鎹鍒嗘瀽瀹剁殑鈥滆緟鍔╂﹀櫒鈥濓紝杩欐剰鍛崇潃瀹冩彁渚涚殑鍔熻兘鏈夐檺锛屼絾瀵逛簬鐗瑰畾瑙掕壊鑷冲叧閲嶈併傚畠鍏锋湁澶氱嶅疄鐜帮紝渚嬪侻ySQL锛孲QLite锛孭ostgreSQL绛夈

4銆丼cala

Scala stand鏄鍦↗VM涓婅繍琛岀殑Java缂栫▼璇瑷鐨勬墿灞曘傚畠鏄涓绉嶉氱敤缂栫▼璇瑷锛屽叿鏈夐潰鍚戝硅薄鎶鏈鍜屽姛鑳界紪绋嬭瑷鐨勫姛鑳姐傛偍鍙浠ュ皢Scala涓庡ぇ鏁版嵁骞冲彴Spark缁撳悎浣跨敤銆傚綋澶勭悊澶ч噺鏁版嵁鏃讹紝杩欎娇Scala鎴愪负鐞嗘兂鐨勭紪绋嬭瑷銆

Scala鎻愪緵浜嗕笌Java鐨勫畬鍏ㄤ簰鎿嶄綔鎬э紝鍚屾椂涓嶥ata淇濇寔浜嗙揣瀵嗙殑鑱旂郴銆備綔涓哄ぇ鏁版嵁鍒嗘瀽瀹讹紝蹇呴』瀵逛娇鐢ㄧ紪绋嬭瑷鍏呮弧淇″績锛屼互渚夸互鎵闇鐨勪换浣曞舰寮忛洉鍒绘暟鎹銆係cala鏄涓撻棬涓烘よ掕壊鍒涘缓鐨勯珮鏁堣瑷銆係cala鐨勬渶閲嶈佺壒寰佹槸鍏朵績杩涘ぇ瑙勬ā骞惰屽勭悊鐨勮兘鍔涖備絾鏄锛孲cala鐨勫︿範鏇茬嚎姣旇緝闄″抄锛屾垜浠涓嶅缓璁鍒濆﹁呬娇鐢ㄣ

5銆丣ulia

Julia鏄鏈杩戝紑鍙戠殑缂栫▼璇瑷锛屾渶閫傚悎绉戝﹁＄畻銆傚畠鍍廝ython涓鏍风畝鍗曪紝鍥犳ゅ箍鍙楁㈣繋锛屽苟涓斿叿鏈塁璇瑷鐨勮繀鎹锋ц兘銆傝繖浣縅ulia鎴愪负闇瑕佸嶆潅鏁板﹁繍绠楃殑棰嗗煙鐨勭悊鎯宠瑷銆備綔涓哄ぇ鏁版嵁鍒嗘瀽瀹讹紝鎮ㄥ皢鐮旂┒闇瑕佸嶆潅鏁板︾殑闂棰樸侸ulia鑳藉熶互寰堥珮鐨勯熷害瑙ｅ喅姝ょ被闂棰樸

灏界Julia鐢变簬鍏舵渶鏂板紑鍙戣屽湪鍏剁ǔ瀹氱増鏈涓閬囧埌浜嗕竴浜涢棶棰橈紝浣嗗畠鐜板湪宸茶骞挎硾璁ゅ彲涓轰汉宸ユ櫤鑳借瑷銆

④ 大数据处理需要用到的九种编程语言

大数据处理需要用到的九种编程语言

随着大数据的热潮不断升温，几乎各个领域都有洪水倾泻般的信息涌来，面对用户成千上万的浏览记录、记录行为数据，如果就单纯的Excel来进行数据处理是远远不能满足的。但如果只用一些操作软件来分析，而不怎么如何用逻辑数据来分析的话，那也只是简单的数据处理。

替代性很高的工作，而无法深入规划策略的核心。

当然，基本功是最不可忽略的环节，想要成为数据科学家，对于这几个程序你应该要有一定的认识：

若要列出所有程序语言，你能忘记其他的没关系，但最不能忘的就是R。从1997年悄悄地出现，最大的优势就是它免费，为昂贵的统计软件像是Matlab或SAS的另一种选择。

但是在过去几年来，它的身价大翻转，变成了资料科学界眼中的宝。不只是木讷的统计学家熟知它，包括WallStreet交易员、生物学家，以及硅谷开发者，他们都相当熟悉R。多元化的公司像是Google、Facebook、美国银行以及NewYorkTimes通通都使用R，它的商业效用持续提高。

R的好处在于它简单易上手，透过R，你可以从复杂的数据集中筛选你要的数据，从复杂的模型函数中操作数据，建立井然有序的图表来呈现数字，这些都只需要几行程序代码就可以了，打个比方，它就像是好动版本的Excel。

R最棒的资产就是活跃的动态系统，R社群持续地增加新的软件包，还有以内建丰富的功能集为特点。目前估计已有超过200万人使用R，最近的调查显示，R在数据科学界里，到目前为止最受欢迎的语言，占了回复者的61%（紧追在后的是39%的Python）。

它也吸引了WallStreet的注目。传统而言，证券分析师在Excel档从白天看到晚上，但现在R在财务建模的使用率逐渐增加，特别是可视化工具，美国银行的副总裁NiallO’Conno说，「R让我们俗气的表格变得突出」。

在数据建模上，它正在往逐渐成熟的专业语言迈进，虽然R仍受限于当公司需要制造大规模的产品时，而有的人说他被其他语言篡夺地位了。

“R更有用的是在画图，而不是建模。”顶尖数据分析公司Metamarkets的CEO，MichaelDriscoll表示，

“你不会在Google的网页排名核心或是Facebook的朋友们推荐算法时看到R的踪影，工程师会在R里建立一个原型，然后再到Java或Python里写模型语法”。

举一个使用R很有名的例子，在2010年时，PaulButler用R来建立Facebook的世界地图，证明了这个语言有多丰富多强大的可视化数据能力，虽然他现在比以前更少使用R了。

“R已经逐渐过时了，在庞大的数据集底下它跑的慢又笨重”Butler说。

所以接下来他用什么呢?

如果说R是神经质又令人喜爱的Geek，那Python就是随和又好相处的女生。

Python结合了R的快速、处理复杂数据采矿的能力以及更务实的语言等各个特质，迅速地成为主流，Python比起R，学起来更加简单也更直观，而且它的生态系统近几年来不可思议地快速成长，在统计分析上比起R功能更强。

Butler说，“过去两年间，从R到Python地显著改变，就像是一个巨人不断地推动向前进”。

在数据处理范畴内，通常在规模与复杂之间要有个取舍，而Python以折衷的姿态出现。IPythonNotebook（记事本软件）和NumPy被用来暂时存取较低负担的工作量，然而Python对于中等规模的数据处理是相当好的工具；Python拥有丰富的资料族，提供大量的工具包和统计特征。

美国银行用Python来建立新产品和在银行的基础建设接口，同时也处理财务数据，“Python是更广泛又相当有弹性，所以大家会对它趋之若鹜。”O’Donnell如是说。

然而，虽然它的优点能够弥补R的缺点，它仍然不是最高效能的语言，偶尔才能处理庞大规模、核心的基础建设。Driscoll是这么认为的。

今日大多数的数据科学都是透过R、Python、Java、Matlab及SAS为主，但仍然存在着鸿沟要去弥补，而这个时候，新进者Julia看到了这个痛点。

Julia仍太过于神秘而尚未被业界广泛的采用，但是当谈到它的潜力足以抢夺R和Python的宝座时，数据黑客也难以解释。原因在于Julia是个高阶、不可思议的快速和善于表达的语言，比起R要快的许多，比起Python又有潜力处理更具规模的数据，也很容易上手。

“Julia会变的日渐重要，最终，在R和Python可以做的事情在Julia也可以”。Butler是这么认为的。

就现在而言，若要说Julia发展会倒退的原因，大概就是它太年轻了。Julia的数据小区还在初始阶段，在它要能够和R或Python竞争前，它还需要更多的工具包和软件包。

Driscoll说，它就是因为它年轻，才会有可能变成主流又有前景。

Driscoll说，Java和以Java为基础的架构，是由硅谷里最大的几家科技公司的核心所建立的，如果你从Twitter、Linkedin或是Facebook里观察，你会发现Java对于所有数据工程基础架构而言，是非常基础的语言。

Java没有和R和Python一样好的可视化功能，它也不是统计建模的最佳工具，但是如果你需要建立一个庞大的系统、使用过去的原型，那Java通常会是你最基的选择。

Hadoop and Hive

为了迎合大量数据处理的需求，以Java为基础的工具群兴起。Hadoop为处理一批批数据处理，发展以Java为基础的架构关键；相较于其他处理工具，Hadoop慢许多，但是无比的准确和可被后端数据库分析广泛使用。和Hive搭配的很好，Hive是基于查询的架构下，运作的相当好。

又是另一个以Java为基础的语言，和Java很像，对任何想要进行大规模的机械学习或是建立高阶的算法，Scala会是逐渐兴起的工具。它是善于呈现且拥有建立可靠系统的能力。

“Java像是用钢铁建造的；Scala则是让你能够把它拿进窑烤然后变成钢的黏土”Driscoll说。

说到当你需要快速的、实时的分析时，你会想到什么?Kafka将会是你的最佳伙伴。其实它已经出现五年有了，只是因为最近串流处理兴起才变的越来越流行。

Kafka是从Linkedin内诞生的，是一个特别快速的查询讯息系统。Kafka的缺点呢?就是它太快了，因此在实时操作时它会犯错，有时候会漏掉东西。

鱼与熊掌不可兼得，「必须要在准确度跟速度之间做一个选择」，Driscoll说。所以全部在硅谷的科技大公司都利用两个管道：用Kafka或Storm处理实时数据，接下来打开Hadoop处理一批批处理数据系统，这样听起来有点麻烦又会有些慢，但好处是，它非常非常精准。

Storm是另一个从Scala写出来的架构，在硅谷逐渐大幅增加它在串流处理的受欢迎程度，被Twitter并购，这并不意外，因为Twitter对快速事件处理有极大的兴趣。

Matlab可以说是历久不衰，即使它标价很高；在非常特定的利基市场它使用的相当广泛，包括密集的研究机器学习、信号处理、图像辨识等等。

Octave和Matlab很像，除了它是免费的之外。然而，在学术信号处理的圈子，几乎都会提到它。

GO是另一个逐渐兴起的新进者，从Google开发出来的，放宽点说，它是从C语言来的，并且在建立强大的基础架构上，渐渐地成为Java和Python的竞争者。

这么多的软件可以使用，但我认为不见得每个都一定要会才行，知道你的目标和方向是什么，就选定一个最适合的工具使用吧!可以帮助你提升效率又达到精准的结果。

以上是小编为大家分享的关于大数据处理需要用到的九种编程语言的相关内容，更多信息可以关注环球青藤分享更多干货

⑤ 如何用Python进行大数据挖掘和分析

如何用Python进行大数据挖掘和分析？快速入门路径图
大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。
什么是 大数据 ？
大数据就像它看起来那样——有大量的数据。单独而言，你能从单一的数据获取的洞见穷其有限。但是结合复杂数学模型以及强大计算能力的TB级数据，却能创造出人类无法制造的洞见。大数据分析提供给商业的价值是无形的，并且每天都在超越人类的能力。
大数据分析的第一步就是要收集数据本身，也就是众所周知的“数据挖掘”。大部分的企业处理着GB级的数据，这些数据有用户数据、产品数据和地理位置数据。今天，我将会带着大家一起探索如何用 Python 进行大数据挖掘和分析？
为什么选择Python?
Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼等。还有，Python是开源的，并且有很多用于数据科学的类库。
现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。
数据分析流程
一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程，每个部分需要掌握的细分知识点如下：
数据获取：公开数据、Python爬虫
外部数据的获取方式主要有以下两种。
第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。
另一种获取外部数据的方式就是爬虫。
比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。
在爬虫之前你需要先了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数………
以及，如何用 Python 库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。
掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。
数据存取：SQL语言
在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据。
SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：
提取特定情况下的数据
数据库的增、删、查、改
数据的分组聚合、如何建立多个表之间的联系
数据预处理：Python（pandas）
很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。
对于数据预处理，学会 pandas （Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：
选择：数据访问
缺失值处理：对缺失数据行进行删除或填充
重复值处理：重复值的判断与删除
异常值处理：清除不必要的空格和极端、异常数据
相关操作：描述性统计、Apply、直方图等
合并：符合各种逻辑关系的合并操作
分组：数据划分、分别执行函数、数据重组
Reshaping：快速生成数据透视表
概率论及统计学知识
需要掌握的知识点如下：
基本统计量：均值、中位数、众数、百分位数、极值等
其他描述性统计量：偏度、方差、标准差、显著性等
其他统计知识：总体和样本、参数和统计量、ErrorBar
概率分布与假设检验：各种分布、假设检验流程
其他概率论知识：条件概率、贝叶斯等
有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。
Python 数据分析
掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：
回归分析：线性回归、逻辑回归
基本的分类算法：决策树、随机森林……
基本的聚类算法：k-means……
特征工程基础：如何用特征选择优化模型
调参方法：如何调节参数优化模型
Python 数据分析包：scipy、numpy、scikit-learn等
在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。
当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。
然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去了解如何通过特征提取、参数调节来提升预测的精度。
你可以通过 Python 中的 scikit-learn 库来实现数据分析、数据挖掘建模和分析的全过程。
总结
其实做数据挖掘不是梦，5步就能让你成为一个Python爬虫高手!