最全大数据工具盘点

❶ 请问大数据开发工具有哪些

你好，目前大数据常用的工具有Apache Hadoop、Apache Spark、Apache Storm、Apache Cassandra、Apache Kafka等等。下面分别介绍一下这几种工具：

1. Hadoop用于存储过程和分析大数据。Hadoop 是用 java 编写的。Apache Hadoop 支持并行处理数据，因为它同时在多台机器上工作。它使用集群架构。集群是一组通过 LAN 连接的系统。Apache Hadoop是大数据行业中最常用的工具之一

2. Apache Spark可以被认为是 Hadoop 的继承者，因为它克服了它的缺点。Spark 与 Hadoop 不同，它同时支持实时和批处理。它是一个通用的集群系统。它还支持内存计算，比 Hadoop 快 100 倍。这可以通过减少对磁盘的读/写操作次数来实现

3. Apache Storm 是一个开源的大数据工具，分布式实时和容错处理系统。它有效地处理无限的数据流。通过无界流，我们指的是不断增长的数据，并且有一个开始但没有定义的结束

4. Apache Cassandra是一个分布式数据库，可提供高可用性和可扩展性，而不会影响性能效率。它是最好的大数据工具之一，可以容纳所有类型的数据集，即结构化、半结构化和非结构化

5. MongoDB是一个开源数据分析工具，提供跨平台能力的NoSQL数据库。对于需要快速移动和实时数据来做出决策的企业来说，它堪称典范

6. Apache Kafka 是一个分布式事件处理或流式处理平台，可为系统提供高吞吐量。它的效率足以每天处理数万亿个事件。它是一个高度可扩展的流媒体平台，还提供了出色的容错能力

当然，除了这些之外，还有一些其他跨平台的工具可供大数据使用。

希望我的回答能帮到你！

❷ 谁知道大数据分析工具都有什么

常用到的大数据分析工具大概有
1.专业的大数据分析工具
2.各种Python数据可视化第三方库
3.其它语言的数据可视化框架
一、专业的大数据分析工具
1、FineReport
FineReport是一款纯Java编写的、集数据展示(报表)和数据录入(表单)功能于一身的企业级web报表工具，只需要简单的拖拽操作便可以设计复杂的中国式报表，搭建数据决策分析系统。
2、FineBI
FineBI是新一代自助大数据分析的商业智能产品，提供了从数据准备、自助数据处理、数据分析与挖掘、数据可视化于一体的完整解决方案，也是我比较推崇的可视化工具之一。
FineBI的使用感同Tableau类似，都主张可视化的探索性分析，有点像加强版的数据透视表。上手简单，可视化库丰富。可以充当数据报表的门户，也可以充当各业务分析的平台。
二、Python的数据可视化第三方库
Python正慢慢地成为数据分析、数据挖掘领域的主流语言之一。在Python的生态里，很多开发者们提供了非常丰富的、用于各种场景的数据可视化第三方库。这些第三方库可以让我们结合Python语言绘制出漂亮的图表。
1、pyecharts
Echarts(下面会提到)是一个开源免费的javascript数据可视化库，它让我们可以轻松地绘制专业的商业数据图表。当Python遇上了Echarts，pyecharts便诞生了，它是由chenjiandongx等一群开发者维护的Echarts Python接口，让我们可以通过Python语言绘制出各种Echarts图表。
2、Bokeh
Bokeh是一款基于Python的交互式数据可视化工具，它提供了优雅简洁的方法来绘制各种各样的图形，可以高性能地可视化大型数据集以及流数据，帮助我们制作交互式图表、可视化仪表板等。
三、其他数据可视化工具
1、Echarts
前面说过了，Echarts是一个开源免费的javascript数据可视化库，它让我们可以轻松地绘制专业的商业数据图表。
大家都知道去年春节以及近期央视大规划报道的网络大数据产品，如网络迁徙、网络司南、网络大数据预测等等，这些产品的数据可视化均是通过ECharts来实现的。
2、D3
D3（Data Driven Documents）是支持SVG渲染的另一种JavaScript库。但是D3能够提供大量线性图和条形图之外的复杂图表样式，例如Voronoi图、树形图、圆形集群和单词云等。

❸ 大数据分析工具都有哪些

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，那么大数据分析的工具都有哪些呢？大数据分析的工具有很多很多，一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面我们就对大数据分析工具进行详细介绍。
首先我们从数据存储来讲数据分析的工具，我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力；
2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。
3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台。
接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表；
2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。

第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具。
1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。
最后说表现层的软件，一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件：大部分人都是用PPT写报告；
2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;
3、Swiff Chart软件：制作图表的软件，生成的是Flash;
以上的内容就是对于数据分析的工具的列举， 想必大家看这篇文章能够给大家带来帮助大家在进行数据分析的时候一定要注意好上面提到的内容，这样才能够对数据分析的很好。最后感谢大家的阅读。

❹ 大数据开发工具有哪些

大数据研究的出现，为企业、研究机构、政府决策提供了新的行之有效思路和手段，想要做好大数据的管理和分析，一些大数据开发工具 的使用是必不可少的，以下是大数据开发过程中常用的工具：
1. Apache Hive
Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。
2. Apache Spark
Apache Spark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。
3. Jaspersoft BI 套件
Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件是一流的, 许多企业已经使用它来将SQL表转化为pdf,，这使每个人都可以在会议上对其进行审议。另外，JasperReports提供了一个连接配置单元来替代HBase。
4. Keen IO
Keen IO是个强大的移动应用分析工具。开发者只需要简单到一行代码， 就可以跟踪他们想要的关于他们应用的任何信息。开发者接下来只需要做一些Dashboard或者查询的工作就可以了。
5. Mortar Data
Mortar Data是专为开发者打造的Hadoop开发平台，它用Pig和Python的组合替代了MapRece以便开发者能简单地编写Hadoop管道（Pipeline）。
6. Placed Analytics
利用脚本语言以及API， PlacedAnalytics能够提供针对移动和网络应用的详细用户行为分析。包括， 用户使用时间和地理位置信息。 这些可以帮助开发者的应用更好地吸引广告商， 也可以帮助开发者对自己的应用进行改善。
7. Ingres Corp
它拥有超过一万客户而且正在扩增。它通过Vectorwise以及对ParAccel实现了扩展。这些发展分别导致了Actian Vector和Actian Matrix的创建。它有Apache，Cloudera，Hortonworks以及其他发行版本可供选择。
8. Talend Open Studio
Talend是一个统一的平台，它通过提供一个统一的，跨企业边界生命周期管理的环境，使数据管理和应用更简单便捷。这种设计可以帮助企业构建灵活、高性能的企业架构,在次架构下，集成并启用百分之百开源服务的分布式应用程序变为可能。
9. Cloudera
Cloudera正在努力为开源Hadoop,提供支持，Hadoop可以作为目标数据仓库，高效的数据平台，或现有数据仓库的ETL来源。企业规模可以用作集成Hadoop与传统数据仓库的基础。 Cloudera致力于成为数据管理的“重心”。
10. Pentaho Business Analytics
Pentaho的工具可以连接到NoSQL数据库，有很多内置模块，可以把它们拖放到一个图片上, 然后将它们连接起来。
工具的熟练使用可以起到事半功倍的效果，以上仅仅是一些数据开发过程中常用的工具，对于大数据开发人员来说是需要熟练掌握的，当然，大数据开发 过程中也会需要借助一些其他的工具，这就需要大数据开发人员 具有发现和解决问题的能力，以及养成善于积累的习惯！

❺ 常用的大数据工具有哪些

1. 开源大数据生态圈
Hadoop HDFS、Hadoop MapRece, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
开源生态圈活跃，版并免费，但Hadoop对技术要求权高，实时性稍差。

2. 商用大数据分析工具
一体机数据库/数据仓库（费用很高）

IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

数据仓库（费用较高）
Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

数据集市（费用一般）
QlikView、 Tableau 、国内永洪科技Yonghong Data Mart 等等。

前端展现
用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。
用于展现分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 、国内永洪科技Yonghong Z-Suite等等。

❻ 大数据工作中有哪些工具

1.数据挖掘的工具

在进行数据分析工作的时候，我们需要数据挖掘，而对于数据挖掘来说，由于数据挖掘在大数据行业中的重要地位，所以使用的软件工具更加强调机器学习，常用的软件工具就是SPSS Modeler。SPSS Modeler主要为商业挖掘提供机器学习的算法，同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘，但是它的处理能力并不是很强，一旦面对过大的数据规模，它就很难使用。

2.数据分析需要的工具

在数据分析中，常用的软件工具有Excel、SPSS和SAS。Excel是一个电子表格软件，相信很多人都在工作和学习的过程中，都使用过这款软件。Excel方便好用，容易操作，并且功能多，为我们提供了很多的函数计算方法，因此被广泛的使用，但它只适合做简单的统计，一旦数据量过大，Excel将不能满足要求。SPSS和SAS都是商业统计才会用到的软件，为我们提供了经典的统计分析处理，能让我们更好的处理商业问题。

3.可视化用到的工具

在数据可视化这个领域中，最常用的软件就是TableAU了。TableAU的主要优势就是它支持多种的大数据源，还拥有较多的可视化图表类型，并且操作简单，容易上手，非常适合研究员使用。不过它并不提供机器学习算法的支持，因此不难替代数据挖掘的软件工具。关系分析。关系分析是大数据环境下的一个新的分析热点，其最常用的是一款可视化的轻量工具——Gephi。Gephi能够解决网络分析的许多需求，功能强大，并且容易学习，因此很受大家的欢迎。

❼ 常见的大数据采集工具有哪些

1、离线搜集工具：ETL

在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。

2、实时搜集工具：Flume/Kafka

实时搜集首要用在考虑流处理的事务场景，比方，用于记录数据源的履行的各种操作活动，比方网络监控的流量办理、金融运用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据搜集会成为Kafka的顾客，就像一个水坝一般将上游源源不断的数据拦截住，然后依据事务场景做对应的处理(例如去重、去噪、中心核算等)，之后再写入到对应的数据存储中。

3、互联网搜集工具：Crawler, DPI等

Scribe是Facebook开发的数据(日志)搜集体系。又被称为网页蜘蛛，网络机器人，是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的搜集。

除了网络中包含的内容之外，关于网络流量的搜集能够运用DPI或DFI等带宽办理技术进行处理。

❽ 大数据分析工具都有哪些

大数据分析工具好用的有以下几个，分别是Excel、BI工具、Python、Smartbi、Bokeh、Storm、Plotly等。

1、Excel

Excel可以称得上是最全能的数据分析工具之一，包括表格制作、数据透视表、VBA等等功能，保证人们能够按照需求进行分析。

2、BI工具

BI也就是商业智能，BI工具的产品设计，几乎是按照数据分析的流程来设计的。先是数据处理、整理清洗，再到数据建模，最后数据可视化，全程围绕数据指导运营决策的思想。由于功能聚焦，产品操作起来也非常简洁，依靠拖拉拽就能完成大部分的需求，没有编程基础的业务人员也能很快上手。

3、Python

python在数据分析领域，确实称得上是一个强大的语言工具。尽管入门的学习难度要高于Excel和BI，但是作为数据科学家的必备工具，从职业高度上讲，它肯定是高于Excel、BI工具的。尤其是在统计分析和预测分析等方面，Python等编程语言更有着其他工具无可比拟的优势。

4、思迈特软件Smartbi

融合传统BI、自助BI、智能BI，满足BI定义所有阶段的需求；提供数据连接、数据准备、数据分析、数据应用等全流程功能；提供复杂报表、数据可视化、自助探索分析、机器学习建模、预测分析、自然语言分析等全场景需求；满足数据角色、分析角色、管理角色等所有用户的需求。

5、Bokeh

这套可视化框架的主要目标在于提供精致且简洁的图形处理结果，用以强化大规模数据流的交互能力。其专门供Python语言使用。

6、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

7、 Plotly

这是一款数据可视化工具，可兼容JavaScript、MATLAB、Python以及R等语言。Plotly甚至能够帮助不具备代码编写技能或者时间的用户完成动态可视化处理。这款工具常由新一代数据科学家使用，因为其属于一款业务开发平台且能够快速完成大规模数据的理解与分析。

❾ 大数据处理必备的十大工具！

大数据的日益增长,给企业管理大量的数据带来了挑战的同时也带来了一些机遇。下面是用于信息化管理的大数据工具列表：

1.ApacheHive

Hive是一个建立在hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

2JaspersoftBI套件

Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件是一流的,许多企业已经使用它来将SQL表转化为pdf,，这使每个人都可以在会议上对其进行审议。另外，JasperReports提供了一个连接配置单元来替代HBase。

3.1010data

1010data创立于2000年，是一个总部设在纽约的分析型云服务，旨在为华尔街的客户提供服务，甚至包括NYSEEuronext、 游戏 和电信的客户。它在设计上支持可伸缩性的大规模并行处理。它也有它自己的查询语言,支持SQL函数和广泛的查询类型，包括图和时间序列分析。这个私有云的方法减少了客户在基础设施管理和扩展方面的压力。

4.Actian

Actian之前的名字叫做IngresCorp，它拥有超过一万客户而且正在扩增。它通过Vectorwise以及对ParAccel实现了扩展。这些发展分别导致了ActianVector和ActianMatrix的创建。它有Apache，Cloudera，Hortonworks以及其他发行版本可供选择。

5.PentahoBusinessAnalytics

从某种意义上说,Pentaho与Jaspersoft相比起来,尽管Pentaho开始于报告生成引擎，但它目前通过简化新来源中获取信息的过程来支持大数据处理。Pentaho的工具可以连接到NoSQL数据库，例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一个更有趣的图形编程界面工具)有很多内置模块，你可以把它们拖放到一个图片上,然后将它们连接起来。

6.KarmasphereStudioandAnalyst

KarsmasphereStudio是一组构建在Eclipse上的插件,它是一个更易于创建和运行Hadoop任务的专用IDE。在配置一个Hadoop工作时，Karmasphere工具将引导您完成每个步骤并显示部分结果。当出现所有数据处于同一个Hadoop集群的情况时，KarmaspehereAnalyst旨在简化筛选的过程,。

7.Cloudera

Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管理企业所有数据的中心点。Hadoop可以作为目标数据仓库，高效的数据平台，或现有数据仓库的ETL来源。企业规模可以用作集成Hadoop与传统数据仓库的基础。Cloudera致力于成为数据管理的“重心”。

8.

HP提供了用于加载Hadoop软件发行版所需的参考硬件配置,因为它本身并没有自己的Hadoop版本。计算机行业领袖将其大数据平台架构命名为HAVEn(意为Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)。惠普在Vertica7版本中增加了一个“FlexZone”，允许用户在定义数据库方案以及相关分析、报告之前 探索 大型数据集中的数据。这个版本通过使用HCatalog作为元数据存储，与Hadoop集成后为用户提供了一种 探索 HDFS数据表格视图的方法。

9.TalendOpenStudio

Talend’s工具用于协助进行数据质量、数据集成和数据管理等方面工作。Talend是一个统一的平台，它通过提供一个统一的，跨企业边界生命周期管理的环境，使数据管理和应用更简单便捷。这种设计可以帮助企业构建灵活、高性能的企业架构,在次架构下，集成并启用百分之百开源服务的分布式应用程序变为可能。

10.ApacheSpark

ApacheSpark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。

❿ 大数据分析工具有哪些

1、新榜：互联网渠道的价值标准：以日、周、月、年为周期,按24大分类权威发布以微信为代表的中国各自媒体平台最真实、最具价值的运营榜单,方便用户了解新媒体整体发展情况,为用户提供有效的参考导向…

2、Hadoop：能够对大量数据进行分布式处理的软件框架。
3、清博大数据中国新媒体大数据权威平台：清博大数据拥有清博指数、清博舆情、营广工品等多个核心产品。提供微信、微博、头条号等新媒体排行榜,广告交易、舆情报告、数据咨询...
4、神策数据：多维度数据实时分析，事件分析，漏斗分析，留存分析，分布分析等8大分析模型，轻松搞定数据分析需求。
5、GrowingIO：实时采集用户行为数据，可视化实时出图。