大数据管理与应用涉及哪些软件

① 常用的大数据分析软件有哪些

数据分析软件有Excel、SAS、R、SPSS、Tableau Software。

1、Excel

为Excel微软办公套装软件的一个重要的组成部分，它可以进行各种回数据的处理、答统计分析和辅助决策操作，广泛地应用于管理、统计财经、金融等众多领域。

5、Tableau Software

Tableau Software用来快速分析、可视化并分享信息。Tableau Desktop 是基于斯坦福大学突破性技术的软件应用程序。它可以以在几分钟内生成美观的图表、坐标图、仪表盘与报告。

② 大数据平台的软件有哪些

这个要分好几块来讲，首先我要说明的是大数据项目也是要有很多依赖的模块的。每个模块的软件不一样，下面分别聊一下。

一、大数据处理

这个是所谓大数据项目中最先想到的模块。主要有spark，hadoop，es，kafka，hbase，hive等。

当然像是flume，sqoop也都很常用。

这些软件主要是为了解决海量数据处理的问题。软件很多，我只列几个经典的，具体可以自行网络。

二、机器学习相关

大部分大数据项目都和机器学习相关。因此会考虑到机器学习的一些软件，比如说sklearn，spark的ml，当然还有自己实现的代码。

三、web相关技术

大部分项目也都跑不了一个web的展示，因此web就很重要的，java的ssh，python的django都可以，这个看具体的项目组习惯了。

四、其它

还有一些很常用的东西，个人感觉不完全算是大数据特定使用范橘埋高围。反正我在做大数据项目的时候也都用到了。

比如说数据存储：redis，mysql。

数据可视化：echart，d3js。

图数据库：neo4j。

再来说说大数据平台的软件或者工具：

1、数据库，大数据平台类，星环，做Hadoop生态系列的大数据平台圆尺公司。Hadoop是开源的，星环主要做的是把Hadoop不稳定的部分优化，功能细化，为企业提供Hadoop大数据引擎及液键数据库工具。

2、大数据存储硬件类，浪潮，很老牌的IT公司，国资委控股，研究大数据方面的存储，在国内比较领先。

3、云计算，云端大数据类，阿里巴巴，明星产品-阿里云，与亚马逊AWS抗衡，做公有云、私有云、混合云。实力不差，符合阿里巴巴的气质，很有野心。

4、数据应用方面这个有很多，比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等。

帆软是商业智能和数据分析平台提供商，从报表工具到商业智能，有十多年的数据应用的底子，在这个领域很成熟，目前处于快速成长期，但是很低调，是一家有技术有实力而且对客户很真诚的公司。

③ 大数据处理软件用什么比较好

常见的数据处理软件有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

数据分析与处理方法：

采集

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等。

而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

④ 大数据工程师需要学哪些软件

IntelliJ IDEA 2021.3 为开发者打造最高效智能的开发工具
DataGrip 2021.2.2非常实用专业的数据库管理编程软件
Navicat 15 for MySQL 针对MySQL数据库而开发的第三方mysql管理工具
Xshell 7 是一款最好用的linux远程连接工具
Xftp7是一种灵活且轻量级的SFFT/FTP客户端
Sublime Text 3一款跨平台代码编辑器
DBeaver是知名的通用数据库管理客户端
VMware Workstation Pro是一个“虚拟 PC”软件
Notepad++程序员必备的文本编辑器
Typora 是一款 Markdown 编辑器
EZDML是一款表结构设计器，是一个数据模型创建管理的小软件超好用的 Kafka 客户端管理工具
Offset Explorer超好用的 Kafka 客户端管理工具
PrettyZoo(zookeeper管理工具)是一款支持多个zookeeper服务器图形化管理的工具
SmartGit 就是一款非常出色 Git，Mercurial，以及 Subversion 图形化客户端软件

⑤ 大数据专业都需要学习哪些软件啊

大数据处理分析能力在21世纪至关重要。使用正确的大数据工具是企业提高自身优势、战胜竞争对手的必要条件。下面让我们来了解一下最常用的30种大数据工具，紧跟大数据发展脚步。

第一部分、数据提取工具
Octoparse是一种简单直观的网络爬虫，可以从网站上直接提取数据，不需要编写代码。无论你是初学者、大数据专家、还是企业管理层，都能通过其企业级的服务满足需求。为了方便操作，Octoparse还添加了涵盖30多个网站的“任务模板 (Task Templates)”，操作简单易上手。用户无需任务配置即可提取数据。随着你对Octoparse的操作更加熟悉，你还可以使用其“向导模式 (Wizard Mode)”来构建爬虫。除此之外，大数据专家们可以使用“高级模式 (Advanced Mode)”在数分钟内提取企业批量数据。你还可以设置“自动云提取 (Scheled Cloud Extraction)”，以便实时获取动态数据，保持跟踪记录。

02

Content Graber

Content Graber是比较进阶的网络爬网软件，具有可用于开发、测试和生产服务器的编程操作环境。用户可以使用C#或VB.NET调试或编写脚本来构建爬虫。Content Graber还允许你在爬虫的基础上添加第三方扩展软件。凭借全面的功能，Content Grabber对于具有基本技术知识的用户来说功能极其强大。
Import.io是基于网页的数据提取工具。Import.io于2016年首次启动，现已将其业务模式从B2C转变为B2B。2019年，Import.io并购了Connotate，成为了一个网络数据集成平台 (Web Data Integration Platform)。凭借广泛的网络数据服务，Import.io成为了商业分析的绝佳选择。
Parsehub是基于网页的数据爬虫。它可以使用AJax，JavaScript等等从网站上提取动态的的数据。Parsehub提供为期一周的免费试用，供用户体验其功能。
Mozenda是网络数据抓取软件，提供企业级数据抓取服务。它既可以从云端也可以从内部软件中提取可伸缩的数据。
第二部分、开源数据工具

01Knime

KNIME是一个分析平台，可以帮助你分析企业数据，发现潜在的趋势价值，在市场中发挥更大潜能。KNIME提供Eclipse平台以及其他用于数据挖掘和机器学习的外部扩展。KNIME为数据分析师提供了2,000多个模块。

02OpenRefine（过去的Google Refine）是处理杂乱数据的强有力工具，可用于清理、转换、链接数据集。借助其分组功能，用户可以轻松地对数据进行规范化。

03R-Programming

R大家都不陌生，是用于统计计算和绘制图形的免费软件编程语言和软件环境。R语言在数据挖掘中很流行，常用于开发统计软件和数据分析。近年来，由于其使用方便、功能强大，得到了很大普及。

04RapidMiner

与KNIME相似，RapidMiner通过可视化程序进行操作，能够进行分析、建模等等操作。它通过开源平台、机器学习和模型部署来提高数据分析效率。统一的数据科学平台可加快从数据准备到实施的数据分析流程，极大地提高了效率。
第三部分、数据可视化工具

01

Datawrapper

Microsoft PowerBI既提供本地服务又提供云服务。它最初是作为Excel附加组件引入的，后来因其强大的功能而广受欢迎。截至目前，它已被视为数据分析领域的领头羊，并且可以提供数据可视化和商业智能功能，使用户能够以较低的成本轻松创建美观的报告或BI仪表板。

02

Solver

Solver专用于企业绩效管理 (CPM) 数据可视化。其BI360软件既可用于云端又可用于本地部署，该软件侧重于财务报告、预算、仪表板和数据仓库的四个关键分析领域。

03

Qlik

Qlik是一种自助式数据分析和可视化工具。可视化的仪表板可帮助公司有效地“理解”其业务绩效。
04

Tableau Public



Tableau是一种交互式数据可视化工具。与大多数需要脚本的可视化工具不同，Tableau可帮助新手克服最初的困难并动手实践。拖放功能使数据分析变得简单。除此之外，Tableau还提供了入门工具包和丰富的培训资源来帮助用户创建报告。

05

Google Fusion Tables

Fusion Table是Google提供的数据管理平台。你可以使用它来收集，可视化和共享数据。Fusion Table与电子表格类似，但功能更强大、更专业。你可以通过添加CSV，KML和电子表格中的数据集与同事进行协作。你还可以发布数据作品并将其嵌入到其他网络媒体资源中。

06

Infogram

Infogram提供了超过35种交互式图表和500多种地图，帮助你进行数据可视化。多种多样的图表（包括柱形图，条形图，饼形图和文字云等等）一定会使你的听众印象深刻。

第四部分、情感分析工具

01

HubSpot’s ServiceHub

HubSpot具有客户反馈工具，可以收集客户反馈和评论，然后使用自然语言处理 (NLP) 分析数据以确定积极意图或消极意图，最终通过仪表板上的图形和图表将结果可视化。你还可以将HubSpot’s ServiceHub连接到CRM系统，将调查结果与特定联系人联系起来。这样，你可以识别不满意的客户，改善服务，以增加客户保留率。

02

Semantria

Semantria是一款从各种社交媒体收集帖子、推文和评论的工具。Semantria使用自然语言处理来解析文本并分析客户的态度。通过Semantria，公司可以了解客户对于产品或服务的感受，并提出更好的方案来改善产品或服务。

03

Trackur

Trackur的社交媒体监控工具可跟踪提到某一用户的不同来源。它会浏览大量网页，包括视频、博客、论坛和图像，以搜索相关消息。用户可以利用这一功能维护公司声誉，或是了解客户对品牌和产品的评价。

04

SAS Sentiment Analysis



SAS Sentiment Analysis是一款功能全面的软件。网页文本分析中最具挑战性的部分是拼写错误。SAS可以轻松校对并进行聚类分析。通过基于规则的自然语言处理，SAS可以有效地对消息进行分级和分类。

05

Hootsuit Insight

Hootsuit Insight可以分析评论、帖子、论坛、新闻站点以及超过50种语言的上千万种其他来源。除此之外，它还可以按性别和位置对数据进行分类，使用户可以制定针对特定群体的战略营销计划。你还可以访问实时数据并检查在线对话。

第五部分、数据库

01

Oracle



毫无疑问，Oracle是开源数据库中的佼佼者，功能丰富，支持不同平台的集成，是企业的最佳选择。并且，Oracle可以在AWS中轻松设置，是关系型数据库的可靠选择。除此之外，Oracle集成信用卡等私人数据的高安全性是其他软件难以匹敌的。

02

PostgreSQL

PostgreSQL超越了Oracle、MySQL和Microsoft SQL Server，成为第四大最受欢迎的数据库。凭借其坚如磐石的稳定性，它可以处理大量数据。

03

Airtable

Airtable是基于云端的数据库软件，善于捕获和显示数据表中的信息。Airtable提供一系列入门模板，例如：潜在客户管理、错误跟踪和申请人跟踪等，使用户可以轻松进行操作。

04

MariaDB

MariaDB是一个免费的开源数据库，用于数据存储、插入、修改和检索。此外，Maria提供强大的社区支持，用户可以在这里分享信息和知识。

05

Improvado

Improvado是一种供营销人员使用自动化仪表板和报告将所有数据实时地显示在一个地方的工具。作为营销和分析领导者，如果你希望在一个地方查看所有营销平台收集的数据，那么Inprovado对你再合适不过了。你可以选择在Improvado仪表板中查看数据，也可以将其通过管道传输到你选择的数据仓库或可视化工具中，例如Tableau、Looker、Excel等。品牌，代理商和大学往往都喜欢使用Improvado，以大大节省人工报告时间和营销花费。

⑥ 常用的大数据分析软件有哪些(列举当前主流大数据分析工具有哪些)

大数据行业因为数据量巨大的特点，传统的工具已经难以应付，因此就需要我们使用更为先进的现代化工具，以下是几款常用软件：

1、思迈特软件Smartbi大数据分析平台：定位为一站式满足所有用户全面需求场景的大数据分析平台。它融合了BI定义的所有阶段，对接各种业务数据库、数据仓库和大数据分析平台，进行加工处理、分析挖掘和可视化展现；满足所有用户的各种数据分析应用需求，如大数据分析、可视化分析、探友唯凳索式分析、企业报表平台、应用分享等等。

2、HPCC，（高性能计算与通信）的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。

2、Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布好旅处理。

数据分析工具靠不靠谱，来试试Smartbi,思迈特软件Smartbi经过多年持续自主研发，凝聚大量商业智能最佳实践经山粗验，整合了各行业的数据分析和决策支持的功能需求。满足最终用户在企业级报表、数据可视化分析、自助探索分析、数据挖掘建模、AI智能分析等大数据分析需求

⑦ 大数据常用的软件工具有哪些

众所周知，现如今，大数据越来越受到大家的重视，也逐渐成为各个行业研究的重点。正所谓“工欲善其事必先利其器”，大数据想要搞的好，使用的工具必须合格。而大数据行业因为数据量巨大的特点，传统的工具已经难以应付，因此就需要我们使用更为先进的现代化工具，那么大数据常用的软件工具有哪些呢？
首先，对于传统分析和商业统计来说，常用的软件工具有Excel、SPSS和SAS。
Excel是一个电子表格软件，相信很多人都在工作和学习的过程中，都使用过这款软件。Excel方便好用，容易操作，并且功能多，为我们提供了很多的函数计算方法，因此被广泛的使用，但它只适合做简单的统计，一旦数据量过大，Excel将不能满足要求。
SPSS和SAS都是商业统计才会用到的软件，为我们提供了经典的统计分析处理，能让我们更好的处理商业问题。同时，SPSS更简单，但功能相对也较少，而SAS的功能就会更加丰富一点。
第二，对于数据挖掘来说，由于数据挖掘在大数据行业中的重要地位，所以使用的软件工具更加强调机器学习，常用的软件工具就是SPSS Modeler。
SPSS Modeler主要为商业挖掘提供机器学习的算法，同时，其数据预处理和结果辅助分析方面也相当方便，这一点尤其适合商业环境下的快速挖掘，但是它的处理能力并不是很强，一旦面对过大的数据规模，它就很难使用。
第三，大数据可视化。在这个领域，最常用目前也是最优秀的软件莫过于TableAU了。
TableAU的主要优势就是它支持多种的大数据源，还拥有较多的可视化图表类型，并且操作简单，容易上手，非常适合研究员使用。不过它并不提供机器学习算法的支持，因此不难替代数据挖掘的软件工具。
第四，关系分析。关系分析是大数据环境下的一个新的分析热点，其最常用的是一款可视化的轻量工具——Gephi。
Gephi能够解决网络分析的许多需求，功能强大，并且容易学习，因此很受大家的欢迎。但由于它是由Java编写的，导致处理性能并不是那么优秀，在处理大规模数据的时候显得力不从心，所以也是有着自己的局限性。
上面四种软件，就是笔者为大家盘点的在大数据行业中常用到的软件工具了，这些工具的功能都是比较强大的，虽然有着不少的局限性，但由于大数据行业分工比较明确，所以也能使用。希望大家能从笔者的文章中，获取一些帮助。

⑧ 大数据专业都需要学习哪些软件啊

一、Phoenix
简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。
Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。
Phoenix最值得关注的一些特性有：
❶嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API❷可以通过多部行键或是键/值单元对列进行建模❸完善的查询支持，可以使用多个谓词以及优化的扫描键❹DDL支持：通过CREATE TABLE、DROP TABLE及ALTER TABLE来添加/删除列❺版本化的模式仓库：当写入数据时，快照查询会使用恰当的模式❻DML支持：用于逐行插入的UPSERT VALUES、用于相同或不同表之间大量数据传输的UPSERT ❼SELECT、用于删除行的DELETE❽通过客户端的批处理实现的有限的事务支持❾单表——还没有连接，同时二级索引也在开发当中➓紧跟ANSI SQL标准
二、Stinger
简介：原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。
某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要优点包括：
❶让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive的样式系统更符合SQL模型。
❷优化了Hive请求执行计划，优化后请求时间减少90%。改动了Hive执行引擎，增加单Hive任务的被秒处理记录数。
❸在Hive社区中引入了新的列式文件格式（如ORC文件），提供一种更现代、高效和高性能的方式来储存Hive数据。
❹引入了新的运行时框架——Tez，旨在消除Hive的延时和吞吐量限制。Tez通过消除不必要的task、障碍同步和对HDFS的读写作业来优化Hive job。这将优化Hadoop内部的执行链，彻底加速Hive负载处理。
三、Presto
简介：Facebook开源的数据查询引擎Presto ，可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发，目前该项目已经在超过 1000 名 Facebook 雇员中使用，运行超过 30000 个查询，每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 Map*Rece 要好上 10 倍有多。
Presto 当前支持 ANSI SQL 的大多数特效，包括联合查询、左右联接、子查询以及一些聚合和计算函数；支持近似截然不同的计数(DISTINCT COUNT)等。

⑨ 大数据工程师需要学哪些软件

你好，很高兴为你解答，大数据需要用到的软件有很多的，学习大数据的基础是java和linux，主流的大数据处理平台如hadoop，爬取数据如python，ETL常用sql，等等。 另外，面向就业的大数据学习是有一定要求的，最低大专学历，年龄20-32岁，不知道你的具体情况如何，希望你考虑清楚。希望能帮到你，祝你生活愉快！