用什么系统做大数据

① 大数据是python好还是java好 应该选择哪个

Java和Python这两个语言应该都算是行业的标志性语言了，Java的需求量大，但是Java的从业者也多，经验丰富的更多，而Python因为近几年人工智能，机器学习，数据分析等这些技术的发展，Python在编程行业占据的地位越来越多，发展前景是很好的。

Java、Python大数据的区别

1、Java大数据

Java语言猛悉应用广泛，可以应用的领域也非常多，有完整的生态体系，另外Java语言的性能也非常不错。Java与大数据的关系非常密切，一方面目前做大数据开发的程序员很多都是从Java程序员转过去的，另一方面Hadoop平台本身就是基于Java开发的，所以目前Java在大数据开发中的使用还是非常普遍的。但是Java语言自身的复杂性让很多程序员感觉它有点“重”，格式化的东西有仔仔点多。

单学Java以后的就业方向单一，薪资就是Java程序员的枝戚乎基本水平，而Java大数据工程师，以后的就业可以从事Java方面的工作，也可以涉猎大数据方面的工作。

2、Python大数据

Python语言目前在大数据和人工智能领域有广泛的应用，原因就是Python语言简单、直接、方便。Python语言是脚本式语言，所以学习起来比较简单，脚本语言的天然属性就是直接，所以Python在语法结构上比Java要“轻”很多。另外，由于Python有丰富的库支持，所以Python做软件开发也非常“直接”，程序员的作用有点像做“集成”的感觉。

但是Python缺点也比较明显，那就是Python的性能远不及Java，另外与大数据平台的耦合度也不如Java好。但是如果你使用Python做算法实现、数据分析、数据呈现等应用是完全没有问题的，效率也比较高。

学习大数据应该选择什么

java主要用于商业逻辑强的领域，如商城系统，erp，oa,金融，保险等传统数据库事务领域，通过类似ssh框架事务代码，对商业数据库，如oralce，db2，sql server等支持较好，软件工程理念较强，适合软件工程式的多人开发模式。python主要用于web数据分析，科学计算，金融分析，信号分析，图像算法，数学计算，统计分析，算法建模，服务器运维，自动化操作，快速开发理念强，适合快速开发团队或个人敏捷模式。

数据统计分析和大数据挖掘基础应用Python。Python既是一种面向对象的编程语言又因为其简单、易学、开源、脚本语言范儿的“人设”，是一种既适合数据科学又适合大数技术从业者学习的语言。

如果你想学一门语言，可以从语言的适用性、学习的难易程度、企业主的要求几个方面考虑，从这几个角度看，学习Python都没有什么可挑剔的。

想从事大数据，Java和Python两种语言较合适，无论你选择哪一种语言做大数据开发，只要是适合的就是最好的，语言本身就是工具，学习起来并不是十分困难，想大数据行业发展的就要快速成长起来。

② 大数据分析系统平台方案有哪些

目前常用的大数据解决方案包括以下几类
一、Hadoop。Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
二、HPCC。HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。HPCC主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

三、Storm。Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。 Storm支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来
四、Apache Drill。为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

③ 做大数据分析系统Hadoop需要用哪些软件

1、ApacheMesos

代码托管地址：ApacheSVN

Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用linuxContainers来隔离任务，支持多种资源计划分配(内存和CPU)。提供Java、Python和C++APIs来开发新的并行应用程序，提供基于Web的用户界面来提查看集群状态。

2、HadoopYARN

代码托管地址：ApacheSVN

YARN又被称为MapRece2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供Java虚拟机内存的隔离。

对比MapRece1.x，YARN架构在客户端上并未做太大的改变，在调用API及接口上还保持大部分的兼容，然而在YARN中，开发人员使用ResourceManager、ApplicationMaster与NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一个中心的服务，负责调度、启动每一个Job所属的ApplicationMaster，另外还监控ApplicationMaster的存在情况;NodeManager负责Container状态的维护，并向RM保持心跳。ApplicationMaster负责一个Job生命周期内的所有工作，类似老的框架中JobTracker。

Hadoop上的实时解决方案

前面我们有说过，在互联网公司中基于业务逻辑需求，企业往往会采用多种计算框架，比如从事搜索业务的公司：网页索引建立用MapRece，自然语言处理用Spark等。

3、ClouderaImpala

代码托管地址：GitHub

Impala是由Cloudera开发，一个开源的MassivelyParallelProcessing(MPP)查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(HueBeeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的，第一个版本发布于2012年末。

Impala不再使用缓慢的Hive+MapRece批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分组成)，可以直接从HDFS或者HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。

4、Spark

代码托管地址：Apache

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

Spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与Hadoop不同的是，Spark和Scala紧密集成，Scala像管理本地collective对象那样管理分布式数据集。Spark支持分布式数据集上的迭代式任务，实际上可以在Hadoop文件系统上与Hadoop一起运行(通过YARN、Mesos等实现)。

5、Storm

代码托管地址：GitHub

Storm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获。Storm属于流处理平台，多用于实时计算并更新数据库。Storm也可被用于“连续计算”(continuouscomputation)，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。

Hadoop上的其它解决方案

就像前文说，基于业务对实时的需求，各个实验室发明了Storm、Impala、Spark、Samza等流实时处理工具。而本节我们将分享的是实验室基于性能、兼容性、数据类型研究的开源解决方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

6、Shark

代码托管地址：GitHub

Shark，代表了“HiveonSpark”，一个专为Spark打造的大规模数据仓库系统，兼容ApacheHive。无需修改现有的数据或者查询，就可以用100倍的速度执行HiveQL。

Shark支持Hive查询语言、元存储、序列化格式及自定义函数，与现有Hive部署无缝集成，是一个更快、更强大的替代方案。

7、Phoenix

代码托管地址：GitHub

Phoenix是构建在ApacheHBase之上的一个SQL中间层，完全使用Java编写，提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix完全托管在GitHub之上。

Phoenix值得关注的特性包括：1，嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API;2，可以通过多个行键或是键/值单元对列进行建模;3，DDL支持;4，版本化的模式仓库;5，DML支持;5，通过客户端的批处理实现的有限的事务支持;6，紧跟ANSISQL标准。

8、ApacheAccumulo

代码托管地址：ApacheSVN

ApacheAccumulo是一个可靠的、可伸缩的、高性能、排序分布式的键值存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用GoogleBigTable设计思路，基于ApacheHadoop、Zookeeper和Thrift构建。Accumulo最早由NSA开发，后被捐献给了Apache基金会。

对比GoogleBigTable，Accumulo主要提升在基于单元的访问及服务器端的编程机制，后一处修改让Accumulo可以在数据处理过程中任意点修改键值对。

9、ApacheDrill

代码托管地址：GitHub

本质上，ApacheDrill是GoogleDremel的开源实现，本质是一个分布式的mpp查询层，支持SQL及一些用于NoSQL和Hadoop数据存储系统上的语言，将有助于Hadoop用户实现更快查询海量数据集的目的。当下Drill还只能算上一个框架，只包含了Drill愿景中的初始功能。

Drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析，将是一个专为互动分析大型数据集的分布式系统。

10、ApacheGiraph

代码托管地址：GitHub

ApacheGiraph是一个可伸缩的分布式迭代图处理系统，灵感来自BSP(bulksynchronousparallel)和Google的Pregel，与它们区别于则是是开源、基于Hadoop的架构等。

Giraph处理平台适用于运行大规模的逻辑计算，比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算，被Facebook作为其OpenGraph工具的核心，几分钟内处理数万亿次用户及其行为之间的连接。

11、ApacheHama

代码托管地址：GitHub

ApacheHama是一个建立在Hadoop上基于BSP(BulkSynchronousParallel)的计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。集群环境中的系统架构由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)这3大块组成。

12、ApacheTez

代码托管地址：GitHub

ApacheTez是基于HadoopYarn之上的DAG(有向无环图，DirectedAcyclicGraph)计算框架。它把Map/Rece过程拆分成若干个子过程，同时可以把多个Map/Rece任务组合成一个较大的DAG任务，减少了Map/Rece之间的文件存储。同时合理组合其子过程，减少任务的运行时间。由Hortonworks开发并提供主要支持。

13、ApacheAmbari

代码托管地址：ApacheSVN

ApacheAmbari是一个供应、管理和监视ApacheHadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的HadoopAPI,可以隐藏复杂的Hadoop操作，使集群操作大大简化，首个版本发布于2012年6月。

ApacheAmbari现在是一个Apache的顶级项目，早在2011年8月，Hortonworks引进Ambari作为ApacheIncubator项目，制定了Hadoop集群极致简单管理的愿景。在两年多的开发社区显着成长，从一个小团队，成长为Hortonworks各种组织的贡献者。Ambari用户群一直在稳步增长，许多机构依靠Ambari在其大型数据中心大规模部署和管理Hadoop集群。

目前ApacheAmbari支持的Hadoop组件包括：HDFS、MapRece、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。

④ 好用的外贸大数据客户开发系统有哪些

想要做外贸客户开发，首先要明确你们公司的需求。

其次是，要看客户开发系统的数据要配燃饥考虑到质量和真实性、准确性、全面性。并且能够定期更新维护数据的软件才靠谱。

操作的简易程度，软件功能是否可扩展，支持定制化，且系统稳定的，才能算得上是好的软件系统。

外贸大数据客户开发系统推荐

快启精线索，它是基于人工智能和大数据分析技术的外贸客户开发软件，用户能够根据自己的需求去设置行业、企业类型、经营范围、地域等作为条件。然后去筛选出精准的客户资源。可以根据条件设置筛选项，如下：

大数据智能分析和处理，通过多种渠道的数据收集，然后进行整合并分析出你的潜在客户，从而保证了数据段旅的准确性。

获取多渠道的联系人，从而找到企业关键人。收集了企业在多个渠道公示的联系方式，有效找到企业负责人，开展合作。（许培返多系统是找企业工商信息，获取的法人联系方式，法人一般不是决策人，留下的号码不是空号，就是打不通）

因此，系统能获取大量的企业资源不能代表资源的有效性，找对企业资源、找到企业决策人才是关键！

数据定期更新和维护，保证数据是通过多种渠道获取最新数据，从而做到客户开发的可实施性。避免找到了客户，却合作了其他公司的情况发生，保证有效性。

其次是一些个性化的推送，会根据客户的行为和偏好，提供个性化的营销方案，提高客户体验和需求的满足。操作起来方便易上手，加快员工的使用和客户开发进度，提升办公效率。

⑤ 大数据处理软件用什么比较好

常见的数据处理软件有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

数据分析与处理方法：

采集

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的大量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等。

而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些大量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

⑥ 如何架构大数据系统 hadoop

大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。

一、大数据建设思路

1）数据的获得

四、总结

基于分布式技术构建的大数据平台能够有效降低数据存储成本，提升数据分析处理效率，并具备海量数据、高并发场景的支撑能力，可大幅缩短数据查询响应时间，满足企业各上层应用的数据需求。

⑦ 大数据背景管理信息系统有哪些

大数据背景管理信息系统有腾讯纯孝分析、阿里云大数据、国家电网智能化管理信息系统。
1、腾讯分析：腾讯分析是腾讯公司推出的一款大数据分析工具，主要用于对社交媒体、电子商务、游戏等业务数据进行分析和挖掘，以帮助企业做出更好的决策。
2、阿里云大数据：阿里云大数据是阿里云推出的一整套大数据解决方案，包括数据存储、计算、分析和可视化等各个环节，能够满足企业在大数据管理和应用方面的需求。
3、国家电网智能化管理信息系统：国家电网智能化管理信息系统是丛裤液中国国家电网公司推出的一款大渗物数据管理和决策支持系统，主要用于电力系统的数据采集、存储、分析和决策支持。

⑧ 大数据系统有哪些

大数据可视化系统（一）思迈特软件Smartbi

思迈特软件Smartbi是一款商业智能BI工具，做数据分析和可视化数据展现，以分析为主，提供多种数据接入方式，可视化功能强大，平台更适合掌握分析方法了解分析的思路的用户，其他用户的使用则依赖于分析师的结果输出。

Smartbi也是小编找了很久感觉很不错的一款大数据可视化系统。其中还有很多对数据处理的公式和方法，图表也比较全面。相对于网络的echarts，Smartbi还是一款比较容易入手的数据分析工具。最后，Smartbi提供了免费的版本，功能齐全，更加适合个人对数据分析的学习和使用。

大数据可视化系统（二）ChartBlocks

ChartBlocks是一款网页版的大数据可视化系统，在线使用。通过导入电子表格或者数据库来构建可视化图表。整个过程可以在图表的向导指示下完成。它的图表在HTML5的框架下，使用强大的JavaScript库D3js来创建图表。

图表是响应式的，可以和任何的屏幕尺寸及设备兼容。还可以将图表嵌入任何网页中。

大数据可视化系统（三）Tableau

Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字”画布”上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。

它们都是为与大数据有关的组织设计的。企业使用这个工具非常方便，而且提供了闪电般的速度。还有一件事对这个工具是肯定的，Tableau具有用户友好的特性，并与拖放功能兼容。但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿。

大数据可视化系统（四）AntV

AntV是蚂蚁金服的大数据可视化系统，主要包含专注解决流程与关系分析的图表库G6、适于对性能、体积、扩展性要求严苛场景下使用的移动端图表库F2以及一套完整的图表使用指引和可视化设计规范。

已为阿里集团内外2000+个业务系统提供数据可视化能力，其中不乏日均千万UV级的产品。

⑨ 2、请讨论大数据平台搭建在windows中还是搭建在linux中更好

linux更好
因为：Linux做为开源免费的操作系统，也有些优点是Windows无论如何也赶不上的。
1.不用花钱
正版的Windows系统是要花钱购买的，而且价钱还不低（买笔记本带Windows系统其实系统钱是包含在里面的）。而Linux是开源免费的，任何人不用花钱都可以下载使用，而且有多个发行版可供选择。
2.稳定性/流畅度高
使用Windows系统时不时会出现卡顿，不稳定的问题，但Linux不会。选择一个好的发行版做为个人电脑系统使用的话一般不会出现卡顿的情况。而且Windows系统长时间使用的话要重启一下，不然可能就没有开机时流畅了。
在Windows中由于空间不够用都会安装一款清理垃圾文件的软件，Windows系统本身会占用很大的空间，随便安装几个软件系统盘也许就满了。但在Linux中一般不需要，因为Linux系统本身不会占用多大的磁盘空间，安装软件也都是规范的位置，系统临时目录重启时会自动清理，不会占用大量的磁盘空间。
在我的使用体验中，Linux的流畅度是比Windows高的。比如我使用的编程软件IDEA，同一台电脑同一块硬盘，在Windows上打开一个项目要3到5秒，但在Linux（Ubuntu18.04）中打开同一个项目只要不到1秒。
4.安全性高
在Windows系统中是一定要安装杀毒软件的。就算你不安装，Windows系统自带的也会启动。但在Linux中不用，因为Linux是一个有严格权限控制的系统，平常使用的时候一般不会使用root用户，就算有恶意脚本也不至于对系统造成大破坏。而且Linux的病毒数量也极少。
5.可定制性高
由于Linux系统是开源的，所以每个人都可以下载其源代码进行定制。就算是已经存在的发行版桌面环境也都是可以换的。如果你有能力，可以把Linux系统改的它亲爹都不认识。
6.性能高
Linux的开发都可能比使用者还要多，这就意味着Linux从内核到软件都是经过多次的优化的。性能高自然也是不奇怪。这个性能不仅表现在软件性能，现在还表现在游戏性能上，我在同一台电脑上在Windows系统中玩我的世界不限制帧率能跑800多帧，但在Linux里面使用同一个显卡，加载同一个游戏，同一个场景，能跑1000多帧。

⑩ 建立大数据需要设计一个什么大型系统

建立大数据需要设计一个大型系统步骤。
1、数据收集从外部数据源收集各种原始数据，并进行整合和清洗。
2、数据存储存储原始数据和清洗过的数据，支持大数据计算框架的存储。
3、数据分析使用机器学习、深度学习等技术对歼唤数据进行分析，挖掘数据中的模式和规律。
4、.数据可视化使用可视化工具，将分析出的信息展示出来，以便更好返知的理解和掌握数据的规律，以及发现潜在的问题和机会。
5、数据安全保护数漏改消据安全，防止数据被恶意篡改或滥用。