大数据编程用什么语言

Ⅰ 大数据开发用什么语言

首先java，是现阶段使用较为居多，为什么呢？是由于玩Java转到大数据人数太多人的缘故，所以很多人都喜欢使用Java，也有的是由于公司为了维护和人才的使用考虑，会选择使用Java语言开发，也有的是因为平台会有Hadoop的MapRece老程序与Spark任务混合使用，为了平台统一开发语言而选择Java，也有的公司为了对接外面项目而选择通用性比较强的Java语言开发。
Scala，也可以是说大数据Spark开发的主力语言了，因为当你学习Spark后，就一定会对Scala有进一步的研究与学习，因为为了学好Spark技术你需要研究源码、需要更简洁快速开发项目。从而Spark大数据开发语言Scala是最多。

Python，在机器学习、AI的崛起，也有很多人青睐的语言了；还有一波人喜欢，那就是大数据分析人员，在SQL与spark SQL 使用Python来进行脚本调度。

R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。

Ⅱ 大数据开发常用的编程语言有哪些

1、Python语言
如果你的数据科学家不使用R，他们可能就会彻底了解Python。十多年来，在学术界当中一直很流行，尤其是在自然语言处理（NLP）等领域。因而，如果你有一个需要NLP处理的项目，就会面临数量多得让人眼花缭乱的选择，包括经典的NTLK、使用GenSim的主题建模，或者超快、准确的spaCy。同样，说到神经网络，Python同样游刃有余，有Theano和Tensorflow；随后还有面向机器学习的scikit-learn，以及面向数据分析的NumPy和Pandas。
还有Juypter/iPython――这种基于Web的笔记本服务器框架让你可以使用一种可共享的日志格式，将代码、图形以及几乎任何对象混合起来。这一直是Python的杀手级功能之一，不过这年头，这个概念证明大有用途，以至于出现在了奉行读取－读取－输出－循环（REPL）概念的几乎所有语言上，包括Scala和R。
Python往往在大数据处理框架中得到支持，但与此同时，它往往又不是“一等公民”。比如说，Spark中的新功能几乎总是出现在Scala/Java绑定的首位，可能需要用PySpark编写面向那些更新版的几个次要版本（对Spark Streaming/MLLib方面的开发工具而言尤为如此）。
与R相反，Python是一种传统的面向对象语言，所以大多数开发人员用起来会相当得心应手，而初次接触R或Scala会让人心生畏惧。一个小问题就是你的代码中需要留出正确的空白处。这将人员分成两大阵营，一派觉得“这非常有助于确保可读性”，另一派则认为，我们应该不需要就因为一行代码有个字符不在适当的位置，就要迫使解释器让程序运行起来。
2、R语言
在过去的几年时间中，R语言已经成为了数据科学的宠儿——数据科学现在不仅仅在书呆子一样的统计学家中人尽皆知，而且也为华尔街交易员，生物学家，和硅谷开发者所家喻户晓。各种行业的公司，例如Google，Facebook，美国银行，以及纽约时报都使用R语言，R语言正在商业用途上持续蔓延和扩散。
R语言有着简单而明显的吸引力。使用R语言，只需要短短的几行代码，你就可以在复杂的数据集中筛选，通过先进的建模函数处理数据，以及创建平整的图形来代表数字。它被比喻为是Excel的一个极度活跃版本。
R语言最伟大的资本是已围绕它开发的充满活力的生态系统：R语言社区总是在不断地添加新的软件包和功能到它已经相当丰富的功能集中。据估计，超过200万的人使用R语言，并且最近的一次投票表明，R语言是迄今为止在科学数据中最流行的语言，被61%的受访者使用(其次是Python，39%)。
3、JAVA
Java，以及基于Java的框架，被发现俨然成为了硅谷最大的那些高科技公司的骨骼支架。 “如果你去看Twitter，LinkedIn和Facebook，那么你会发现，Java是它们所有数据工程基础设施的基础语言，”Driscoll说。
Java不能提供R和Python同样质量的可视化，并且它并非统计建模的最佳选择。但是，如果你移动到过去的原型制作并需要建立大型系统，那么Java往往是你的最佳选择。
4、Hadoop和Hive
一群基于Java的工具被开发出来以满足数据处理的巨大需求。Hadoop作为首选的基于Java的框架用于批处理数据已经点燃了大家的热情。Hadoop比其他一些处理工具慢，但它出奇的准确，因此被广泛用于后端分析。它和Hive——一个基于查询并且运行在顶部的框架可以很好地结对工作。

Ⅲ 大数据应该学习什么语言

一般来说来大家很多都是从Java开始的，源Java编程是大数据开发的基础，大数据中很多技术都是使用Java编写的，如Hadoop、Spark、maprece等，因此，想要学好大数据，Java编程是必备技能！
Java的方向也有很多，如JavaSE、JavaEE等，但是我们不是完全都要掌握的，一般大数据来说，我们只需要掌握Java的标准版本JavaSE就行。像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据技术里用到的并不多，只需要了解就可以了。

Ⅳ 大数据专业主要学习什么语言

大数据专业需要学习哪些技术：

一、编程语言

想要学习大数据技术，首先要掌握一门基础编程语言。Java编程语言的使用率最广泛，因此就业机会会更多一些，而Python编程语言正在高速推广应用中，同时学习Python的就业方向会更多一些。

二、Linux

学习大数据一定要掌握一定的Linux技术知识，不要求技术水平达到就业的层次，但是一定要掌握Linux系统的基本操作。能够处理在实际工作中遇到的相关问题。

三、SQL

大数据的特点就是数据量非常大，因此大数据的核心之一就是数据仓储相关工作。因此大数据工作对于数据库要求是非常的高。甚至很多公司单独设置数据库开发工程师。

四、Hadoop

Hadoop是分布式系统的基础框架，以一种可靠、高效、可伸缩的方式进行数据处理。具有高可靠性、高扩展性、高效性、高容错性、低成本等优点，从事大数据相关工作Hadoop是必学的知识点。

五、Spark

Spark是专门为大规模数据处理而设计的快速通用的计算引擎。可以用它来完成各种各样的运算，包括SQL查询、文本处理、机器学习等等。

六、机器学习

机器学习是目前人工智能领域的核心技术，在大数据专业中也有非常广泛的引用。在算法和自动化的发展过程中，机器学习扮演着非常重要的角色。可以大大拓展自己的就业方向。

互联网行业里大数据和云智能是当下最重要板块，企业借助大数据技术不仅能避免企业发展时会面临的各种风险，更能解决发展过程中所遇到的种种难题。近些年来大数据的公司越来越多，但是大数据人才需求还存在着很大缺口，为了响应市场需求未来我国还会需要更多的大数据人才。网络、阿里、京东等互联网高企依仗自身的强大技术和数据优势，均已将大数据作为企业的重要战略部署。

大数据专业未来就业方向解析：

一、ETL研发

企业数据种类与来源的不断增加，对数据进行整合与处理变得越来越困难，企业迫切需要一种有数据整合能力的人才。ETL开发者这是在此需求基础下而诞生的一个职业岗位。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop只是穷人的ETL.

二、Hadoop开发

随着数据规模不断增大，传统BI的数据处理成本过高企业负担加重。而Hadoop廉价的数据处理能力被重新挖掘，企业需求持续增长。并成为大数据人才必须掌握的一种技术。

三、可视化工具开发

可视化开发就是在可视化工具提供的图形用户界面上，通过操作界面元素，有可视化开发工具自动生成相关应用软件，轻松跨越多个资源和层次连接所有数据。过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。

四、信息架构开发

大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。

五、数据仓库研究

为方便企业决策，出于分析性报告和决策支持的目的而创建的数据仓库研究岗位是一种所有类型数据的战略集合。为企业提供业务智能服务，指导业务流程改进和监视时间、成本、质量和控制。

六、OLAP开发

OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。

七、数据科学研究

数据科学家是一个全新的工种，能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展，越来越多的实际工作将会直接针对数据进行，这将使人类认识数据，从而认识自然和行为。

八、数据预测分析

营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。

九、企业数据管理

企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗和规范化，将数据导入数据仓库中，成为一个可用的版本。

十、数据安全研究

数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。

大数据的特点就是能够灵活、快速、高效的响应各种市场需求。大数据的受众领域非常广泛，不仅改善着人们的社会活动和生活方式，运用好大数据技术还能为企业带了更多的商机和商业价值。大数据不仅与IT行业关系密切，众多行业都已经开始了大数据运营的布局，例如金融、医疗、政府等。撼地大数据就是以大数据技术为基础研发出了属于自己的大数据数智招商系统，为产业招商打造了一个精准招商服务云平台，极大的改善了现阶段产业园招商难的窘境。

Ⅳ 大数据主要学什么语言

java可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从Jave Web开发转岗过来的（当然也不是绝对我甚至见过产品转岗大数据开发的，逆了个天）。

一是因为大数据的本质无非就是海量数据的计算，查询与存储，后台开发很容易接触到大数据量存取的应用场景
二就是java语言本事了，天然的优势，因为大数据的组件很多都是用java开发的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入学习，填上生产环境中踩到的各种坑，必须得先学会java然后去啃源码。
说到啃源码顺便说一句，开始的时候肯定是会很难，需要对组件本身和开发语言都有比较深入的理解，熟能生巧慢慢来，等你过了这个阶段，习惯了看源码解决问题的时候你会发现源码真香。

Ⅵ 大数据开发常用的编程语言有哪些

大数据常用的编程语言是Java。Java可以用来做大数据工作，大数据开发或者应用不必要用Java。目前最火的大数据开发平台是Hadoop，而Hadoop则是采用Java语言编写。一方面由于hadoop的历史原因，Hadoop的项目诞生于一个Java高手；另一方面，也有Java跨平台方面的优势；基于这两个方面的原因，所以Hadoop采用了Java语言。

Ⅶ 大数据学哪些编程

大数据需要的语言

Java

java可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从Jave Web开发转岗过来的（当然也不是绝对我甚至见过产品转岗大数据开发的，逆了个天）。

• 一是因为大数据的本质无非就是海量数据的计算，查询与存储，后台开发很容易接触到大数据量存取的应用场景

• 二就是java语言本事了，天然的优势，因为大数据的组件很多都是用java开发的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入学习，填上生产环境中踩到的各种坑，必须得先学会java然后去啃源码。

说到啃源码顺便说一句，开始的时候肯定是会很难，需要对组件本身和开发语言都有比较深入的理解，熟能生巧慢慢来，等你过了这个阶段，习惯了看源码解决问题的时候你会发现源码真香。

Scala

scala和java很相似都是在jvm运行的语言，在开发过程中是可以无缝互相调用的。Scala在大数据领域的影响力大部分都是来自社区中的明星Spark和kafka,这两个东西大家应该都知道（后面我会有文章多维度介绍它们），它们的强势发展直接带动了Scala在这个领域的流行。

Python和Shell

shell应该不用过多的介绍非常的常用，属于程序猿必备的通用技能。python更多的是用在数据挖掘领域以及写一些复杂的且shell难以实现的日常脚本。

Ⅷ 大数据学那些编程

大数据主要学习以下语言：JAVA,,PYTHON,MYSQL,JAVASCRIPT，算法结构等另外就是各个语言的框架，提高开发速度的。下面是跟数据相关的知识。

数据的连接首先需要加载一个代码块。如果 chunk 是一个字符串，代码块指这个字符串。如果 chunk 是一个函数， load 不断地调用它获取代码块的片段。 每次对 chunk 的调用都必须返回一个字符串紧紧连接在上次调用的返回串之后。 当返回空串、nil、或是不返回值时，都表示代码块结束。
1.如果没有语法错误， 则以函数形式返回编译好的代码块；否则，返回 nil 加上错误消息。
如果结果函数有上值， env 被设为第一个上值。 若不提供此参数，将全局环境替代它。 所有其它上值初始化为 nil。 （当你加载主代码块时候，结果函数一定有且仅有一个上值 _ENV ））。 然而，如果你加载一个用函数（参见 string.mp， 结果函数可以有任意数量的上值） 创建出来的二进制代码块时，所有的上值都是新创建出来的。 也就是说它们不会和别的任何函数共享。
2.接下来就是根据以上信息进行下面的操作，chunkname 在错误消息和调试消息中，用于代码块的名字。 如果不提供此参数，它默认为字符串chunk 。 chunk 不是字符串时，则为 "=(load)" 。
字符串 mode 用于控制代码块是文本还是二进制（即预编译代码块）。 它可以是字符串 "b" （只能是二进制代码块）， "t" （只能是文本代码块）， 或 "bt" （可以是二进制也可以是文本）。 默认值为 "bt"。
3.Lua 不会对二进制代码块做健壮性检查。恶意构造一个二进制块有可能把解释器弄崩溃。
运行程序来遍历表中的所有域。 第一个参数是要遍历的表，第二个参数是表中的某个键。 next 返回该键的下一个键及其关联的值。 如果用 nil 作为第二个参数调用 next 将返回初始键及其关联值。 当以最后一个键去调用，或是以 nil 调用一张空表时， next 返回 nil。 如果不提供第二个参数，将认为它就是 nil。 特别指出，你可以用 next(t) 来判断一张表是否是空的。
索引在遍历过程中的次序无定义， 即使是数字索引也是这样。 （如果想按数字次序遍历表，可以使用数字形式的 for 。）
4.当在遍历过程中你给表中并不存在的域赋值，next的行为是未定义的。然而你可以去修改那些已存在的域。 特别指出，你可以清除一些已存在的域。
如果 t 有元方法 __pairs， 以 t 为参数调用它，并返回其返回的前三个值。
否则，返回三个值：next 函数， 表 t，以及 nil。 因此以下代码
能迭代表 t 中的所有键值对。
参见函数 next 中关于迭代过程中修改表的风险。
pcall (f [, arg1, ···])
5.传入参数，以 保护模式 调用函数 f 。这意味着 f 中的任何错误不会抛出；取而代之的是，pcall 会将错误捕获到，并返回一个状态码。 第一个返回值是状态码（一个布尔量）， 当没有错误时，其为真。 此时，pcall 同样会在状态码后返回所有调用的结果。 在有错误时，pcall 返回 false 加错误消息。

希望能帮到你，谢谢！