Ⅰ 大专生学大数据,以后能就业么
可以的,还有很多适合的岗位
Ⅱ 想成为大数据开发工程师有哪些要求
大数据所需技能要求
Python语言:编写一些脚本时会用到。
Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。
Ozie,azkaban:定时任务调度的工具。
Hue,Zepplin:图形化任务执行管理,结果查看工具。
Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。
必须掌握的技能:
Java高级(虚拟机、并发)、Linux 基本操作、hadoop(HDFS+MapRece+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)
高阶技能6条:
机器学习算法以及mahout库加MLlib、 R语言、Lambda 架构、Kappa架构、Kylin、Alluxio
大数据开发工程师除具备专业的技能外,还要有学历(至少大专学历),学历是敲门砖。
Ⅲ 大数据行业有哪些工作机会,招聘的岗位技能有哪些
想要学习大数据开发,第一件事并不是要找书籍或者是找视频教程,而是要了解一下大数据行业前景,了解一下成为大数据工程师需要具备什么样的能力,掌握哪些技能我当初学习大数据之前也有过这样的问题,作为一个过来人,今天就跟大家聊下大数据人才应该具备的技能。
首先我们要知道对于大数据开发工程师需要具备的技能,下面我们分别来说明:
用人单位对于大数据开发人才的能力要求有
技能要求:
1.精通JAVA开发语言,同时熟悉Python、Scala开发语言者优先;
2.熟悉Spark或Hadoop生态圈技术,具有源码阅读及二次开发工作经验;精通Hadoop生态及高性能缓存相关的各种工具,有源码开发实战经验者优先;
3.熟练使用SQL,熟悉数据库原理,熟悉至少一种主流关系型数据库;熟悉Linux操作系统,熟练使用常用命令,熟练使用shell脚本;熟悉ETL开发,能熟练至少一种ETL(talend、kettle、ogg等)转化开源工具者优先;
4.具有清晰的系统思维逻辑,对解决行业实际问题有浓厚兴趣,具备良好的沟通协调能力及学习能力。
以上就是想要成为大数据人才需要具备的技能
那么如何具备这些能力,怎么学习了,对于大多数人来说,目前只有通过参加大数据的学习,才能够系统的掌握以上的大数据技能,从而胜任大数据工程师的工作。
Ⅳ 大数据就业岗位有哪些
大数据方面的就业主要有三大方向:
一是数据分析类大数据人才,二是系统研发类大数据人才,三是应用开发类大数据人才。他们的基础岗位分别是大数据系统研发工程师、大数据应用开发工程师、大数据分析师。
2大数据热门专业
1、Hadoop开发 随着数据规模不断增大,传统BI的数据处理成本过高企业负担加重。而Hadoop廉价的数据处理能力被重新挖掘,企业需求持续增长。并成为大数据人才必须掌握的一种技术。
2、信息架构开发 大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素,确保以十分有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。
3、数据安全研究 数据安全这一职位,主要负责企业内部大型服务器、存储、数据安全管理工作,并对网络、信息安全项目进行规划、设计和实施。
4、ETL研发 企业数据种类与来源的不断增加,对数据进行整合与处理变得越来越困难,企业迫切需要一种有数据整合能力的人才。ETL开发者这是在此需求基础下而诞生的一个职业岗位。ETL人才在大数据时代炙手可热的原因之一是:在企业大数据应用的早期阶段,Hadoop只是穷人的ETL。
Ⅳ 想成为大数据开发工程师有哪些要求
想要成为大数据开发工程师的要求,首先我觉得你必须数学要学得相当的好,有一定的知识,不然的话,我们小数据都无法开发,还算是什么大数据开发工程师?
Ⅵ 大数据就业方向
大数据系统研发类人才;
大数据应用开发类人才;
大数据分析类人才。
一、ETL研发
随着数据种类的不断增加,企业对数据整合专业人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道,从不同的源头抽取数据,转换并导入数据仓库以满足企业的需要。
ETL研发,主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
目前,ETL行业相对成熟,相关岗位的工作生命周期比较长,通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是:在企业大数据应用的早期阶段,Hadoop只是穷人的ETL。
二、Hadoop开发
Hadoop的核心是HDFS和MapRece.HDFS提供了海量数据的存储,MapRece提供了对数据的计算。随着数据集规模不断增大,而传统BI的数据处理成本过高,企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapRece、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。
三、可视化(前端展现)工具开发
海量数据的分析是个大挑战,而新型数据可视化工具如Spotifre,Qlikview和Tableau可以直观高效地展示数据。
可视化开发就是在可视开发工具提供的图形用户界面上,通过操作界面元素,由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数据,经过时间考验,完全可扩展的,功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合,以用来构建极其丰富的用户界面。
过去,数据可视化属于商业智能开发者类别,但是随着Hadoop的崛起,数据可视化已经成了一项独立的专业技能和岗位。
四、信息架构开发
大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素,确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。
五、数据仓库研究
数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储,出于分析性报告和决策支持的目的而创建。为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。
数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。
六、OLAP开发
随着数据库技术的发展和应用,数据库存储的数据量从20世纪80年代的兆(M)字节及千兆(G)字节过渡到现在的兆兆(T)字节和千兆兆(P)字节,同时,用户的查询需求也越来越复杂,涉及的已不仅是查询或操纵一张关系表中的一条或几条记录,而且要对多张表中千万条记录的数据进行数据分析和信息综合。联机分析处理(OLAP)系统就负责解决此类海量数据处理的问题。
OLAP在线联机分析开发者,负责将数据从关系型或非关系型数据源中抽取出来建立模型,然后创建数据访问的用户界面,提供高性能的预定义查询功能。
七、数据科学研究
这一职位过去也被称为数据架构研究,数据科学家是一个全新的工种,能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展,越来越多的实际工作将会直接针对数据进行,这将使人类认识数据,从而认识自然和行为。因此,数据科学家首先应当具备优秀的沟通技能,能够同时将数据分析结果解释给IT部门和业务部门领导。
总的来说,数据科学家是分析师、艺术家的合体,需要具备多种交叉科学和商业技能。
八、数据预测(数据挖掘)分析
营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家,即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。
九、企业数据管理
企业要提高数据质量必须考虑进行数据管理,并需要为此设立数据管家职位,这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据,并将数据清洗和规范化,将数据导入数据仓库中,成为一个可用的版本。然后,通过报表和分析技术,数据被切片、切块,并交付给成千上万的人。担当数据管家的人,需要保证市场数据的完整性,准确性,唯一性,真实性和不冗余。
十、数据安全研究
数据安全这一职位,主要负责企业内部大型服务器、存储、数据安全管理工作,并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验,具备运维管理方面的知识和能力,对企业传统业务有较深刻的理解,才能确保企业数据安全做到一丝不漏。
Ⅶ 招聘数据分析师的职位要求有哪些
职位要求:
统计学、应用数学、计算机等相关专业,本科及以上学历;
熟练使用SPSS、SAS等相关数据分析软件;
较强的数据敏感度,逻辑分析能力和文档写作能力;
有责任心,良好的沟通能力和组织管理能力以及心理承受能力,勇于接受挑战;
有相关经验优先。
工作内容:
通过数据分析支持产品改进及新模式的探索;
构建用户行为建模,支持个性化项目;
构建数据评估体系;
构建业务数据分析体系,帮助确定各项业务数据指标;
负责用户行为数据分析,通过监控及分析,推动产品改进,运营调整;
负责构建用户数据模型,挖掘用户属性及用户喜好等需求,为个性化产品推荐提供支持;
负责构建产品、运营及活动用户行为评估体系,通过数据分析对产品、运营、市场提出建议并推动实施;
负责用户行为调研,通过海量数据的挖掘和分析,形成报告,汇报给决策层,支持战略规划 。
Ⅷ 大数据行业对学历有什么要求呢
大数据时代的到来,简单的说是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据,大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。
相信很多同学有这样的提问:学习大数据对学历有要求吗?
回答这个问题之前还是让我们看一段真实对话:
Q:请问从事大数据这行,硕士学历有必要么?
A:如果有条件,最好可以上到硕士,但不是说必须如此,大数据相关职位对行业知识和项目经验也比较看重,如果家庭经济情况允许,自己学习意愿比较强可以选择读研。
Q:我以前是别的专业,想做这行,准备读个硕士,请问可以选择的专业有哪些?
A:应用数学、统计学、计算机、金融专业都可以
正如这段对话,许多同学在进入这个行业的时候都会疑惑:大数据相关的职位看上去有点高大上,是否需要研究生以上的学历?
对国内就业市场而言,本科学历是大数据相关职位的一个基本要求,从各个职位上看需求量都是最大的。高端人才要求硕士以上的学历也很普遍,显示出这个行业的进入的确是有一定门槛的。
对于学历这个问题,一般来说,当你没有任何基础的时候,能拿的出手的只有学历,本科生当然竞争不过研究生。但是随着工作时间久了,你的能力达到了这个职位的要求,学历就不重要了。尤其是对业务能力要求比较高的数据分析师、数据挖掘师这些职位,你的行业知识和业务理解能力在很多情况下比学历更加重要。
当然,高端人才(如算法工程师、数据科学家)对学历也比较高,如果各方面条件允许,选择计算数学/概率论/模式识别/计算机方面的研究生深造也是有必要的,一些大公司的确会在初筛的时候根据学历筛选人,这个也很正常。当然,你也可以在工作几年后,当觉得到基础瓶颈的时候,可以再去读书,这个时候可能你更清楚自己需要的是什么。
海阔凭鱼跃,天高任鸟飞。对于进入这个行业的同学而言,你可以选择提升学历后再进入这个行业,也可以先就业,用你的工作经验弥补你的学历不足。大数据是一个实践性很强的学科,从实际工作中获取的知识和能力是你在学校里面无法学习到的,企业最终也是看重你的实际工作能力。
学历只能代表过去,学历不高只能说明在之前的学习阶段没有发挥好,但并不代表在后天环境中不能提高自己。如果我们没有高学历,那就在后天环境中淬炼自己,付出不亚于任何人的努力,提高自己的能力。对于大数据这项专业性特别强的技术而言,能力远比一纸文凭实用的多。
不管你有没有一个好专业,好学历,最重要的一点,请别忘了,要坚持学习和进化,努力奋斗,相信天道终将酬勤!
Ⅸ 大数据可视化工程师有哪些要求
数据可视化的本质就是视觉对话。数据可视化将技术与艺术完美结合,借助图形化的手段,清晰有效地传达与沟通信息。
可视化的意义是帮助人更好的分析数据,信息的质量很大程度上依赖于其表达方式。对数字罗列所组成的数据中所包含的意义进行分析,使分析结果可视化。
数据可视化的主要作用,在于通过图形和色彩将关键数据和特征直观地传达出来,从而实现对于相当稀疏而又复杂的数据集的深入洞察。而单纯说"数据呈现"并不确切,因为数据可视化并非无差异地涵盖所有数据,可视化的过程本身就已经加入了制作人的对问题的思考、理解、甚至是一些假设,而数据可视化则是通过一目了然的方式,帮助制作人获得客观数据层面的引导或者验证。
大数据可视化工程师的岗位要求如下:
第一,需要是统计、应用数学、计算机科学等专业的本科及以上学历。
第二,需要有实习经验或者参加过大数据比赛者的经验。
第三,要熟练掌握至少一种大数据工具,PYTHON/R或其他数据挖掘和数据展示软件。
第四,要有良好的编写数据分析报告的能力,对图形效果的可视化,科学化,美观化的具备一定能力。
关于大数据可视化工程师有哪些要求,青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣,希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。
Ⅹ 小米2年半大数据经验,到手工资11400,大数据真有这么低
最近,号主在论坛上看到一位小哥晒工资短信,并且附言 “猴厂2年半大数据,心态崩了” ,显示的月工资到手为11443.55元。
小哥之所以心态崩溃,是因为工资 太太太太太低 啦。
我们都知道,大数据新人的起薪一般是12-20K不等。如果是技术过硬面试谈的又好的,年薪三十万也有很多。
而这位小哥在著名的猴场“小米”工作2年半,如果税后工资是11400左右,那么税前有极大可能性在15K左右。
当然,这位小哥大概率是通过校招进入小米,而在两年多的时间里,薪资一直没有得到提升。
对于这种情况,有网友表示:
出去随便就可以double,运气好可以三倍。
如果这位小哥正常跳槽,以他的经验和大厂经历,那么25K左右是没什么问题的。
其实,号主想说,大数据新人起薪在14-20之间都是正常薪资,毕竟这也是积累经验和能力的阶段。一般新人在3-5年内跳槽的话,工资都会翻倍甚至几倍提升。所以不用看一时的薪资,还是要多提升自己的技术实力。
今天,我们就来看看现在大数据行业的就业薪资具体怎么样,是什么水平。
大数据的就业职位
大数据专业的职业发展主要分为3个方向:
1、大数据开发方向; 所涉及的职业岗位为:大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等;
2、数据挖掘、数据分析和机器学习方向; 所涉及的职业岗位为:大数据分析师、大数据高级工程师、大数据分析师专家、大数据挖掘师、大数据算法师等;
3、大数据运维和云计算方向; 对应岗位:大数据运维工程师;
大数据的薪资
以最基础的大数据开发为例,入门最低薪资可达12K-20K,且该行业的薪资增长率极高。
有着3-5年工作经验的大数据工程师薪资可达年薪30万以上。
我们搜索了大数据工程师在全网的招聘薪资,发现最低大多数要求1年以上经验,薪资都在20K以上。3年以上经验的工程师至少都是年薪30万起。
而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他技术职位高20%至30%,且颇受企业重视。
大数据培训后薪资
因为大数据是一个新兴技术,很多高校还没有开设大数据专业,所以想入行,最好的办法就是参加培训。
因为我接触到的学生毕业后一般在北京、广东、上海、南京地区就业的居多:下面说一下薪资情况。
1、目前培训毕业后的就业周期一般在2周-4周之间, 一般在2周的时候就会拿到1-3份OFFER
2、2017年毕业学生从10-25K都有,15K居多。和入职企业及地区有很大关系
3、2018年学生15-25K,15K为最低入职薪资,17-18K居多
4、以上薪资待遇不含13薪等其他福利,综合收入会更高一些
如果你对大数据开发感兴趣,想系统学习大数据的话,可以加入大数据技术学习交流扣扣群458345782,私信管理员即可免费领取开发工具以及入门学习资料