⑴ 大数据要求企业设置的岗位是
大数据要求企业设置的岗位是:首席信息官和首席数据官。
一、首席信息官
首席信息官通过指导对信息技术的利用来支持公司的目标,具备技术和业务过程两方面的知识,具有多功能的概念,常常是将组织的技术调配战略与业务战略紧密结合在一起的最佳人选。
二、首席数据官
其主要是负责根据企业的业务需求、选择数据库以及数据抽取、转换和分析等工具,进行相关的数据挖掘、数据处理和分析,并且根据数据分析的结果战略性地对企业未来的业务发展和运营提供相应的建议和意见。CDO已经进入企业最高决策层,一般是直接向CEO进行汇报。
(1)大数据职位要求扩展阅读
随着云时代的来临,大数据(Bigdata)也吸引了越来越多的关注。分析师团队认为,大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。
大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
⑵ 大数据岗位
大数据岗位
大数据岗位可以分为三类,大数据开发工程师、数据分析工程师以及算法工程师。
1.大数据开发常常被人误解,只是写SQL,导致很多下入行的小伙伴非常犹豫,大数据开发不仅只是写枯锋SQL,涉及面比较广泛,包括分渣念布式计算、储存、数仓方法论。大数据开发工程师需要掌没梁晌握linux、Hadoop、Hive、Hbase、Spark、Flink等。
2.大数据分析工程师需要掌握Python、Pandas、机器学习等
3.算法工程师需要好的数学基础。根据研究领域来分主要有音频/视频算法处理、图像技术方面的二维信息算法处理和通信物理层、雷达信号处理、生物医学信号处理等领域的一维信息算法处理。#程序员# #大数据培训#
⑶ 大数据行业对学历有什么要求呢
大数据时代的到来,简单的说是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据,大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。
相信很多同学有这样的提问:学习大数据对学历有要求吗?
回答这个问题之前还是让我们看一段真实对话:
Q:请问从事大数据这行,硕士学历有必要么?
A:如果有条件,最好可以上到硕士,但不是说必须如此,大数据相关职位对行业知识和项目经验也比较看重,如果家庭经济情况允许,自己学习意愿比较强可以选择读研。
Q:我以前是别的专业,想做这行,准备读个硕士,请问可以选择的专业有哪些?
A:应用数学、统计学、计算机、金融专业都可以
正如这段对话,许多同学在进入这个行业的时候都会疑惑:大数据相关的职位看上去有点高大上,是否需要研究生以上的学历?
对国内就业市场而言,本科学历是大数据相关职位的一个基本要求,从各个职位上看需求量都是最大的。高端人才要求硕士以上的学历也很普遍,显示出这个行业的进入的确是有一定门槛的。
对于学历这个问题,一般来说,当你没有任何基础的时候,能拿的出手的只有学历,本科生当然竞争不过研究生。但是随着工作时间久了,你的能力达到了这个职位的要求,学历就不重要了。尤其是对业务能力要求比较高的数据分析师、数据挖掘师这些职位,你的行业知识和业务理解能力在很多情况下比学历更加重要。
当然,高端人才(如算法工程师、数据科学家)对学历也比较高,如果各方面条件允许,选择计算数学/概率论/模式识别/计算机方面的研究生深造也是有必要的,一些大公司的确会在初筛的时候根据学历筛选人,这个也很正常。当然,你也可以在工作几年后,当觉得到基础瓶颈的时候,可以再去读书,这个时候可能你更清楚自己需要的是什么。
海阔凭鱼跃,天高任鸟飞。对于进入这个行业的同学而言,你可以选择提升学历后再进入这个行业,也可以先就业,用你的工作经验弥补你的学历不足。大数据是一个实践性很强的学科,从实际工作中获取的知识和能力是你在学校里面无法学习到的,企业最终也是看重你的实际工作能力。
学历只能代表过去,学历不高只能说明在之前的学习阶段没有发挥好,但并不代表在后天环境中不能提高自己。如果我们没有高学历,那就在后天环境中淬炼自己,付出不亚于任何人的努力,提高自己的能力。对于大数据这项专业性特别强的技术而言,能力远比一纸文凭实用的多。
不管你有没有一个好专业,好学历,最重要的一点,请别忘了,要坚持学习和进化,努力奋斗,相信天道终将酬勤!
⑷ 学大数据会有什么工作
大数据领域岗位类别大致分为两类:技术类岗位:技术类岗位主要是围绕大数据平台框架进行系统开发应用类岗位:应用类岗位主要专注于用大数据去解决一些业务问题,需要学会如何对数据进行分析和挖掘,如何找到数据中蕴含的业务规律和特征以支撑业务决策。大数据领域四大岗位职责和岗位要求一、大数据分析师岗位职责:1.从数据分析和数据挖掘角度为业务改进和提升提供建议2.构建数据产品,负责各类算法的开发、应用、监控优化,保证数据产告没品的实用性及可衡量性3.开展数据挖掘分析算法、工具研究工作,研发创新方法解决业务问题岗位要求:第一、对行为分析感兴趣,喜欢从数据中发现规律第二、熟悉掌握R、Python等编程语言第三、熟练使用SAS、SPSS等建模工具第四、较强的需求分析、数滑友简据建模以及IT架构设计能力,能够完成单个业务领域的IT架构设计工作,有大中型项目IT架构、IT方案设计方面的成功经验优先二、数据管理专家岗位职责:1.研究大数据及数据管理领域业务发展趋势和商业创新模式,进行大数据及数据管理领域的研究与规划,进行业务创新和业务拓展2.独立或指导团队成员将银行的需求转化为系统可实施业务需求,根据搜集与定义的客户业务目标、业务规则、业务流程,将获得的需求清晰、准确的形成业务需求说明书,并完成与客户的确认过程3.牵头与业务部门对接业务需求,分析业务需求实施方式及实施方案,在业务架构、应用架构、开发中心等团队的支持下,牵头或指导团队成员编写立项材料,推动项目立项工作4.在项目实施阶段,针对业务需求,牵头或指导团队成员配合设计人员、开发人员、测试人员进行系统设计、用例编写、集成测试等工作岗位要求:第一、对数字敏感,逻辑思维强,具有较强的语言表达和人际沟通能力第二、要有数据分析或用户研究的工作经验第三、熟悉SAS、SPSS等至少一种统计分析软件第四、熟悉 SQL,数据挖掘的常用算法第五、 拥有海量数据处理和挖掘经验者优先。三、大数据算法工程师岗位职责:1.深入理解B端业务,准确分析问题,研发适合的算法与策略,不断优化算法效果和性能2.熟悉滤波算法及随机过程,使用不同算法对时序数据分析建模3.学习时序、NLP领域的先进技术并开展相关研发工作岗位要求:第一、熟悉时间序列和机器学习的理论基础,有海量数据挖掘研发经验优先第二、精通数理统计,数据逻辑清晰,沟通能力强,业务理解能力强第三、具有优秀的编程能力,精通Python等常用脚本语言第四、 责任心强信裤有良好的沟通能力和团队合作能力四、数据产品经理岗位职责:1.负责发布系统的数据规划、数据梳理、埋点等工作,提供完整的数据产品能力2.确立指标,搭建评估体系,全面衡量发布相关的情况,发现并归因问题3.数据驱动,通过数据分析和挖掘等手段,辅助各平台策略优化和迭代4.参与数据相关产品的搭建,为产品质量和体验负责岗位要求:第一、有数据体系或数据产品的搭建的经验第二、优秀的逻辑思维,对数据敏感,较好的沟通能力,具备发现并解决问题的能力第三、 自驱力强,性格坚韧,能快速成长
⑸ 大数据需要什么人才
说到大数据,肯定少不了分析软件,这应该是大数据工作的根基,但市面上很多各种分析软件,如果不是过来人,真的很难找到适合自己或符合企业要求的。
小编通过各大企业对大数据相关行业的岗位要求,总结了以下几点:
(1)SQL数据库的基本操作,会基本的数据管理
(2)会用Excel/SQL做基本的数据分析和展示
(3)会用脚本语言进行数据分析,Python or R
(4)有获取外部数据的能力,如爬虫
(5)会基本的数据可视化技能,能撰写数据报告
(6)熟悉常用的数据挖掘算法:回归分析、决策树、随机森林、支持向量机等
对于学习大数据,总体来说,先学基础,再学理论,最后是工具。基本上,每一门语言的学习都是要按照这个顺序来的。
1、学习数据分析基础知识,包括概率论、数理统计。基础这种东西还是要掌握好的啊,基础都还没扎实,知识大厦是很容易倒的哈。
2、你的目标行业的相关理论知识。比如金融类的,要学习证券、银行、财务等各种知识,不然到了公司就一脸懵逼啦。
3、学习数据分析工具,软件结合案列的实际应用,关于数据分析主流软件有(从上手度从易到难):Excel,SPSS,stata,R,Python,SAS等。
4、学会怎样操作这些软件,然后是利用软件从数据的清洗开始一步步进行处理,分析,最后输出结果,检验及解读数据。
当然,学习数学与应用数学、统计学、计算机科学与技术等理工科专业的人确实比文科生有着客观的优势,但能力大于专业,兴趣才会决定你走得有多远。毕竟数据分析不像编程那样,需要你天天敲代码,要学习好多的编程语言,数据分析更注重的是你的实操和业务能力。如今的软件学习都是非常简单便捷的,我们真正需要提升的是自己的逻辑思维能力,以及敏锐的洞察能力,还得有良好的沟通表述能力。这些都是和自身的努力有关,而不是单纯凭借理工科背景就可以啃得下来的。相反这些能力更加倾向于文科生,毕竟好奇心、创造力也是一个人不可或缺的。一、计算机编码能力实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。举例来说,现在人们在社交网络上所产生的许多记录都是非结构化的数据,如何从这些毫无头绪的文字、语音、图像甚至视频中拾取有意义的信息就需要大数据工程师亲自挖掘。二、数学及统计学相关的背景国内BAT为代表的大公司,对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。缺乏理论背景的数据工作者,按照不同的数据模型和算法总能捯饬出一些结果来,但如果你不知道那代表什么,就并不是真正有意义的结果,并且那样的结果还容易误导你。只有具备一定的理论知识,才能理解模型、复用模型甚至创新模型,来解决实际问题。三、特定应用领域或行业的知识大数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的应用结合起来才能产生价值。所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助。
⑹ 大数据开发工程师的基本职责-岗位职责
大数据开发工程师的基本职责-岗位职责
在学习、工作、生活中,很多情况下我们都会接触到岗位职责,明确岗位职责能让员工知晓和掌握岗位职责,能够最大化的进行劳动用工管理,科学的进行人力配置,做到人尽其才、人岗匹配。我们该怎么制定岗位职责呢?以下是我为大家整理的大数据开发工程师的基本职责-岗位职责,仅供参考,欢迎大家阅读。
职责:
1、参与大数据平台搭建以及项目技术架构。
2、数据分析,挖掘,模型具体的产品化;
3、根据产品需求,分析编写和制定大数据相关解决方案
岗位要求:
1、计算机相关专业本科以上学历,编程基础扎实,有2年以上大数据开发经验
2、熟悉Hadoop生态和体系架构,熟悉Flink、Spark,Hive等常用开源工具
3、熟悉Flume,kakfa,scribe等日志收集体系
4、熟悉主流数据库(Oracle、postgresql、Mysql、Sql Server)中的1种及以上,有较好的SQL性能调优经验
5、有数据仓库ETL经验者优先
6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先
7、有持续学习的能力;喜欢开源软件,乐于知识分享;对工作认真负责;可以独立承担较大工作压力
职责:
1、数字货币领域数据统计分析,负责数字货币量化投资策略的设计、管理以及实际投资运作
2、与交易员对接,制定切实可行的的'策略测试计划,开展新策略模型的开发和验证
3、协助交易员进行交易、风险管理,并对实际交易结果进行量化的绩效分析,推动交易自动化
4、上级交办的其他工作
任职要求:
1、数学/计算机/金融专业毕业,有扎实的算法和机器学习的理论基础
2、有量化实盘交易经验,具备丰富的数学建模经验及较强的数据处理能力优先
3、对金融市场的价格波动有独特理解和深入的量化分析,具备一定对冲策略研究经验;
4、对数字货币领域感兴趣,结果导向;
5、有网页抓取和爬虫程序编写经验者优先。
职责:
1、大数据日志分析系统的设计,选型和开发;
2、配合各业务给予数据支持,对产品和运营数据总结和优化;
3、处理用户海量数据,提取、分析、归纳用户属性,行为等信息,完成分析结果;
4、发现并指出数据异常情况,分析数据合理性;
5、公司大数据基础架构平台的运维,保障数据平台服务的稳定性和可用性;
6、大数据基础架构平台的监控、资源管理、数据流管理;
7、基于数据分析的可预测的云平台弹性扩展解决方案。
任职要求:
1、日志分析数据系统实际经验;
2、3年以上互联网行业研发经验,有使用Hadoop/hive/spark分析海量数据的能力;
3、掌握Hadoop、Flume,Kafka、Zookeeper、HBase、Spark的安装与调试;
4、熟悉大数据周边相关的数据库系统,关系型数据库和NoSQL。
5、掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题;
6、有良好的沟通能力,具备出色的规划、执行力,强烈的责任感,以及优秀的学习能力。
职责:
1、负责数据分析、加工、清理、处理程序的开发;
2、负责数据相关平台的搭建、维护和优化;
3、负责基于Hadoop/Spark/Hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发;
岗位要求:
1、本科学历须211院校以上,硕士及以上学历不限院校,计算机软件及相关专业
2、熟悉java和Scala语言、熟悉常用设计模式、具有代码重构意识;
3、熟练使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底层框架和实现原理;
4、使用Spark Streaming和Spark SQL进行数据处理,并具有SPARK SQL优化经验;
5、需要有至少2年开发经验,有flink开发经验优先;
6、学习能力强,喜欢研究新技术,有团队观念,具备独立解决问题的能力。
职责:
1、负责大数据平台的基础环境搭建与性能优化,完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发;
2、对各种开源框架进行深入的代码剖析和优化;
3、参与大数据技术方案评审;
4、指导初中级大数据工程师工作;
岗位要求:
1、计算机相关专业全日制专科及以上学历,具有3年或以上的分布式计算平台研发工作经验;
2。对大数据相关组件:Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架构与底层实现有深入理解,具备相应的定制和研发能力,尤其需要精通Flink框架;
3。具备构建稳定的大数据基础平台的能力,具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验;
4。对技术有热情,有不错的数据思维和敏感度,有一定的数据分析能力优先,对深度学习、机器学习有一定的了解优先;
5。工作有计划性,责任心和执行能力强,具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。
;⑺ 大数据架构师岗位的主要职责概述
职责:
1、负责大数据平台及BI系统框架设计、规划、技术选型,架构设计并完成系统基础服务的开发;
2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储,业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;
3、开发大数据平台的核心代码,项目敏捷开发流程管理,完成系统调试、集成与实施,对每个项目周期技术难题的解决,保证大数据产品的上线运行;
4、负责大数据平台的架构优化,代码评审,并根据业务需求持续优化数据架构,保证产品的可靠性、稳定性;
5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现,分享技术经验;
6、有效制定各种突发性研发技术故障的应对预案,有清晰的隐患意识;
7、深入研究大数据相关技术和产品,跟进业界先进技术;
任职要求
1、统计学、应用数学或计算机相关专业大学本科以上学历;
2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点),无埋点方案等,有埋点SDK独立开发经验者优选;
3、熟悉Hadoop,MR/MapRece,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具备实际项目设计及开发经验;
4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程
5、熟悉Liunx/Unix操作系统,能熟练使用shell/perl等脚本语言,熟练掌握java/python/go/C++中一种或多种编程语言
6、具备一定的算法能力,了解机器学习/深度学习算法工具使用,有主流大数据计算组件开发和使用经验者优先
7、熟悉大数据可视化工具Tableau/echarts
8、具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;
职责:
根据大数据业务需求,设计大数据方案及架构,实现相关功能;
搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;
负责大数据业务的设计和指导具体开发工作;
负责公司产品研发过程中的数据及存储设计;
针对数据分析工作,能够完成和指导负责业务数据建模。
职位要求:
计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;
精通大数据主流框架(如Hadoop、hive、Spark等);
熟悉MySQL、NoSQL(MongoDB、Redis)等主流数据库,以及rabbit MQ等队列技术;
熟悉hadoop/spark生态的原理、特性且有实战开发经验;
熟悉常用的数据挖掘算法优先。
职责:
1、大数据平台架构规划与设计;
2、负责大数据平台技术框架的选型与技术难点攻关;
3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作,根据系统的业务需求,能够指导开发团队完成实施工作;
4、负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为相关的业务提供大数据底层平台的支持和保证;
5、培养和建立大数据团队,对团队进行技术指导。
任职要求:
1、计算机相关专业的背景专业一类院校毕业本科、硕士学位,8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);
2、精通Java,J2EE相关技术,精通常见开源框架的架构,精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;
3、精通SQL和Maprece、Spark处理方法;
4、精通大数据系统架构,熟悉业界数据仓库建模方法及新的建模方法的发展,有DW,BI架构体系的专项建设经验;
5、对大数据体系有深入认识,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术,并能设计相关数据模型;
6、很强的学习、分析和解决问题能力,可以迅速掌握业务逻辑并转化为技术方案,能独立撰写项目解决方案、项目技术文档;
7、具有较强的内外沟通能力,良好的团队意识和协作精神;
8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;
9、具有能源电力行业工作经验者优先。
职责:
1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;
2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;
3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作
5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;
6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。
任职要求:
1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉BI平台、大数据系统相关技术架构及技术标准;
2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;
3.熟悉大数据相关技术:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企业信息化系统及相关数据库技术;
5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;
6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;
7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。
职责:
1.负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。
2.负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。
3.结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。
4.对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。
任职要求:
1.熟悉云计算基础平台,包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基础环境,熟悉控制、计算、存储和网络;
2.掌握大型分布式系统的技术栈,如:CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。
3.精通Java,Python,Shell编程语言,精通SQL、NoSQL等数据库增删改查的操作优化;
4.PB级别实战数据平台和生产环境的实施、开发和管理经验;
5.熟悉Docker等容器的编排封装,熟悉微服务的开发和日常调度;
6.计算机、软件、电子信息及通信等相关专业本科以上学历,5年以上软件工程开发经验,2年以上大数据架构师工作经验。
职责描述:
1、负责集团大数据资产库的技术架构、核心设计方案,并推动落地;
2、带领大数据技术团队实现各项数据接入、数据挖掘分析及数据可视化;
3、新技术预研,解决团队技术难题。
任职要求:
1、在技术领域有5年以上相关经验,3年以上的架构设计或产品经理经验;
2、具有2年以上大数据产品和数据分析相关项目经验;
3、精通大数据分布式系统(hadoop、spark、hive等)的架构原理、技术设计;精通linux系统;精通一门主流编程语言,java优先。
岗位职责:
1、基于公司大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。
2、负责制定大数据应用系统的数据安全管控体系和数据使用规范。
3、作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。
4、负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。
5、负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。
任职资格:
1、计算机、数学或相关专业本科以上学历,5—20xx年工作经验,具有大型系统的技术架构应用架构数据架构相关的实践工作经验。
2、有分布式系统分析及架构设计经验,熟悉基于计算集群的软件系统架构和实施经验。
3、掌握Hadoop/Spark/Storm生态圈的主流技术及产品,深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。
4、掌握Mysql/Oracle等常用关系型数据库,能够对SQL进行优化。
5、熟悉分布式系统基础设施中常用的技术,如缓存(Varnish、Memcache、Redis)、消息中间件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有实践经验者优先。
6、熟悉Linux,Java基础扎实,至少3—5年以上Java应用开发经验,熟悉常用的设计模式和开源框架。
岗位职责:
1、负责公司大数据平台架构的技术选型和技术难点攻关工作;
2、依据行业数据现状和客户需求,完成行业大数据的特定技术方案设计与撰写;
3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享;
4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作;
5、参与公司大数据项目前期的架构设计工作;
任职要求:
1、计算机及相关专业本科以上,5年以上数据类项目(数据仓库、商务智能)实施经验,至少2年以上大数据架构设计和开发经验,至少主导过一个大数据平台项目架构设计;
2、精通大数据生态圈的技术,包括但不限于MapRece、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先;
3、优秀的方案撰写能力,思路清晰,逻辑思维强,能够根据业务需求设计合理的解决方案;
4、精通ORACLE、DB2、mySql等主流关系型数据库,熟悉数据仓库建设思路和数据分层架构思想;
5。熟练掌握java、R、python等1—2门数据挖掘开发语言;
6。熟悉云服务平台及微服务相关架构思想和技术路线,熟悉阿里云或腾讯云产品者优先;
7、有烟草或制造行业大数据解决方案售前经验者优先;
8、能适应售前支持和项目实施需要的短期出差;
岗位职责:
1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化;
2、负责解决项目上线后生产环境的各种实际问题,保障大数据平台在生产上的安全、平稳运行;
3、推动优化跨部门的业务流程,参与业务部门的技术方案设计、评审、指导;
4、负责技术团队人员培训、人员成长指导。
5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公,月底项目结束后在总部公司办公
任职要求:
1、熟悉linux、JVM底层原理,能作为技术担当,解决核心技术问题;
2、3年以上大数据平台项目架构或开发经验,对大数据生态技术体系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和实践,注重文档管理、注重工程规范优先;
4、熟悉Java后台开发体系,具备微服务架构的项目实施经验,有Dubbo/Spring cloud微服务架构设计经验优先;
5、性格开朗、善于沟通,有极强的技术敏感性和自我驱动学习能力,注重团队意识。
职责描述:
1、负责大数据平台框架的规划设计、搭建、优化和运维;
2、负责架构持续优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;
3、负责大数据相关新技术的调研,关注大数据技术发展趋势、研究开源技术、将新技术应用到大数据平台,推动数据平台发展;
4、负责数据平台开发规范制定,数据建模及核心框架开发。
任职要求:
1、计算机、数学等专业本科及以上学历;
2、具有5年及以上大数据相关工作经验;
3、具有扎实的大数据和数据仓库的理论功底,负责过大数据平台或数据仓库设计;
4、基于hadoop的大数据体系有深入认识,具备相关产品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)项目应用研发经验,有hadoop集群搭建和管理经验;
5、熟悉传统数据仓库数据建模,etl架构和开发流程,使用过kettle、talend、informatic等至少一种工具;
6、自驱力强、优秀的团队意识和沟通能力,对新技术有好奇心,学习能力和主动性强,有钻研精神,充满激情,乐于接受挑战;
⑻ 想成为大数据开发工程师有哪些要求
1:大数据工程师看的是个人能力有多强,跟公司的需求是否相匹配。学历并不是很重要的,能有大规模处理
2:大数据工程师需要有着很强的逻辑分析能力。一个公司里边大数据会有很多,方方面面的数据都可能被拿到手。而大数据工程师就需要很强的逻辑数据的经验并且有枯锋喜欢在数据海洋中寻宝的好奇心会更适合这个工作。分析能力,从中找出那些是对公司发展最为重要的,那些是不重要的。
3:大数据工程师要有着很强的沟通能力。大数据工程师的工作不管是跟技术部门还是非技术部门都是需要加强联系的,需要跟同事或者领导来不断沟通银败没,才能达到工作效率最大化。
4:大数据工程师需要很强的学习能力。人只要具备很强锋纳的学习能力,才能在很短的时间内来适应自己的角色,也可以胜任很多个职位。这样来说的大数据工程师无疑才是最为成功的。
5:大数据工程师要具有很强的计算机编码能力。作为大数据工程师的一些必备因素就是实际开发能力和大规模的数据处理能力。现在社交网络上的无意义信息太多,这就需要我们大数据工程师来亲自挖掘,找出里边最有用的东西。当然有些公司的大数据工程师是以商业分析为主的,但是计算机处理大数据的方式也是必备的技能。
⑼ 大数据分析师报考要求
大数据分析师是一个非常热门的职业,通常需要掌握一定的技能和具备一定的资格才能够胜任这个职位。以下是一般的大数据分析师报考要求:
专业技能:需要掌握大链扮数据技术和相关工具,如Hadoop、Spark、SQL等。同时需要熟练掌握一种或多种编程语言,如Java、Python等。熟练掌握数据挖掘、数据建模、数据可视化等技能也棚液灶是必须的。
经验要求:需要有一定的相关工作经验,对大数据处理、分析有一定的实际操作经验。
能力要求:需要具备较好的沟通能力、逻辑思维能力、问题解决能力、团队合作能埋念力等。
相关证书:具备相关的专业证书,如Cloudera Certified Data Analyst、SAS Certified Data Scientist等也可以增加求职竞争力。
需要注意的是,不同公司和岗位对大数据分析师的要求可能会有所不同,具体要求可能会有所差异。