大数据任职要求

⑴ 大数据云计算好就业吗，就业有什么要求

首先，随着云计算的逐渐落地应用，云计算领域的就业前景还是非常广阔的，而且由于云计算领域对于人才类型的需求也比较多元化，既需要研发型人才，也需要高端应用型人才和技能型人才，从这个角度来看，当前不论是研究生还是本科生，甚至是专科生，学习云计算都会有较好的就业前景。在产业互联网的推动下，大量传统行业都开始纷纷上云，这个过程会为云计算逐渐打开一个巨大的价值空间，基于云计算也会降低企业的创新门槛，所以这个过程会释放出大量云计算相关人才的需求。

就业要求可以从招聘信息体现出来：

任职要求：

1、信息检索/自然语言处理/数据挖掘/数学/计算机相关专业，本科及以上学历，具有以下任意领域3年以上相关开发经验：大数据、区块链、知识图谱；

2、扎实的编程基础和数据结构算法基础，高质量的编程能力和问题解决能力；

3、掌握大数据技术栈，包括Hadoop/Spark/Flink等，有一定建模和数据分析能力；

4、熟悉主流图数据库技术或者区块链技术者优先；

5、优秀的理解与沟通能力，能快速理解业务背景，责任心强，乐于分享。

6、Hadoop/Hive/Spark/Flink开发技术；

7、ClickHouse，Durid等时序数据库和大数据分析技术；

8、数据采集、数据建模和知识图谱、数据标注及标签技术；

9、了解区块链的应用开发技术。

⑵ 大数据分析的岗位要求是怎样的

数据分析师的招聘要求一般分为5个方面：

（1）行业背景（2）逻辑思维能力（3）行业基本知识（4）基本技能（5）其他加分项

我们来看这个岗位：

数据挖掘方面要有适当的能力，比如常用的聚类、决策树、回归等要有一定的了解和应用，技术是帮助更好的解决问题的一种方式，有些时候会有很好的应用效果。

软性技能：沟通、学习能力笔者认为这两项与逻辑思维能力同等重要，感兴趣的同学可以多关注相关作者来拓宽自己的知识深度，涉猎也要广以拓宽自己知识的广度。

⑶ 数据运维员岗位职责

数据运维员岗位职责

在生活中，我们都跟岗位职责有着直接或间接的联系，岗位职责是一个具象化的工作描述，可将其归类于不同职位类型范畴。我敢肯定，大部分人都对制定岗位职责很是头疼的，下面是我帮大家整理的数据运维员岗位职责，希望能够帮助到大家。

职位要求:基本要求:1.年龄35岁以下,大专及...

运维员岗位职责

运维项目管理人员 汇通金财信息科技北京 国网汇通金财(北京)信息科技有限公司,汇通金财,汇通金财信息科技北京,电e宝,国网汇通 岗位职责:1.负责管理客户运维项目,安排各运维项目日常工作,考核运维服务质量;2.编写和整理信息系统..

软件运维员岗位职责

任职要求及相关要求:1、计算机、通讯等相关专业全日制专科及以上学历,45周岁以下;2、具备软件维护和技术支持能力,熟悉数据库系统,有一般主机和网络管理维护能力;3、性格开朗,具备良好的客户意识、沟通协调能力和良好的人际关系..

数据营销师岗位职责

岗位职责1、提供数据支持,为公司各部门数据需求给予支持;2、负责部门常规数据统计,从数据分析角度为网站优化和数据完整性提供相关支持3、针对日常统计异常数据,进行跟踪、查找原因,并给予解决4、理解业务运作逻辑,利用数据分析..

数据分析优化岗位职责

数据分析与优化经理 1、根据第三方平台反馈的活动监测数据(分媒体、点位、素材等,以及AB Test等),以及外部媒体数据,根据数字分析提出活动优化建议;22. 对用户数据和营销数据进行分析及深层挖掘,并持续迭代优化,为营销提供数据..

数据营运主管岗位职责

数据分析主管(营运) 宝能百货零售有限公司 宝能百货零售有限公司,宝能百货零售,宝能零售,宝能 岗位职责:1、负责收集全国门店营运数据,统计营运数据,分析营运数据,形成全国营运数据分析报告,支持公司战略决策以及各部门工作;2、..

数据组工程师岗位职责

数据库高级开发工程师(BI组) 百丽新零售 百丽电子商务(上海)有限公司,百丽 岗位职责:1、负责数据分析平台数据仓库的'设计与开发工作;2、完成用户数据提取需求。岗位要求:1、本科及以上学历计算机相关专业,3年以上数据库开发工作..

大数据专家岗位职责

大数据专家 任职要求:1、 本科及以上学历,8年及以上工作经验;2、 具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;3、 对大数据..

数据整理分析岗位职责

1、负责销售信息记录和数据库更新;2、对订单的相关数据进行分析和统计;3、检查、整理及保存销售档案;4、负责厂家邮件收发处理及部门日常行政事务;5、完成上级委派的其他临时性工作。任职要求:1、本科及以上学历,专业不限,对数..

计算机支撑中心数据分析岗位职责

1.收集、分析BOSS、增值业务系统的基本运营数据,生成规范、准确的统计数据和报表，为职能部门决策提供依据。2.参与报表程序设计、开发，确认数据统计口径，确保程序开发符合实际需求。3.汇总、生成计算机支撑中心的报表，指导..

数据制作岗位职责

数据制作工程师 湖北亿咖通科技有限公司 湖北亿咖通科技有限公司,亿咖通科技 工作职责:1. 负责管理和指导数据生产制作,与各产品部门密切沟通,准确拆分数据产品需求,准确把握数据生产工艺,建立数据生产能力;2. 协助项目经理制定..

;

⑷ 大数据是干嘛的就业薪资咋样

大数据是做什么的
按行业查看 򀀇
大数据 岗位职责来自 成都新大瀚人力资源管理有限公司回
򀀇
工作职责
1. 负责大数据分析需答求设计和开发，承担数据抽取、清洗、实时统计及离线数据处理等程序开发；
2. 开发数据统计系统，完成项目数据统计与分析任务，为业务运营提供数据支持服务；
3. 根据项目需求预研并引入新的大数据分析技术。
任职资格1、本科及以上学历，5年以上相关工作经验；
2、精通java或者scala、基础扎实，有良好的编码习惯；
3、精通主流的大数据开源框架（如Hadoop/Spark/Flink等），并有丰富的应用开发经验；
4、熟练使用kafka/elasticsearch/redis/mongodb/Hbase/druid/kylin等大数据组件；
5、熟练使用主流关系型数据库（如Oracle/Mysql/PostgresQL）， 熟练掌握SQL语言；
6. 热爱开发，有较强的学习能力和快速解决问题的能力，具备较强的责任心和良好的沟通能力。

⑸ 大数据运维工程师具体做什么

事件管理：目标是在服务出现异常时尽可能快速的恢复服务，从而保障服务的可用性;同时深入分析故障产生的原因，推动并修复服务存在的问题，同时设计并开发相关的预案以确保服务出现故障时可以高效的止损。

问题发现：设计并开发高效的监控平台和告警平台，使用机器学习、大数据分析等方法对系统中的大量监控数据进行汇总分析，以期在系统出现异常的时候可以快速的发现问题和判断故障的影响。

问题处理：设计并开发高效的问题处理平台和工具，在系统出现异常的时候可以快速/自动决策并触发相关止损预案，快速恢复服务。

问题跟踪：通过分析问题发生时系统的各种表现(日志、变更、监控)确定问题发生的根本原因，制定并开发预案工具。

变更管理：以可控的方式，尽可能高效的完成产品功能的迭代的变更工作。

配置管理：通过配置管理平台(自研、开源)管理服务涉及到的多个模块、多个版本的关系以及配置的准确性。

发布管理：通过构建自动化的平台确保每一次版本变更可以安全可控地发布到生产环境。

容量管理：在服务运行维护阶段，为了确保服务架构部署的合理性同时掌握服务整体的冗余，需要不断评估系统的承载能力，并不断优化之。

容量评估：通过技术手段模拟实际的用户请求，测试整个系统所能承担的最大吞吐;通过建立容量评估模型分析压力测试过程中的数据以评估整个服务的容量。

容量优化：基于容量评估数据，判断系统的瓶颈并提供容量优化的解决方案。比如通过调整系统参数、优化服务部署架构等方法来高效的提升系统容量。

架构优化：为了支持产品的不断迭代，需要不断的进行架构优化调整。以确保整个产品能够在功能不断丰富和复杂的条件下，同时保持高可用性。

⑹ 大数据工程师未来职业规划

想了解数据分析工程师的职业规划或学习计划，由此来提升自己的技能和专业知识，我觉得最准确最有针对性一个方法就是查阅招聘岗位的工作要求，这样我们就可以有的放矢地好好专研自己的学习。我们看一下以下这条招聘要求：
1.负责大数据平台的规划、分析、设计工作，把握整体架构，进行相关技术方案文档的撰写；
2.负责大数据平台的部署、开发、维护工作；
3.与BI分析人员协作，完成面向业务目标的数据分析模型定义和算法实施工作；
4.承担相关技术领域的探索与储备。
任职要求：
1.大学本科以上学历，熟练掌握C/C++或者JAVA；
2.熟悉各种常用数据结构及算法，对linux下的网络数据库开发有足够经验；
3.有2年以上C++实战经验者优先；
4.有大数据挖据方面经验和技能者优先；如hadoop、hbase、hive等；
5.善于与其他部门的成员沟通、协作。
还有一个招聘要求是：
岗位职责：
1、理解并挖掘用户需求，进行数据建模；
2、利用专业统计、分析工具从海量数据中总结规律、挖掘潜在价值，提供决策依据。
任职要求：
1、数学类、统计类、计算机类、人工智能类相关专业本科及以上学历，2年左右专职数据分析、挖掘经验，优秀的应届硕士也可；
2、良好的数据敏感性，善于从海量数据中提取有效信息进行分析挖掘和建模；
3、熟练掌握任一种分析工具，例SPSS、SAS、R语言、MatLab；
4、熟悉数据库技术，如oracle、SQL、MongoDB；
5、对于数学建模、数据挖掘、Hadoop大数据有经验者优先。
我想，你看到这，应该是对数据分析工程师有了非常明晰的看法，好好加油ba !

⑺ 大数据开发工程师的基本职责-岗位职责

大数据开发工程师的基本职责-岗位职责

在学习、工作、生活中，很多情况下我们都会接触到岗位职责，明确岗位职责能让员工知晓和掌握岗位职责，能够最大化的进行劳动用工管理，科学的进行人力配置，做到人尽其才、人岗匹配。我们该怎么制定岗位职责呢？以下是我为大家整理的大数据开发工程师的基本职责-岗位职责，仅供参考，欢迎大家阅读。

大数据开发工程师的基本职责-岗位职责1

职责：

1、参与大数据平台搭建以及项目技术架构。

2、数据分析，挖掘，模型具体的产品化；

3、根据产品需求，分析编写和制定大数据相关解决方案

岗位要求：

1、计算机相关专业本科以上学历，编程基础扎实，有2年以上大数据开发经验

2、熟悉Hadoop生态和体系架构，熟悉Flink、Spark，Hive等常用开源工具

3、熟悉Flume，kakfa，scribe等日志收集体系

4、熟悉主流数据库（Oracle、postgresql、Mysql、Sql Server）中的1种及以上，有较好的SQL性能调优经验

5、有数据仓库ETL经验者优先

6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先

7、有持续学习的能力；喜欢开源软件，乐于知识分享；对工作认真负责；可以独立承担较大工作压力

大数据开发工程师的基本职责-岗位职责2

职责：

1、数字货币领域数据统计分析，负责数字货币量化投资策略的设计、管理以及实际投资运作

2、与交易员对接，制定切实可行的的'策略测试计划，开展新策略模型的开发和验证

3、协助交易员进行交易、风险管理，并对实际交易结果进行量化的绩效分析，推动交易自动化

4、上级交办的其他工作

任职要求：

1、数学/计算机/金融专业毕业，有扎实的算法和机器学习的理论基础

2、有量化实盘交易经验，具备丰富的数学建模经验及较强的数据处理能力优先

3、对金融市场的价格波动有独特理解和深入的量化分析，具备一定对冲策略研究经验；

4、对数字货币领域感兴趣，结果导向；

5、有网页抓取和爬虫程序编写经验者优先。

大数据开发工程师的基本职责-岗位职责3

职责：

1、大数据日志分析系统的设计，选型和开发；

2、配合各业务给予数据支持，对产品和运营数据总结和优化；

3、处理用户海量数据，提取、分析、归纳用户属性，行为等信息，完成分析结果；

4、发现并指出数据异常情况，分析数据合理性；

5、公司大数据基础架构平台的运维，保障数据平台服务的稳定性和可用性；

6、大数据基础架构平台的监控、资源管理、数据流管理；

7、基于数据分析的可预测的云平台弹性扩展解决方案。

任职要求：

1、日志分析数据系统实际经验；

2、3年以上互联网行业研发经验，有使用Hadoop/hive/spark分析海量数据的能力；

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安装与调试；

4、熟悉大数据周边相关的数据库系统，关系型数据库和NoSQL。

5、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题；

6、有良好的沟通能力，具备出色的规划、执行力，强烈的责任感，以及优秀的学习能力。

大数据开发工程师的基本职责-岗位职责4

职责：

1、负责数据分析、加工、清理、处理程序的开发；

2、负责数据相关平台的搭建、维护和优化；

3、负责基于Hadoop/Spark/Hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发；

岗位要求：

1、本科学历须211院校以上，硕士及以上学历不限院校，计算机软件及相关专业

2、熟悉Java和Scala语言、熟悉常用设计模式、具有代码重构意识；

3、熟练使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底层框架和实现原理；

4、使用Spark Streaming和Spark SQL进行数据处理，并具有SPARK SQL优化经验；

5、需要有至少2年开发经验，有flink开发经验优先；

6、学习能力强，喜欢研究新技术，有团队观念，具备独立解决问题的能力。

大数据开发工程师的基本职责-岗位职责5

职责：

1、负责大数据平台的基础环境搭建与性能优化，完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发；

2、对各种开源框架进行深入的代码剖析和优化；

3、参与大数据技术方案评审；

4、指导初中级大数据工程师工作；

岗位要求：

1、计算机相关专业全日制专科及以上学历，具有3年或以上的分布式计算平台研发工作经验；

2。对大数据相关组件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架构与底层实现有深入理解，具备相应的定制和研发能力，尤其需要精通Flink框架；

3。具备构建稳定的大数据基础平台的能力，具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验；

4。对技术有热情，有不错的数据思维和敏感度，有一定的数据分析能力优先，对深度学习、机器学习有一定的了解优先；

5。工作有计划性，责任心和执行能力强，具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。

;

⑻ 大数据运维工程师的基本职责

大数据运维工程师需要处理公司大数据平台各类异常和故障，确保系统平台的稳定运行。下面是我为您精心整理的大数据运维工程师的基本职责。

大数据运维工程师的基本职责1

职责:

1、技术保障各底层支撑系统的可靠性与稳定性;

2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;

3、负责技术文档手册编写，更新，经验总结沉淀，培训分享;

4、负责对新技术和方案进行调研，评估和引进，用技术去提升运维生产效率

任职资格:

1、熟悉常见的应用服务部署和调优(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、负载均衡集群的规划与搭建;

2、熟练使用Linux、TCP/IP网络协议栈，了解常用的Troubleshooting手段和常见性能指标

3、具有车联网平台运维的经验，精于容量规划、架构设计、性能优化;

4、熟悉主流PaaS云产品的使用，具有运维平台开发经验者、参与过开源产品的开发者优先;

5、优秀的沟通能力，出色的学习与钻研能力，良好的问题分析与解决能力;

6、对行业技术敏感度高且细致，善于思考，乐于发现，对解决具有挑战性问题充满激情。

大数据运维工程师的基本职责2

职责：

1、负责维护服务器的运行，包括巡检、故障排除、数据备份等业务，保证服务器高质量、高效率运行状态;

2、负责服务器漏洞整改及补丁升级;

3、负责hadoop运维相关工作;

4、负责大数据平台的日常部署、升级、扩容、迁移;

5、负责高并发，大存储和实时流的Hadoop/spark大数据平台规划，运维，监控和优化工作。

任职资格：

1、2年左右服务器运维经验;

2、对linux基础运维命令熟悉，shell,python至少精通一种，如会scala语言可优先考虑;

3、熟悉Linux的维护和管理，熟悉bat及Shell脚本开发，能看懂Python/Scala优先;

4、做过大规模hadoop集群优先;

5、大数据项目：包括不限于hadoop、hive、kafka、hbase、spark、Ku、Impala等大数据生态的平台搭建，监控，运维，调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

大数据运维工程师的基本职责3

职责:

1、负责Hadoop平台搭建，运维，管理，故障处理。

2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。

3、对平台的Hadoop，Hbase，Kafka，Hive等进行优化。

4、建立Hadoop集群管理和维护规范，包括版本管理和变更记录等。

岗位要求:

1、有丰富的Hadoop生态系统的运维经验，了解Hadoop、Storm、Spark、Kafka这些组件的原理，具备部署、实施、维护hadoop 及相关组件的能力;

2、至少精通 Perl/Python/Shell脚本语言中的一种;

3、掌握Linux操作系统的配置，管理、优化以及各种常用命令，能够独立排查及解决操作系统层的各类问题;

4、分析问题能力优秀，善于从各种系统、应用日志中寻找出问题的原因。

5、有独立分析问题和解决问题的能力，能出差。

大数据运维工程师的基本职责4

职责：

1.负责Hadoop、spark、hbase、oozie、hive等平台运营和优化工作，保障平台服务运行稳定、高效。

2.负责大数据方案架构及方案落地;

3.开发Hadoop大数据管理平台与监控建设;

3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;

4.负责集群网络架构、机器管理等。

任职资格：

1. 全日制本科以上学历，三年以上后台系统运营工作经验;

2. 熟悉hadoop原理，具有Hadoop平台应用及管理经验，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;

3. 熟悉linux操作系统及调优;熟悉sql编程，熟悉Shell/Python/Java/Perl语言的一种或多种，有开发经验优先， 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;

4. 对大数据和自动化运维开发有浓厚兴趣，有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。

大数据运维工程师的基本职责5

职责：

1. 负责大数据平台的稳定性和性能优化;

2. 负责大数据项目的运维工作;

3. 针对业务需求制定统一的运维解决方案;

4. 完善自动监控报警系统，对业务层面关键指标进行监控与报警通知;

任职要求：

1、熟练掌握hadoop平台搭建、维护，有平台优化经验;

2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等组件的原理，有阅读源码能力者优先;

3、熟悉腾讯云产品，有腾讯云EMR使用经验者优先考虑;

⑼ 大数据架构师的基本职责

大数据架构师需要参与规划从数据源到数据应用的整体流程，并参与相关产品的决策。下面是我为您精心整理的大数据架构师的基本职责。

大数据架构师的基本职责1

职责：

1.负责整个大数据平台架构的设计和构建;

2.负责构建大数据平台的数据交换、任务调度等通用平台;

3.制定开发、测试、实施、维护的标准和规范，指导和培训工程师，不断提升团队能力。

4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署，负责编写核心部分代码。

5.持续挑战新的技术方向，攻克大数据量、高并发、高可用、可扩展等技术难点。

任职要求：

1.3年以上大数据架构经验，丰富的数据仓库、数据挖掘、机器学习项目经验

2.大规模数据处理的架构和设计实战经验

3.精通Spark、MR，熟练HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，并具有丰富的大型数据平台工程经验

4.深刻理解大数据处理(流计算，分布式计算，分布式文件系统，分布式存储等)相关技术和实现方法

5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法，熟练Linux/Unix平台上的开发环境

6.本科或以上学历，计算机软件或相关专业，丰富的java开发经验和互联网背景优先。

7.具有比较强的问题分析和处理能力，有比较优秀的动手能力，热衷技术，精益求精

大数据架构师的基本职责2

职责：

1. 深刻理解政府行业业务模式，构建政府行业的数据模型，制定公司大数据技术发展路线;

2. 对接业务研究和技术部门，主动搜集和转化需求，组织数据中心业务开发，进行数据相关产品需求分析和设计;

3. 搭建数据仓库，研发数据库管理系统，搜集、提取、处理业务积累的海量数据，开展数据分析和挖掘;

4. 根据公司战略和发展需要，规划数据中心重点工作和任务;落实部门人员、事务管理，开展跨部门、跨地区协作，协助对外交流与合作。

职位要求：

1. 5年以上相关工作经验，有团队管理和项目管理经验者优先;

2.了解政府运作机制，掌握财政行业知识，有电子政务行业经验者优先;

3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL，Oracle等,在机器学习模型和算法方向有应用经验者优先;

4. 具备数据中心产品策划整体思维，有大数据处理、分析、挖掘经验者优先;

5. 逻辑思维严密，具备业务抽象、分解和标准化的能力，口头和书面表达优秀;

6. 有较强的大局意识和良好的团队合作意识，富有领导力，具备优秀的人际交往和沟通能力。

大数据架构师的基本职责3

职责:

1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作

2、与数据专业委员会一起研究数据建模方案和建模工具，负责产品线产品的数据架构、数据模型设计

3、参与研究数据库之间的数据转换方式，参与项目中的数据移植工作，收集在项目中的数据移植经验，优化产品的数据模型

4、负责培训本部门队伍的数据模型基础理论工作，建立数据模型团队

岗位要求：

1、统招本科学历，3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验，具备大型数据仓库逻辑模型和物理模型设计经验，精通SQL，有较好的SQL性能调优经验;

2、拥有Python，R等数学建模工具的使用经验，并具备一定的数据处理和建模经验，可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;

3、熟悉统计学基本原理，做过实战的数据建模项目;

4、有分布式数据仓库建设相关经验者优先，具备电信行业数据仓库建设相关经验者优先;

大数据架构师的基本职责4

职责：

1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

2、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;

3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;

4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码;

任职要求：

1、本科及以上计算机相关专业毕业;

2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括Storm、SparkStreaming等;

3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验;

4、掌握常见数据流接入工具，包括Flume、kafka等;

5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);

6、掌握一种或以上实时处理语言，如JAVA、SCALA、PYTHON等，有SCALA经验者优先;

7、有实际大规模数据(TB级以上)处理经验优先;

大数据架构师的基本职责5

职责：

1、负责公司的大数据处理框架的研发设计工作，梳理可实现方案和技术规范;

2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

3、负责业务平台数据统计分析模块的设计与规划;

4、负责公司产品研发过程中的数据及存储设计;

5、带领和培养团队完成组织分解的目标;

任职要求：

1、统招本科及以上学历，计算机、软件工程相关专业，至少8年以上工作经验，5年以上大数据开发经验;

2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构

3、熟悉数据仓库，数据算法，分布式计算技术理论，具有大数据整体系统架构设计经验;

4、熟悉Linux系统，熟练使用shell/perl/python脚本处理问题;

5、对深度学习框架(Tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;

6、能够组织项目开发组协同工作，包括团队沟通、计划、开发环境管理等

⑽ 大数据运维工程师的具体职责描述

大数据运维工程师需要负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化。下面是我为您精心整理的大数据运维工程师的具体职责描述。

大数据运维工程师的具体职责描述1

职责：

1、负责数据平台的运维管理工作(部署、监控、优化、故障处理);

2、负责Hadoop/Spark/Flink/Elasticsearch/Kafka等系统的架构审核、容量规划、成本优化;

3、负责大数据平台的用户管理、权限分配、资源分配;

4、参与数据挖掘、机器学习的平台的设计、并给出可执行的运维方案;

5、参与数据平台的相关工具开发(包括自动化部署、监控、ETL等);

6、深入理解数据平台架构，发现并解决故障隐患及性能瓶颈;

7、ETL工具、调度工具、关系型数据库的运维。

任职资格：

1、本科以上学历，计算机软件相关专业;

2、1年以上大数据相关组件运维经验(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP维护经验，3年以上系统运维相关经验;

3、深入理解Linux系统，能独立部署开源软件，熟练掌握一门以上脚本语言(shell/perl/python等)，熟悉python开发语言优先;

4、逻辑思维能力强，做事有条理，责任心强，工作积极主动，执行力强，有良好的团队协作意识。

大数据运维工程师的具体职责描述2

职责

1. 负责大数据ETL系统，运维及保障服务稳定可用;

2. 负责数据采集交换方案以及联调测试;

3. 负责采集交换任务的评审和上线;

4. 负责及时排除ETL流程故障，形成知识库，完善运维文档;

5. 负责监控和优化ETL的性能,持续性地提出改进自动化运维平台建议

技能要求

1. 计算机科学或相关专业本科及以上学历;

2. 熟悉Linux系统,熟练编写shell/perl/python一种或多种脚本语言;

3. 熟悉Hive、Hadoop、MapRece集群原理，有hadoop大数据平台运维经验者优先;

4. 熟悉数据库的性能优化、SQL调优，有相应经验;

5. 抗压能力强，有强烈的责任心，良好的沟通能力、学习能力及团队合作能力。

大数据运维工程师的具体职责描述3

职责：

1、负责分布式大数据平台产品的运维和运维开发，保证其高可用和稳定性;

2、负责大数据系统架构的可运维性设计、容量规划、服务监控，持续优化服务架构、集群性能;

3、通过技术手段控制和优化成本，通过自动化工具及流程提升大数据平台运维效率;

4、为项目开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;

任职资格：

1、三年以上大数据运维相关工作经验，有大型互联网公司工作经验者优先，全日制本科及以上学历;

2、熟练掌握至少一门开发语言，有Java或Python语言开发经验优先;

3、精通Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;

4、熟悉Mysql等常用关系数据库，熟练编写SQL语句，有分布式nosql数据库应用、性能调优经验优先;

5、熟悉Linux环境，能够熟悉使用shell脚本;

6、对大数据技术有强烈兴趣，有志于往大数据方向深层次发展;

7、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

8、具备较好的沟通能力、主动性及责任感。

大数据运维工程师的具体职责描述4

职责：

1、负责大数据集群的日常维护、监控、异常处理等工作，保障集群稳定运行;

2、负责大数据批处理管理以及运维;

3、负责大数据集群的用户管理、权限管理、资源管理、性能优化等;

4、深入理解数据平台架构，发现并解决重大故障及性能瓶颈，打造一流的数据平台;

5、跟进大数据前沿技术，不断优化数据集群;

6、有华为大数据平台运维经验优先;

岗位要求：

1、1年以上大数据运维或开发经验;

2、有良好的计算机和网络基础，熟悉linux文件系统、内核、性能调优，TCP/IP、HTTP等协议;

3、熟悉大数据生态，有相关(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的运维及开发经验;

4、熟练使用shell、python等脚本语言开发相关运维管理工具;

5、良好的文档撰写习惯;

大数据运维工程师的具体职责描述5

职责：

1、负责公司内部及项目中大数据集群的构建，任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;

2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守，参与大数据基础环境的架构设计与改进;

3、深入研究大数据业务相关运维技术，探索新的运维技术及发展方向。

任职要求：

1、熟悉Linux基础命令操作，能够独立编写Shell脚本开展日常服务器的运维;

2、熟悉Hadoop生态圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安装与调优;

3、熟悉软硬件设备，网络原理，有丰富的大数据平台部署，性能优化和运维经验;

4、工作认真负责，有较强的学习能力，动手能力和分析解决问题的能力;

5、能够利用各种开源监控工具、运维工具，HA、负载均衡软件完成工作任务;

6、熟悉JVM虚拟机调优;