大数据工程师工作

㈠ 大数据开发工程师的基本职责-岗位职责

大数据开发工程师的基本职责-岗位职责

在学习、工作、生活中，很多情况下我们都会接触到岗位职责，明确岗位职责能让员工知晓和掌握岗位职责，能够最大化的进行劳动用工管理，科学的进行人力配置，做到人尽其才、人岗匹配。我们该怎么制定岗位职责呢？以下是我为大家整理的大数据开发工程师的基本职责-岗位职责，仅供参考，欢迎大家阅读。

大数据开发工程师的基本职责-岗位职责1

职责：

1、参与大数据平台搭建以及项目技术架构。

2、数据分析，挖掘，模型具体的产品化；

3、根据产品需求，分析编写和制定大数据相关解决方案

岗位要求：

1、计算机相关专业本科以上学历，编程基础扎实，有2年以上大数据开发经验

2、熟悉Hadoop生态和体系架构，熟悉Flink、Spark，Hive等常用开源工具

3、熟悉Flume，kakfa，scribe等日志收集体系

4、熟悉主流数据库（Oracle、postgresql、Mysql、Sql Server）中的1种及以上，有较好的SQL性能调优经验

5、有数据仓库ETL经验者优先

6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先

7、有持续学习的能力；喜欢开源软件，乐于知识分享；对工作认真负责；可以独立承担较大工作压力

大数据开发工程师的基本职责-岗位职责2

职责：

1、数字货币领域数据统计分析，负责数字货币量化投资策略的设计、管理以及实际投资运作

2、与交易员对接，制定切实可行的的'策略测试计划，开展新策略模型的开发和验证

3、协助交易员进行交易、风险管理，并对实际交易结果进行量化的绩效分析，推动交易自动化

4、上级交办的其他工作

任职要求：

1、数学/计算机/金融专业毕业，有扎实的算法和机器学习的理论基础

2、有量化实盘交易经验，具备丰富的数学建模经验及较强的数据处理能力优先

3、对金融市场的价格波动有独特理解和深入的量化分析，具备一定对冲策略研究经验；

4、对数字货币领域感兴趣，结果导向；

5、有网页抓取和爬虫程序编写经验者优先。

大数据开发工程师的基本职责-岗位职责3

职责：

1、大数据日志分析系统的设计，选型和开发；

2、配合各业务给予数据支持，对产品和运营数据总结和优化；

3、处理用户海量数据，提取、分析、归纳用户属性，行为等信息，完成分析结果；

4、发现并指出数据异常情况，分析数据合理性；

5、公司大数据基础架构平台的运维，保障数据平台服务的稳定性和可用性；

6、大数据基础架构平台的监控、资源管理、数据流管理；

7、基于数据分析的可预测的云平台弹性扩展解决方案。

任职要求：

1、日志分析数据系统实际经验；

2、3年以上互联网行业研发经验，有使用Hadoop/hive/spark分析海量数据的能力；

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安装与调试；

4、熟悉大数据周边相关的数据库系统，关系型数据库和NoSQL。

5、掌握linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题；

6、有良好的沟通能力，具备出色的规划、执行力，强烈的责任感，以及优秀的学习能力。

大数据开发工程师的基本职责-岗位职责4

职责：

1、负责数据分析、加工、清理、处理程序的开发；

2、负责数据相关平台的搭建、维护和优化；

3、负责基于Hadoop/Spark/Hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发；

岗位要求：

1、本科学历须211院校以上，硕士及以上学历不限院校，计算机软件及相关专业

2、熟悉Java和Scala语言、熟悉常用设计模式、具有代码重构意识；

3、熟练使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底层框架和实现原理；

4、使用Spark Streaming和Spark SQL进行数据处理，并具有SPARK SQL优化经验；

5、需要有至少2年开发经验，有flink开发经验优先；

6、学习能力强，喜欢研究新技术，有团队观念，具备独立解决问题的能力。

大数据开发工程师的基本职责-岗位职责5

职责：

1、负责大数据平台的基础环境搭建与性能优化，完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发；

2、对各种开源框架进行深入的代码剖析和优化；

3、参与大数据技术方案评审；

4、指导初中级大数据工程师工作；

岗位要求：

1、计算机相关专业全日制专科及以上学历，具有3年或以上的分布式计算平台研发工作经验；

2。对大数据相关组件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架构与底层实现有深入理解，具备相应的定制和研发能力，尤其需要精通Flink框架；

3。具备构建稳定的大数据基础平台的能力，具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验；

4。对技术有热情，有不错的数据思维和敏感度，有一定的数据分析能力优先，对深度学习、机器学习有一定的了解优先；

5。工作有计划性，责任心和执行能力强，具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。

㈡ 大数据开发工程师是做什么

大数据开发工程师做的是：
1、参与大数据平台的数据架构设计，完成从业务模型到数据模型的设计；
2、基于海量数据的数据仓库，为业务搭建通用的查询和分析解决方案；
3、根据工作安排高效、高质地完成代码编写，确保符合前端代码规范。以上是大数据开发工程师目前在行业或公司中负责的工作内容。

㈢ 大数据工程师主要是做什么的

大数据工程师的主要工作是：分析历史、预测未来、优化选择。

1、分析历史，找出过去事件的特征：

大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。

2、预测未来，预测未来可能发生的事情：

通过引入关键因素，大数据工程师可以预测未来的消费趋势。

3、优化选择，找出最优化的结果：

根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。

在工作岗位上，大数据工程师需要基于Hadoop，Spark等构建数据分析平台，进行设计、开发分布式计算业务。负责大数据平台(Hadoop，HBase，Spark等)集群环境的搭建，性能调优和日常维护。负责数据仓库设计，数据ETL的设计、开发和性能优化。参与构建大数据平台，依托大数据技术建设用户画像。

(3)大数据工程师工作扩展阅读：

大数据工程师可以从事对大量数据的采集、清洗、分析、治理、挖掘，并对这些数据加以利用、管理、维护和服务的相关技术工作。

大数据工程师专业技术水平等级培训考试分初级、中级、高级三个级别。

大数据工程师培养人群：有志于从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

大数据工程师初、中、高三个级别考试均设《大数据理论基础》、《大数据技能实操》两个科目。

㈣ 大数据工程师就业如何

大数据的就业前景很广阔。
就先拿大数据里比较火的数据分析举例吧。
数据分析的两个主要就业方向，一个是统计学方向，一个是运筹学方向，我们分别来看看这两者具体有哪些相应的岗位

首先是统计学方向。

这个方向的职位其实一直都有，只是说现在用的一些方法，技术手段得到了一定的提升。原来公司只有一些有限的经营数据或市场数据，基本上用 excel 就能解决了，现在我们有了很大的数据量，也有了更多的高级的分析软件，比如 SAS 、 R 等等。用这些软件，我们可以在大量的数据中，挖掘出一些核心的数据信息，来找出商业活动的驱动力。
从就业方向来说，最典型的是以互联网公司为代表的信息化程度比较高的企业。这些公司在日常业务中会产生大量的数据，数据分析人员必须从繁杂的数据中挖掘出有效信息，来给运营和决策提供支持。

典型的公司有 BATJ ，其中一些相关的团队包括产品的运营团队、广告效果分析团队、游戏的用户数据处理团队等等。其他还有一些互联网公司，比如美团、携程、饿了么等等。

在这些互联网公司里面，数据分析工作主要分两个方向：
一个是做运营分析，就是前面讲的这类工作内容。
另一个就是产品开发的分析，比如把相关的数据抽象出来建模，做一些用于判断的模型，比如回归模型等，以 API 的形式，给到客户。客户只要把相关的数据导进去，就能通过这个模型作出一个判断。

比较典型的例子就是反诈骗的一些产品，背后是好人的行为数据，以及一些坏人的行为数据，做出一个「0」「1」的好坏判断模型。当你把一个不知道结果的数据，通过 API 接口输入进这个模型后，就会得出结论这个是好人还是坏人，从而对业务作出指导。
除了互联网公司以外，咨询公司也非常注重数据这块的工作。

比如麦肯锡，相关的数据分析已经成为公司的重要驱动力之一。
另外，四大咨询公司、一些 IT 咨询公司，比如埃森哲、印度的 Infosys 等，以及一些本土的咨询公司，比如久谦，还有老牌的基于数据分、市场分析的公司，比如尼尔森，也有相应的数据分析岗位。

㈤ 大数据工程师是做什么的

总结一句话就是 写 SQL （很多入职一两年的大数据工程师主要的工作就是写 SQL ）
还有其他的

2 为集群搭大数据环境（一般公司招大数据工程师环境都已经搭好了，公司内部会有现成的大数据平台，但我这边会私下搞一套测试环境，毕竟公司内部的大数据系统权限限制很多，严重影响开发效率）

3 维护大数据平台（这个应该是每个大数据工程师都做过的工作，或多或少会承担“运维”的工作）

4 数据迁移（有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中，这个是比较繁琐的工作，吃力不讨好）

5 应用迁移（有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上，这个过程也是非常繁琐的工作，无聊，高度重复且麻烦，吃力不讨好）

6 数据采集（采集日志数据、文件数据、接口数据，这个涉及到各种格式的转换，一般用得比较多的是 Flume 和 Logstash）

7 数据处理
7.1 离线数据处理（这个一般就是写写 SQL 然后扔到 Hive 中跑，其实和第一点有点重复了）
7.2 实时数据处理（这个涉及到消息队列，Kafka，Spark，Flink 这些，组件，一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理）

8 数据可视化（这个我司是用 Spring Boot 连接后台数据与前端，前端用自己魔改的 echarts）

9 大数据平台开发（偏Java方向的，大概就是把开源的组件整合起来整成一个可用的大数据平台这样，常见的是各种难用的 PaaS 平台）

10 数据中台开发（中台需要支持接入各种数据源，把各种数据源清洗转换为可用的数据，然后再基于原始数据搭建起宽表层，一般为了节省开发成本和服务器资源，都是基于宽表层查询出业务数据）

11 搭建数据仓库（这里的数据仓库的搭建不是指 Hive ，Hive 是搭建数仓的工具，数仓搭建一般会分为三层 ODS、DW、DM 层，其中DW是最重要的，它又可以分为DWD,DWM,DWS，这个层级只是逻辑上的概念，类似于把表名按照层级区分开来的操作，分层的目的是防止开发数据应用的时候直接访问底层数据，可以减少资源，注意，减少资源开销是减少 内存 和 CPU 的开销，分层后磁盘占用会大大增加，磁盘不值钱所以没什么关系，分层可以使数据表的逻辑更加清晰，方便进一步的开发操作，如果分层没有做好会导致逻辑混乱，新来的员工难以接手业务，提高公司的运营成本，还有这个建数仓也分为建离线和实时的）

总之就是离不开写 SQL ...

㈥ 大数据工程师是做什么的

大数据工程师主要是，分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务：

找出过去事件的特征：大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。

预测未来可能发生的事情：通过引入关键因素，大数据工程师可以预测未来的消费趋势。

找出最优化的结果：根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。

(6)大数据工程师工作扩展阅读

大数据工程师需要学习的知识

1、linux

大数据集群主要建立在linux操作系统上，Linux是一套免费使用和自由传播的类Unix操作系统。而这部分的内容是大家在学习大数据中必须要学习的，只有学好Linux才能在工作中更加的得心应手。

2、Hadoop

我觉的大家听过大数据就一定会听过hadoop。Hadoop是一个能够对大量数据进行离线分布式处理的软件框架，运算时利用maprece对数据进行处理。

㈦ 大数据工程师从事什么工作

大数据工程师是指：从事对大量数据的采集、清洗、分析、治理、挖掘，并对这些数据加以利用、管理、维护和服务的相关技术工作。

㈧ 大数据工程技术人员是做什么的 工作内容有哪些

近日，人社部发布通知，正式公布了十三个新职业信息，其中大数据工程技术人员就是其中之一。

大数据工程技术人员是指从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

主要工作任务：

大数据采集（爬虫）、大数据清洗（ETl工程师）、大数据建模（算法工程师）与大数据分析（数据分析员）；

管理、分析展现及应用等技术（大数据开发工程师）；

研究、应用大数据平台体系架构、技术和标准；

设计、开发、集成、测试大数据软硬件系统；

管理、维护并保障大数据系统稳定运行；

监控、管理和保障大数据安全；

提供大数据的技术咨询和技术服务。

我推荐： 中国13个新职业公布

在企业中，大数据工程师的发展分为四个阶段：从软件技术员到助理软件工程师，再到软件工程师，最后成为高级软件工程师。据IDC的统计数字，在所有软件开发类人才的需求中，对大数据工程师的需求达到全部需求量的60%—70%。同时，大数据软件工程师的工资待遇相对较高。

大数据软件工程师的一般起步月薪在6k-1w之间，远远超过应届毕业生的两三千的薪资。有一两年的工作经验之后，薪资待遇还会提升，比如有一年工作经验的大数据高级工程师的薪资待遇差不多在年薪10w-15w之间。

在未来的几年内，大数据人才的缺口只会越来越大，企业对人才的需求远远大于供给。大数据工程师是目前国内高端计算机领域，就业薪资非常高的一类职业。

㈨ 大数据开发工程师以后可以从事哪些岗位

我觉得很多互联网公司的职位你都可以应聘啊！