大数据具体工作内容

⑴ 大数据是干什么的！

1 写 SQL （很多入职一两年的大数据工程师主要的工作就是写 SQL ）

2 为集群搭大数据环境（一般公司招大数据工程师环境都已经搭好了，公司内部会有现成的大数据平台，但我这边会私下搞一套测试环境，毕竟公司内部的大数据系统权限限制很多，严重影响开发效率）

3 维护大数据平台（这个应该是每个大数据工程师都做过的工作，或多或少会承担“运维”的工作）

4 数据迁移（有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中，这个是比较繁琐的工作，吃力不讨好）

5 应用迁移（有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上，这个过程也是非常繁琐的工作，无聊，高度重复且麻烦，吃力不讨好）

6 数据采集（采集日志数据、文件数据、接口数据，这个涉及到各种格式的转换，一般用得比较多的是 Flume 和 Logstash）

7 数据处理
7.1 离线数据处理（这个一般就是写写 SQL 然后扔到 Hive 中跑，其实和第一点有点重复了）
7.2 实时数据处理（这个涉及到消息队列，Kafka，Spark，Flink 这些，组件，一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理）

8 数据可视化（这个我司是用 Spring Boot 连接后台数据与前端，前端用自己魔改的 echarts）

9 大数据平台开发（偏Java方向的，大概就是把开源的组件整合起来整成一个可用的大数据平台这样，常见的是各种难用的 PaaS 平台）

10 数据中台开发（中台需要支持接入各种数据源，把各种数据源清洗转换为可用的数据，然后再基于原始数据搭建起宽表层，一般为了节省开发成本和服务器资源，都是基于宽表层查询出业务数据）

11 搭建数据仓库（这里的数据仓库的搭建不是指 Hive ，Hive 是搭建数仓的工具，数仓搭建一般会分为三层 ODS、DW、DM 层，其中DW是最重要的，它又可以分为DWD,DWM,DWS，这个层级只是逻辑上的概念，类似于把表名按照层级区分开来的操作，分层的目的是防止开发数据应用的时候直接访问底层数据，可以减少资源，注意，减少资源开销是减少 内存 和 CPU 的开销，分层后磁盘占用会大大增加，磁盘不值钱所以没什么关系，分层可以使数据表的逻辑更加清晰，方便进一步的开发操作，如果分层没有做好会导致逻辑混乱，新来的员工难以接手业务，提高公司的运营成本，还有这个建数仓也分为建离线和实时的）

总之就是离不开写 SQL ...

⑵ 大数据工程技术人员是做什么的 工作内容有哪些

近日，人社部发布通知，正式公布了十三个新职业信息，其中大数据工程技术人员就是其中之一。

大数据工程技术人员是指从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

主要工作任务：

大数据采集（爬虫）、大数据清洗（ETl工程师）、大数据建模（算法工程师）与大数据分析（数据分析员）；

管理、分析展现及应用等技术（大数据开发工程师）；

研究、应用大数据平台体系架构、技术和标准；

设计、开发、集成、测试大数据软硬件系统；

管理、维护并保障大数据系统稳定运行；

监控、管理和保障大数据安全；

提供大数据的技术咨询和技术服务。

我推荐： 中国13个新职业公布

在企业中，大数据工程师的发展分为四个阶段：从软件技术员到助理软件工程师，再到软件工程师，最后成为高级软件工程师。据IDC的统计数字，在所有软件开发类人才的需求中，对大数据工程师的需求达到全部需求量的60%—70%。同时，大数据软件工程师的工资待遇相对较高。

大数据软件工程师的一般起步月薪在6k-1w之间，远远超过应届毕业生的两三千的薪资。有一两年的工作经验之后，薪资待遇还会提升，比如有一年工作经验的大数据高级工程师的薪资待遇差不多在年薪10w-15w之间。

在未来的几年内，大数据人才的缺口只会越来越大，企业对人才的需求远远大于供给。大数据工程师是目前国内高端计算机领域，就业薪资非常高的一类职业。

⑶ 学大数据会有什么工作

(1)大数据系统研发工程师：负责大数据系统研发工作，包括大规模非结构化数据业务模型构建、大数据存储、数据库架构设计以及数据库详细设计、优化数据库构架、解决数据库中心建设设计问题。他们还负责集群的日常运作、系统的监测和配置、Hadoop 与其他系统的集成。

(2)大数据应用开发工程师：负责搭建大数据应用平台、开发分析应用程序。他们熟悉工具或算法、编程、包装、优化或者部署不同的 MapRece事务。他们以大数据技术为核心，研发各种基于大数据技术的应用程序及行业解决方案。

(3)大数据分析师：运用算法来解决分析问题，并且从事数据挖掘工作。他们的本事就是能够让数据道出真相;此外，他们还拥有某个领域的专长，帮助开发数据产品，推动数据解决方案的不断更新。

(4)数据可视化工程师：具备良好的沟通能力与团队精神，责任心强，拥有强大的解决问题的能力。他们负责在收集到的高质量数据中，利用图形化的工具及手段的应用，一目了然地揭示数据中的复杂信息，帮助企业更好的进行大数据应用开发，发现大数据背后的巨大财富。

⑷ 学大数据会有什么工作

大数据的岗位可以分为三大类：

大数据系统研发人员、大数据应用开发人才和大数据分析人才；
最普遍同时需求也大的是大数据系统研发工程师、大数据应用开发工程师和数据分析师
1、大数据架构工程师：

负责Hadoop集群架构设计开发、搭建、管理、运维、调优；负责数据对接和对外服务设计、开发和维护；负责大数据框架和大数据应用的程序设计、开发和维护；负责基于大数据技术对海量数据的自动分析处理和挖掘工作；
2、大数据开发工程师：
基于hadoop、spark等构建数据分析平台，进行设计、开发分布式计算业务；辅助管理Hadoop集群运行，稳定提供平台服务；基于Spark技术的海量数据的处理、分析、统计和挖掘；基于Spark框架的数据仓库的设计、开发和维护
3、大数据运维工程师：
负责大数据基础平台的运维,保障平台的稳定可用；负责应用产品部署、上线及维护；负责大数据平台资源管理、性能优化和故障处理；深入研究大数据业务相关运维技术，持续优化集群服务架构;参与设计大数据自动化运维、监控、故障处理工具。

⑸ 大数据所从事什么工作

大数据有各方面的工作，有需要用到高深的技术的，也有简单的工作，主要你愿回意并且有决心从事大数据相答关工作，不管你先前读什么专业，一定能找到适合你的切入点，进入大数据行业工作。

大数据相关的工作分为几大类：大数据研发、大数据开发、大数据分析、大数据运维。

如果你想从事偏技术型的工作，至少要有开发语言作为支撑，比如Java或python，工作的选择也更宽泛并且都是企业所要求的核心岗位，对以后的发展很有帮助。

⑹ 大数据分析的具体内容有哪些

随着互联网的不断发展，大数据技术在各个领域都有不同程度的应用
1、采集
大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
2、导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
3、统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
4、挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测(Predict)的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

⑺ 大数据有关的工作有哪些

1、数据挖掘来工程师

数据建模、机器学自习和算法实现；商业智能，用户体验分析，预测流失用户等；需要过硬的数学和统计学功底以外，对算法的代码实现也有很高的要求

2、数据架构师

需求分析，平台选择，技术架构设计，应用设计和开发，测试和部署；高级算法设计与优化；数据相关系统设计与优化，需要平台级开发和架构设计能力。成都加米谷大数据培训机构，大数据开发，数据分析与挖掘。

3、数据库开发

设计，开发和实施基于客户需求的数据库系统，通过理想接口连接数据库和数据库工具，优化数据库系统的性能效率等

4、数据库管理

数据库设计、数据迁移、数据库性能管理、数据安全管理，故障检修问题、数据备份、数据恢复等

5、数据科学家

数据挖掘架构、模型标准、数据报告、数据分析方法；利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换

6、数据产品经理

把数据和业务结合起来做成数据产品；平台线提供基础平台和通用的数据工具，业务线提供更加贴近业务的分析框架和数据应用

⑻ 大数据上班都干什么

不同岗位工作内容不同：

1、大数据项目经理

工作内容：项目需求、进度、质量、成本管理。

2、大数据开发工程师

工作内容：主要是基于Hadoop、Spark等平台上面进行开发，各种开源技术框架平台很多，需要看企业实际的选择是什么，但目前Hadoop、Spark仍然占据广大市场。

3、大数据产品经理

工作内容：大数据相关产品规划设计，需要与需求部门及技术部门沟通协调。

4、数据分析师

工作内容：收集，处理和执行统计数据分析；运用工具，提取、分析、呈现数据，实现数据的商业意义，需要业务理解和工具应用能力。

大数据发展前景

根据数据显示，大数据行业的岗位每年在以超过20%的速度递增着，这样来看的话很自然地就会产生大量的岗位机会，并且可以相信的是随着行业快速发展，岗位也随着企业的业务增长不断增多，要知道现在各大高校都开设了新的与大数据相结合的课程，未来大数据发展肯定会越来越好。

⑼ 大数据工程师的日常工作内容有哪些

数据采集：

业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。

数据清洗：

一些字段可能会有异常取值，即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。

一些日志的字段信息可能是多余的，下游不需要使用到这些字段做分析，同时也为了节省存储开销，需要删除这些多余的字段信息。

一些日志的字段信息可能包含用户敏感信息，需要做脱敏处理。如用户姓名只保留姓，名字用'*'字符替换。

数据存储：

清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。

数据分析统计：

数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

数据可视化：

用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据。