1. 大数据开发工程师 就业和发展前景
大数据就业前景
伴随着大数据技术的成熟，大数据应用的普及和发展才刚刚开始，我们预计未来二十年，甚至更长一段时间都是大数据黄金发展阶段，相关的行业将引来巨大的发展机遇。大部分行业都需要，市场、营销、运营相关的需求很多。大数据不是职位，学完大数据认证后你可以从事大数据挖掘专家，高级行业分析师，大数据业务架构师，大数据架构师，大数据算法工程师，大数据开发工程师，大数据运维工程师。不管是国内还是国外，大数据相关的人才都是供不应求的局面。目前市场急需运用大数据分析结果的大数据相关管理人才。
据数联寻英发布《大数据人才报告》显示，目前全国的大数据人才仅46万，未来3-5年内大数据人才的缺口将高达150万。
据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示，研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大，而数据分析人才最为稀缺。领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。根据中国商业联合会数据分析专业委员会统计，未来中国基础性数据分析人才缺口将达到1400万，而在BAT企业招聘的职位里，60%以上都在招大数据人才。
大数据就业方向
1. Hadoop大数据开发方向
市场需求旺盛，大数据培训的主体，目前IT培训机构的重点。
对应岗位：大数据开发工程师、爬虫工程师、数据分析师等。
2. 数据挖掘、数据分析&机器学习方向
学习起点高、难度大，市面上只有很少的培训机构在做。
对应岗位：数据科学家、数据挖掘工程师、机器学习工程师等。
3. 大数据运维&云计算方向
市场需求中等，更偏向于linux、云计算学科。
对应岗位：大数据运维工程师
2. 云计算大数据专业可以做什么工作 主要有这些岗位
在当前的大数据时代背景下，选择大数据专业是不错的选择，目前我国这方面人才紧缺，那么大数据有哪些工作岗位呢？
从大的岗位划分上来看，当前大数据岗位可以分为开发岗、算法岗（数据分析）、运维岗等，开发岗的任务涉及到两大方面，其一是完成业务实现，其二是完成数据生产，目前很多传统软件开发任务正在逐渐向大数据开发过渡，这也导致当前大数据开发岗的人才需求量更大一些。从事大数据开发岗，还需要重点学习云计算相关的知识，尤其是PaaS（平台即服务）。
大数据开发岗位是当前人才需求量比较大的岗位之一，不论是本科生还是研究生，当前选择大数据开发岗位会有相对较大的选择空间。大数据开发岗位分为平台研发岗位和行业场景开发岗位两大类，通常大数据平台研发岗位对于从业者的要求相对比较高，属于研发级岗位，而大数据行业应用场景开发则相对要容易一些。
大数据专业是一个比较典型的交叉学科，涉及到的内容包括数学、统计学和计算机三大学科，所以学习的内容还是比较多的，如果不能做好一个系统的学习规划，很容易导致学得杂而不精，这对于就业会产生一定的负面影响。所以，本科期间应该选择一个主攻方向，围绕这个主攻方向来组织知识结构和提升实践能力。
众所周知大数据的方向主要分三个：1、大数据开发方向：涉及的岗位诸如大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等；2、数据挖掘、数据分析和机器学习方向：涉及的岗位诸如大数据分析师、大数据高级工程师、大数据分析师专家、大数据挖掘师、大数据算法师等；3、大数据运维和云计算方向：涉及的岗位诸如大数据运维工程师等。
由此可见，大数据的就业岗位是非常多的，而且只要能熟练掌握或者精通一门，就能取得非常不错的成绩。甚至在该方向能独当一面的话，那个人价值就不言而喻了。
3. 大数据运维工程师具体做什么
事件管理：目标是在服务出现异常时尽可能快速的恢复服务，从而保障服务的可用性;同时深入分析故障产生的原因，推动并修复服务存在的问题，同时设计并开发相关的预案以确保服务出现故障时可以高效的止损。
问题发现：设计并开发高效的监控平台和告警平台，使用机器学习、大数据分析等方法对系统中的大量监控数据进行汇总分析，以期在系统出现异常的时候可以快速的发现问题和判断故障的影响。
问题处理：设计并开发高效的问题处理平台和工具，在系统出现异常的时候可以快速/自动决策并触发相关止损预案，快速恢复服务。
问题跟踪：通过分析问题发生时系统的各种表现(日志、变更、监控)确定问题发生的根本原因，制定并开发预案工具。
变更管理：以可控的方式，尽可能高效的完成产品功能的迭代的变更工作。
配置管理：通过配置管理平台(自研、开源)管理服务涉及到的多个模块、多个版本的关系以及配置的准确性。
发布管理：通过构建自动化的平台确保每一次版本变更可以安全可控地发布到生产环境。
容量管理：在服务运行维护阶段，为了确保服务架构部署的合理性同时掌握服务整体的冗余，需要不断评估系统的承载能力，并不断优化之。
容量评估：通过技术手段模拟实际的用户请求，测试整个系统所能承担的最大吞吐;通过建立容量评估模型分析压力测试过程中的数据以评估整个服务的容量。
容量优化：基于容量评估数据，判断系统的瓶颈并提供容量优化的解决方案。比如通过调整系统参数、优化服务部署架构等方法来高效的提升系统容量。
架构优化：为了支持产品的不断迭代，需要不断的进行架构优化调整。以确保整个产品能够在功能不断丰富和复杂的条件下，同时保持高可用性。
4. 大数据所从事什么工作
大数据有各方面的工作，有需要用到高深的技术的，也有简单的工作，主要你愿回意并且有决心从事大数据相答关工作，不管你先前读什么专业，一定能找到适合你的切入点，进入大数据行业工作。
大数据相关的工作分为几大类：大数据研发、大数据开发、大数据分析、大数据运维。
如果你想从事偏技术型的工作，至少要有开发语言作为支撑，比如Java或python，工作的选择也更宽泛并且都是企业所要求的核心岗位，对以后的发展很有帮助。
5. 大数据运维的主要工作内容是什么
大数据运维，这里指互联网运维，通常属于技术部门，与研发、测试、系统管理同为互专联网产属品技术支撑的4大部门，这个划分在国内和国外以及大小公司间都会多少有一些不同。
一个互联网产品的生成一般经历的过程是：产品经理（proct manager，非技术部）需求分析、研发部门开发、测试部门测试、运维部门部署发布以及长期的运行维护。
一般来讲国内的互联网运维负责软件测试交付后的发布和管理，其核心目标是将交付的业务软件和硬件基础设施高效合理的整合，转换为可持续提供高质量服务的产品，同时最大限度降低服务运行的成本，保障服务运行的安全。
6. 尚硅谷的大数据和大数据运维有什么区别
大数据运维和大数据开发是两种不一样的岗位，
大数据开发是对数据产品进行开发，需专要对这些大属数据工具操作数据非常熟练。
而大数据运维是对子承载数据的那些组件进行维护，只需要监控那些组件是否在运转机器的性能是否稳定
7. 大数据运维工程师的具体职责描述
大数据运维工程师需要负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化。下面是我为您精心整理的大数据运维工程师的具体职责描述。
大数据运维工程师的具体职责描述1
职责：
1、负责数据平台的运维管理工作(部署、监控、优化、故障处理);
2、负责Hadoop/Spark/Flink/Elasticsearch/Kafka等系统的架构审核、容量规划、成本优化;
3、负责大数据平台的用户管理、权限分配、资源分配;
4、参与数据挖掘、机器学习的平台的设计、并给出可执行的运维方案;
5、参与数据平台的相关工具开发(包括自动化部署、监控、ETL等);
6、深入理解数据平台架构，发现并解决故障隐患及性能瓶颈;
7、ETL工具、调度工具、关系型数据库的运维。
任职资格：
1、本科以上学历，计算机软件相关专业;
2、1年以上大数据相关组件运维经验(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP维护经验，3年以上系统运维相关经验;
3、深入理解Linux系统，能独立部署开源软件，熟练掌握一门以上脚本语言(shell/perl/python等)，熟悉python开发语言优先;
4、逻辑思维能力强，做事有条理，责任心强，工作积极主动，执行力强，有良好的团队协作意识。
大数据运维工程师的具体职责描述2
职责
1. 负责大数据ETL系统，运维及保障服务稳定可用;
2. 负责数据采集交换方案以及联调测试;
3. 负责采集交换任务的评审和上线;
4. 负责及时排除ETL流程故障，形成知识库，完善运维文档;
5. 负责监控和优化ETL的性能,持续性地提出改进自动化运维平台建议
技能要求
1. 计算机科学或相关专业本科及以上学历;
2. 熟悉Linux系统,熟练编写shell/perl/python一种或多种脚本语言;
3. 熟悉Hive、Hadoop、MapRece集群原理，有hadoop大数据平台运维经验者优先;
4. 熟悉数据库的性能优化、SQL调优，有相应经验;
5. 抗压能力强，有强烈的责任心，良好的沟通能力、学习能力及团队合作能力。
大数据运维工程师的具体职责描述3
职责：
1、负责分布式大数据平台产品的运维和运维开发，保证其高可用和稳定性;
2、负责大数据系统架构的可运维性设计、容量规划、服务监控，持续优化服务架构、集群性能;
3、通过技术手段控制和优化成本，通过自动化工具及流程提升大数据平台运维效率;
4、为项目开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;
任职资格：
1、三年以上大数据运维相关工作经验，有大型互联网公司工作经验者优先，全日制本科及以上学历;
2、熟练掌握至少一门开发语言，有Java或Python语言开发经验优先;
3、精通Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;
4、熟悉Mysql等常用关系数据库，熟练编写SQL语句，有分布式nosql数据库应用、性能调优经验优先;
5、熟悉Linux环境，能够熟悉使用shell脚本;
6、对大数据技术有强烈兴趣，有志于往大数据方向深层次发展;
7、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;
8、具备较好的沟通能力、主动性及责任感。
大数据运维工程师的具体职责描述4
职责：
1、负责大数据集群的日常维护、监控、异常处理等工作，保障集群稳定运行;
2、负责大数据批处理管理以及运维;
3、负责大数据集群的用户管理、权限管理、资源管理、性能优化等;
4、深入理解数据平台架构，发现并解决重大故障及性能瓶颈，打造一流的数据平台;
5、跟进大数据前沿技术，不断优化数据集群;
6、有华为大数据平台运维经验优先;
岗位要求：
1、1年以上大数据运维或开发经验;
2、有良好的计算机和网络基础，熟悉linux文件系统、内核、性能调优，TCP/IP、HTTP等协议;
3、熟悉大数据生态，有相关(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的运维及开发经验;
4、熟练使用shell、python等脚本语言开发相关运维管理工具;
5、良好的文档撰写习惯;
大数据运维工程师的具体职责描述5
职责：
1、负责公司内部及项目中大数据集群的构建，任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;
2、负责集群容量规划、扩容、集群性能优化及日常巡检和应急值守，参与大数据基础环境的架构设计与改进;
3、深入研究大数据业务相关运维技术，探索新的运维技术及发展方向。
任职要求：
1、熟悉Linux基础命令操作，能够独立编写Shell脚本开展日常服务器的运维;
2、熟悉Hadoop生态圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安装与调优;
3、熟悉软硬件设备，网络原理，有丰富的大数据平台部署，性能优化和运维经验;
4、工作认真负责，有较强的学习能力，动手能力和分析解决问题的能力;
5、能够利用各种开源监控工具、运维工具，HA、负载均衡软件完成工作任务;
6、熟悉JVM虚拟机调优;
8. 大数据工程师主要做什么
当前大数据平台开发岗位的附加值还是比较高的，大数据平台开发岗位往往集中在大回型互联网企业，随着云计算逐渐答从IaaS向PaaS过渡，大数据平台开发也会基于行业特点来开发针对性比较强的PaaS平台，这是整合行业资源并搭建技术生态的一个关键。搭建PaaS平台不仅需要掌握大数据知识，同时还需要掌握云计算知识，实际上大数据和云计算本身就有比较紧密的联系，二者在技术体系结构上都是以分布式存储和分布式计算为基础，只不过关注点不同而已。
大数据运维工程师以搭建大数据平台为主，虽然这部分岗位的门槛相对比较低，但是需要学习的内容还是比较多的，而且内容也比较杂，网络知识、数据库管理知识、操作系统(Linux)知识、大数据平台(含开源和商用平台)知识都需要掌握一些，对于实践操作的要求会比较高。
最后，当前大数据工程师往往并不包含专业的数据分析岗位，一般数据分析岗位都会单独列出来，这部分岗位涉及到算法岗、开发岗(实现)和数据呈现岗等，数据分析岗位对于从业者的数学基础要求比较高，同时还需要掌握大量的数据分析工具，当然也离不开Python、Sql等知识。