⑴ 【科普】企业中,大数据部门的常见组成
在IT公司里,大数据部门的成员,一般可分为4种:(以房子为例)
先用一张图,帮助大家理解一下~~
出道题目,我们公司的大数据部门,目前有这些岗位,你能一一推测出他们的所在位置吗?
【数据应用工程师】、【数据可视化工程师】、【数据可视化设计师】、【数据平台工程师】、【算法工程师】、【数据分析师】
建房子地基(埋在地下)的那群人
他们就是 平台组/架构组 的那群人,他们负责搭建一套大数据的平台架构体系。一般你肉眼看不到他们的产出,但是当某一堵墙壁歪了的时候,或者你进屋打水但水龙头却流不出来水的时候,你就会意识到他们工作的重要性。
平台组的常见发展路径 :
平台初期,很多公司会用自己的服务器搭一个 私有集群 ,将数据维护起来,开始构建数据平台的第一步。这个,也是原始的大数据平台。(当然,现在有很多公司也是直接上云服务器)
当平台进入高速发展期,考虑到不断扩充的数据量和服务器的维护成本上升,很多公司会迁移平台到 云服务 上,比如阿里云,华为云。云服务的选择要解决的是选择平台所提供的服务,成本,数据通道的维护。【我们公司目前正处于这一阶段,选择了云服务。当前,经过考量也正在由阿里云迁移到华为云】
还有一个阶段,你发现云服务的费用太高,虽然省了你很多事,或者是考虑到敏感数据的安全问题(当然,私有集群也不是百分百安全),然后又开始往 私有集群 迁移。这时候,鉴于数据规模,你大概需要一个靠谱的团队,设计网络布局、设计运维规范、架设监控、建立机房,值班团队走起7*24小时随时准备出台。
至此,产生了平台组,真的大数据平台来了 。
建屋子(砌墙盖瓦)的那群人 :
应用组 的那群人,他们负责建设各类系统/应用。他们搬砖砌墙,建好房子,还要铺设各类管道线路,把地基里面的数据抽出来,放在房子里,让用户们推开门就可以享用。
应用组,有哪些应用? :
这块不太好讲。不过,为了尽量让大家看懂,用 从大到小的思路 尝试下:
在整个社会层面,大数据已应用于各行各业,比如:金融行业/地产行业/零售行业/医疗行业/农业/物流行业/城市管理等等……有哪一个行业,可以脱离数据而生存?有哪一个行业可以不依赖数据而发展?
那么,在一个企业中,数据必然是无法避免的会应用到,不管是1个员工的皮包公司,还是10万员工的跨国集团。so,我们来讲讲具体有哪些应用呢?
一般而言,数据应用分为3类:分别是面向企业内部, 面向企业外部以及面向用户这三种。
这里,鉴于今天的主题,我们只讲 面向企业内部 的大数据应用。
进入正题了:
企业内部产品中,可以从2个角度来看待具体有哪些应用:
策略类 的方向较多,常见的有:
这些有时候会有部分或全部不划在大数据部门下面,但都需要比较规范的数据基础,以及着重与利用数据分析调整产品策略。
做企业内部的大数据应用产品,常常有些心酸的地方:
屋子里面的人 :
产品组 的那群人,主要是一群产品经理(我们公司,目前就半个,由一个分析师兼职着,所以,我们公司没有产品组哦),负责数据类的应用产品设计。他们和上面建房子的工程师们,是紧密的团队关系。鉴于上面对数据应用产品已做了很多阐述,关于他们工作产出的应用具体有哪些,这里就不再赘述。
讲一讲, 数据产品经理 的从业人员得有几个素质:
屋子外面的人 :
分析组 的那群人,一般会有3类:数据分析师、算法工程师 (类似数据挖掘) 、数据科学家 (我们公司没有) 。他们工作的日常:为你提取一份EXCEL数据、制作一张报表数据、用算法模型分析一个问题、训练出一套算法模型等等工作,但不局限于此。
他们常常需要与各个部门打交道,接待很多业务的数据需求,与业务关系紧密。在一些公司,分析组不一定都设置在大数据部门下,他们可能分散在不同的业务部门,为各自部门服务。但是,他们终究也是需要从大数据平台来获取所需的业务数据,做分析处理,得到相关结论~
据我所知,我们公司的业务部门,(好像)也是有自己的分析人员。
简单概括一下这些职位的特点:
【数据分析师】
业务线,负责通过数据分析手段发现和分析业务问题,为决策作支持。
【算法工程师】/【数据挖掘工程师】
偏技术线,负责通过建立模型、算法、预测等提供一些通用的解决方案,当然也有针对某业务的。
【数据科学家】
数据科学家是使用专业知识构建机器学习模型,再以此做出预测并对关键业务问题进行解答的专家。数据科学家仍然需要对数据进行清洗、分析以及可视化处理,这一点和数据分析师是一致的。不过数据科学家在专业技能方面有者更深的研究,涉猎范围也更广,同时他们也能够对机器学习模型进行训练与优化。
至此,整篇文章,已经讲差不多了。
最后总结下,本质上,围绕房子的这4拨人,做的是同一件事情: 提供数据服务 。
完结~
⑵ 大数据运维岗位是干什么的
大数据运维指互联网运维,通常是属于技术部门。其职责:负责大数据平台的稳定性和性能优化;大数据项目的运维亏颂工作;针对业务的需求制定运闷空陵维解决方案;完善监控报警系统,对业务关键指标进行监控蚂戚和报警通知;负责大数据的方案架构及方案的落地;负责集群网络架构及机器的管理等
⑶ 一个完整的大数据开发部门需要什么人人员构成是怎么样的
大数据开发通常需要编程技能,根据我3年多的编程经验,编程技能将带来更好的版开发。大数据开权发一般有数据仓库开发、数据分析、数据开发三大类,每一类都需要不同的技能。但他们都有很多共同点。一般技能: 除了基本的 sql 能力,包括使用传统数据库如 mysql 和 oracle,以及分布式数据库如 hive 和 hbase 的能力,其他的,如 maprece 和 spark,会更好。可以使用聚类,聚类除了问题具有一定的解聚类问题的能力。数据仓库开发: 能够编号仓库建模、维表、事实表、主题表、星型模型、雪花型模型等,熟悉业务、全局视图,建立数据仓库。数据开发: 数据开发有离线开发和实时开发,这种后端开发比较偏向于 java 按需开发,加上程序的日常维护。数据分析: 这需要很强的 sql 技能,如果你能在数据分析中使用 python 会更好。要掌握像 sqoop 和 kettle 这样的常用 etl 工具,请使用报告系统。当然,如果你想学习,你可以学得更深入。毕竟,在通常的发展过程中,特别是小公司的分工不明确,这些技能或多或少都是我们需要掌握的。一个人可以成为几个人,就像一个全能工程师。
⑷ 大数据开发人员到企业干些什么工作
应该看公司实际做的事情,每个公司也是叫法各不同。大数据现在相关的职位应该分为三种:开发(后台开发【后台开发又包括平台开发和数据应用开发】和可视化)、数据分析工程师和算法工程师。
⑸ 大数据架构师岗位的主要职责概述
职责:
1、负责大数据平台及BI系统框架设计、规划、技术选型,架构设计并完成系统基础服务的开发;
2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储,业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;
3、开发大数据平台的核心代码,项目敏捷开发流程管理,完成系统调试、集成与实施,对每个项目周期技术难题的解决,保证大数据产品的上线运行;
4、负责大数据平台的架构优化,代码评审,并根据业务需求持续优化数据架构,保证产品的可靠性、稳定性;
5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现,分享技术经验;
6、有效制定各种突发性研发技术故障的应对预案,有清晰的隐患意识;
7、深入研究大数据相关技术和产品,跟进业界先进技术;
任职要求
1、统计学、应用数学或计算机相关专业大学本科以上学历;
2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点),无埋点方案等,有埋点SDK独立开发经验者优选;
3、熟悉Hadoop,MR/MapRece,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具备实际项目设计及开发经验;
4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程
5、熟悉Liunx/Unix操作系统,能熟练使用shell/perl等脚本语言,熟练掌握java/python/go/C++中一种或多种编程语言
6、具备一定的算法能力,了解机器学习/深度学习算法工具使用,有主流大数据计算组件开发和使用经验者优先
7、熟悉大数据可视化工具Tableau/echarts
8、具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;
职责:
根据大数据业务需求,设计大数据方案及架构,实现相关功能;
搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;
负责大数据业务的设计和指导具体开发工作;
负责公司产品研发过程中的数据及存储设计;
针对数据分析工作,能够完成和指导负责业务数据建模。
职位要求:
计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;
精通大数据主流框架(如Hadoop、hive、Spark等);
熟悉MySQL、NoSQL(MongoDB、Redis)等主流数据库,以及rabbit MQ等队列技术;
熟悉hadoop/spark生态的原理、特性且有实战开发经验;
熟悉常用的数据挖掘算法优先。
职责:
1、大数据平台架构规划与设计;
2、负责大数据平台技术框架的选型与技术难点攻关;
3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作,根据系统的业务需求,能够指导开发团队完成实施工作;
4、负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为相关的业务提供大数据底层平台的支持和保证;
5、培养和建立大数据团队,对团队进行技术指导。
任职要求:
1、计算机相关专业的背景专业一类院校毕业本科、硕士学位,8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);
2、精通Java,J2EE相关技术,精通常见开源框架的架构,精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;
3、精通SQL和Maprece、Spark处理方法;
4、精通大数据系统架构,熟悉业界数据仓库建模方法及新的建模方法的发展,有DW,BI架构体系的专项建设经验;
5、对大数据体系有深入认识,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术,并能设计相关数据模型;
6、很强的学习、分析和解决问题能力,可以迅速掌握业务逻辑并转化为技术方案,能独立撰写项目解决方案、项目技术文档;
7、具有较强的内外沟通能力,良好的团队意识和协作精神;
8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;
9、具有能源电力行业工作经验者优先。
职责:
1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;
2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;
3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作
5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;
6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。
任职要求:
1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉BI平台、大数据系统相关技术架构及技术标准;
2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;
3.熟悉大数据相关技术:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉制造企业信息化系统及相关数据库技术;
5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;
6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;
7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。
职责:
1.负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。
2.负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。
3.结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。
4.对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。
任职要求:
1.熟悉云计算基础平台,包括linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基础环境,熟悉控制、计算、存储和网络;
2.掌握大型分布式系统的技术栈,如:CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。
3.精通Java,Python,Shell编程语言,精通SQL、NoSQL等数据库增删改查的操作优化;
4.PB级别实战数据平台和生产环境的实施、开发和管理经验;
5.熟悉Docker等容器的编排封装,熟悉微服务的开发和日常调度;
6.计算机、软件、电子信息及通信等相关专业本科以上学历,5年以上软件工程开发经验,2年以上大数据架构师工作经验。
职责描述:
1、负责集团大数据资产库的技术架构、核心设计方案,并推动落地;
2、带领大数据技术团队实现各项数据接入、数据挖掘分析及数据可视化;
3、新技术预研,解决团队技术难题。
任职要求:
1、在技术领域有5年以上相关经验,3年以上的架构设计或产品经理经验;
2、具有2年以上大数据产品和数据分析相关项目经验;
3、精通大数据分布式系统(hadoop、spark、hive等)的架构原理、技术设计;精通linux系统;精通一门主流编程语言,java优先。
岗位职责:
1、基于公司大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。
2、负责制定大数据应用系统的数据安全管控体系和数据使用规范。
3、作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。
4、负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。
5、负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。
任职资格:
1、计算机、数学或相关专业本科以上学历,5—20xx年工作经验,具有大型系统的技术架构应用架构数据架构相关的实践工作经验。
2、有分布式系统分析及架构设计经验,熟悉基于计算集群的软件系统架构和实施经验。
3、掌握Hadoop/Spark/Storm生态圈的主流技术及产品,深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。
4、掌握Mysql/Oracle等常用关系型数据库,能够对SQL进行优化。
5、熟悉分布式系统基础设施中常用的技术,如缓存(Varnish、Memcache、Redis)、消息中间件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有实践经验者优先。
6、熟悉Linux,Java基础扎实,至少3—5年以上Java应用开发经验,熟悉常用的设计模式和开源框架。
岗位职责:
1、负责公司大数据平台架构的技术选型和技术难点攻关工作;
2、依据行业数据现状和客户需求,完成行业大数据的特定技术方案设计与撰写;
3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享;
4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作;
5、参与公司大数据项目前期的架构设计工作;
任职要求:
1、计算机及相关专业本科以上,5年以上数据类项目(数据仓库、商务智能)实施经验,至少2年以上大数据架构设计和开发经验,至少主导过一个大数据平台项目架构设计;
2、精通大数据生态圈的技术,包括但不限于MapRece、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先;
3、优秀的方案撰写能力,思路清晰,逻辑思维强,能够根据业务需求设计合理的解决方案;
4、精通ORACLE、DB2、mySql等主流关系型数据库,熟悉数据仓库建设思路和数据分层架构思想;
5。熟练掌握java、R、python等1—2门数据挖掘开发语言;
6。熟悉云服务平台及微服务相关架构思想和技术路线,熟悉阿里云或腾讯云产品者优先;
7、有烟草或制造行业大数据解决方案售前经验者优先;
8、能适应售前支持和项目实施需要的短期出差;
岗位职责:
1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化;
2、负责解决项目上线后生产环境的各种实际问题,保障大数据平台在生产上的安全、平稳运行;
3、推动优化跨部门的业务流程,参与业务部门的技术方案设计、评审、指导;
4、负责技术团队人员培训、人员成长指导。
5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公,月底项目结束后在总部公司办公
任职要求:
1、熟悉linux、JVM底层原理,能作为技术担当,解决核心技术问题;
2、3年以上大数据平台项目架构或开发经验,对大数据生态技术体系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和实践,注重文档管理、注重工程规范优先;
4、熟悉Java后台开发体系,具备微服务架构的项目实施经验,有Dubbo/Spring cloud微服务架构设计经验优先;
5、性格开朗、善于沟通,有极强的技术敏感性和自我驱动学习能力,注重团队意识。
职责描述:
1、负责大数据平台框架的规划设计、搭建、优化和运维;
2、负责架构持续优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;
3、负责大数据相关新技术的调研,关注大数据技术发展趋势、研究开源技术、将新技术应用到大数据平台,推动数据平台发展;
4、负责数据平台开发规范制定,数据建模及核心框架开发。
任职要求:
1、计算机、数学等专业本科及以上学历;
2、具有5年及以上大数据相关工作经验;
3、具有扎实的大数据和数据仓库的理论功底,负责过大数据平台或数据仓库设计;
4、基于hadoop的大数据体系有深入认识,具备相关产品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)项目应用研发经验,有hadoop集群搭建和管理经验;
5、熟悉传统数据仓库数据建模,etl架构和开发流程,使用过kettle、talend、informatic等至少一种工具;
6、自驱力强、优秀的团队意识和沟通能力,对新技术有好奇心,学习能力和主动性强,有钻研精神,充满激情,乐于接受挑战;
⑹ 大数据上班都干什么
不同岗位工作内容不同:
1、大数据项目经理
工作内容:项目需求、进度、质量、成本管理。
2、大数据开发工程师
工作内容:主要是基于Hadoop、Spark等平台上面进行开发,各种开源技术框架平台很多,需要看企业实际的选择是什么,但目前Hadoop、Spark仍然占据广大市场。
3、大数据产品经理
工作内容:大数据相关产品规划设计,需要与需求部门及技术部门沟通协调。
4、数据分析师
工作内容:收集,处理和执行统计数据分析;运用工具,提取、分析、呈现数据,实现数据的商业意义,需要业务理解和工具应用能力。
大数据发展前景
根据数据显示,大数据行业的岗位每年在以超过20%的速度递增着,这样来看的话很自然地就会产生大量的岗位机会,并且可以相信的是随着行业快速发展,岗位也随着企业的业务增长不断增多,要知道现在各大高校都开设了新的与大数据相结合的课程,未来大数据发展肯定会越来越好。
⑺ 大数据需要哪些人才_大数据人才需要具备的能力有哪些
大数据需要以下六类人才含让:
一、大数据系统研发工程师。
这一专业人才负责大数据系统研发,包括大规模非结构化数据业务模型构建、大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等,同时,还要负责数据集群的日常运作和系统的监测等,这一类人才是任何构设大数据系统的机构都必须的。
二、大数据应用开发工程师。
此类人才负责搭建大数据应用平台以及开发分析应用程序,他们必须熟悉工具或算法、编程、优化以及部署不同的MapRece,他们研发各种基于大数据技术的应用程序及行业解决方案。其中,ETL开发者是很抢手的人才,他们所做的是从不同的源头抽取数据,转换并导入数据仓库以满足企业的需要,将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库,成为联机分析处理、数据挖掘的基础,为提取各类型的需要数据创造条件。
三、大数据分析师。
此类人才主要从事数据挖掘工作,运用算法来解决和分析问题,让数据显露出真相,同时,他们还推动数据解决方案的不断更新。随着数据集规模不断增大,歼清企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapRece、Pig等的需求将持续增长,具备Hadoop框架经验的技术人员是最抢手的大数据人才,他们所从事的是热门的分析师工作。
四、数据可视化工程师。
此类人才负责在收集到的高质量数据中,利用图形化的工具及手段的应用,清楚地揭示数据中的复杂信息,帮助用户更好地进行大数据应用开发,如果能使用新型数据可视化工具如Spotifre,Qlikview和Tableau,那么,就成为很受欢迎的人才。
五、数据安全研发人才。
此类人才主要负氏老前责企业内部大型服务器、存储、数据安全管理工作,并对网络、信息安全项目进行规划、设计和实施,而对于数据安全方面的具体技术的人才就更需要了,如果数据安全技术,同时又具有较强的管理经验,能有效地保证大数据构设和应用单位的数据安全,那就是抢手的人才。
六、数据科学研究人才。
数据科学研究是一个全新的工作,够将单位、企业的数据和技术转化为有用的商业价值,随着大数据时代的到来,越来越多的工作、事务直接涉及或针对数据,这就需要有数据科学方面的研究专家来进行研究,通过研究,他们能将数据分析结果解释给IT部门和业务部门管理者听,数据科学专家是联通海量数据和管理者之间的桥梁,需要有数据专业、分析师能力和管理者的知识,这也是抢手的人才。
⑻ 大数据时代十大热门IT岗位_大数据岗位有哪些
大数据时代十大热门IT岗位
大数据时代十大热门IT岗位,新的想法诞生新的技术,从而造出许多新词,云计算、大数据、BYOD、社交媒体、3D打印机、物联网在互联网时代,各种新词层出不穷,令人应接不暇。这些新的技术、新兴应用和对应的IT发展趋势,使得IT人必须了解甚至掌握最新的IT技能。另一方面,云计算和大数据乃至其他助推各个行业发展的IT基础设施的新一轮部署与运维,都将带来更多的IT职位和相关技能技术的要求。
毫无疑问,这些新趋势的到来,会诞生一批新的工作岗位,比如数据挖掘专家、移动应用开发和测试、算法工程师,商业智能分析师等,同时,也会强化原有岗位的新生命力,比如网络工程师、系统架构师、咨询顾问、数据库管理与开发等等。下面分别为大家介绍着十大IT技能所体现的工作岗位:
一、算法工程师
何万青博士曾经介绍把一件事做快做好的三种方法,其中就提到过“提高流水线效率、更好的算法和更短的代码关键路径。”可以看出算法在系统效率中的轿碰重要地位。算法是让机器按照人类设想的方式去解决问题,算法很大程度上取决于问题类型和工程师对机器编程的理解,其效率的高低与算法息息相关。
在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。在大数据时代,算法的功能和作用得到进一步凸显。比如针对公司搜索业务,开发搜索相关性算法、排序算法。对公司海量用户行为数据和用户意图,设计数据挖掘算法。
算法工程师,根据研究领域来分主要有音频/视频算法处理、图像技术方面的二维信息算法处理和通信物理层、雷达信号处理、生物医学信号处理等领域的一维信息算法处理。另外数据挖掘、互联网搜索算法这些体现大数据发展方向的算法,在近几年越来越流行,而且算法工程师也逐渐朝向人工智能的方向发展。
二、商业智能分析师
算法工程师延伸出来的商业智能,尤其是在大数据领域变得更加火热。IT职业与咨询服务公司Bluewolf曾经发布报告指出,IT职位需求增长最快的是移动、数据、云服务和面向用户的技术人员,其中具体的职位则包括有商业智能分析师一项。
商业智能分析师往往需要精通数据库知识和统计分析的能力,能够使用商业智能工具,识别或监控现有的和潜在的客户。收集商业情报数据,提供行业报告,分析技术的发展趋势,确定市场未来的产品开发策略或改进现有产品的销售。
商业智能和逻辑分析技能在大数据时代显得特别重要,拥有商业知识以及强大的数据和数学分析背景的IT人才,在将来的IT职场上更能获得大型企业的青睐。不过这些技能并不是一般人都能掌握的,一些公司目前正在招聘统计学家并教授他们有关技术和商业的知识。
三、数据挖掘工程师
数据挖掘工程师,也可以叫做“数据挖掘专家”。数据挖掘是通过分析每个数据,从大量数据中寻找其规律的技术。数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据,做出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,做出正确的决策。
数据挖掘专家或者说数据挖掘工程师掌握的技能,能够为其快速创造财富。当年亚马逊的首位数据挖掘工程师大卫·赛林格(DavidSelinger)创办的数据挖掘公司,将类似于亚马逊的产品推荐引擎系统销售给在线零售和广告销售商,而这种产品推荐引擎系统,也成为亚马逊有史塌帆中以来最赚钱的工具。数据挖掘的价值由此可见一斑。
四、咨询顾问(专家)
任何业务部门和任何行业企业,都有IT系统在背后默默无闻地支撑着。在云计算大数据时代,业务面临的挑战和机遇也会给IT系统带来更多要求。在这种情况下,IT系统的规划部署和运维,都要有更为精通的专业人士才能胜任,并满足面向未来大数据分析、云计算服务应用的需要。
纽约蒙特法沃医疗中心(center)的副主席杰克-沃夫(JackWolf)曾经表示,他寻求不仅会建立和使用系统而且还会给予其他员工技术支持的新员工,他说:"新的系统意味着你必须有更多的咨询台来处理更多的咨询量。"当然,这里体现的主要是某个系统的技术支持的功能,但管中规豹我们不难发现,无论是部署初期的物料采购还是运维过程中的金玉良言,都凸显出这种技术咨询顾问的重要性。
五、网络工程师
网络工程师可以说是一个“绿色长青”的职业,网络技术一直以来就处于团山急需之中,美国人力资源公司罗勃海佛国际(RobertHalf)第三季度IT招聘指数和技能报告指出,网络管理占总需求技能排名中的第二位。对于云计算时代来说,网络在云资源池中(计算、存储、网络)更是扮演着更为重要的作用。
另一方面,IPv6标准、物联网、移动互联等蓬勃发展,使得对于网络工程师尤其是新型网络工程师(移动、IPv6、云计算方向)的人才和技能要求也越来越多。网络工程师也因此而可以细分成多个发展方向,相应的技能要求其侧重也有所不同。比如网络安全、网络存储、架构设计、移动网络等等。
六、移动应用开发工程师
移动应用开发,会随着移动互联网时代的到来变得更受追捧。截至2012年底我国已经有10亿手机用户,移动智能终端用户超过4亿,在移动支付、移动购物、移动旅游、移动社交等方面涌现了大量的移动互联网游戏、应用和创业公司。
移动平台智能系统较多,但真正有影响力的也不外乎iOS、Android、WP、Blackberry等。大量原来PC和互联网上的信息化应用、互联网应用均已出现在手机平台上,一些前所未见的新奇应用也开始出现,并日渐增多。
移动应用开发,由于存有多个平台系统,因此不同的平台开发者其所面临的机遇和挑战也不尽相同。一个很明显的例子就是,当初由Google公司和开放手机联盟领导及开发的基于Linux的安卓系统,在开源之后就给广大开发者(商)带来巨大商机,而坚定选择iOS平台的的开发工程师,也通过苹果生态系统的不断扩建和智能设备的高市场占有,使得较早的一批开发者都赚得盆满钵满。不过在国内由于用户习惯、产业环境和版权保护的问题,移动应用开发者并没有因此而获得相应的收益。
七、软件工程设计师
近年IT业界逐渐涌现出一股软件定义网络(SDN)、软件定义数据中心、软件定义存储(SDS)和软件定义服务器(MoonShot)等浪潮,大有软件定义未来一切IT基础设施的趋势。
PaaS、SaaS、数据挖掘和分析、数据管理和监控、虚拟化、应用开发等等,都是软件工程师大展身手的好舞台。相应的,这些技术领域也对软件工程师的要求会更高,尤其是虚拟化和面向BYOD、云计算、大数据等应用的开发和管理,都需要有更高深的技术支撑。
和算法工程师有点类似的地方在于,软件工程师也需要注重设计模式的使用,一位优秀的工程师通常能识别并利用模式,而不是受制于模式。工程师不应让系统去适应某种模式,而是需要发现在系统中使用模式的时机。
八、数据库开发和管理
数据库开发和管理在大数据时代显得尤为重要,相关的数据库管理、运维和开发技术,将成为广大BI、大型企业和咨询分析机构特别看重的技能体现。代表着更多类型(尤其是非结构化类型)的海量数据的涌现,要求我们实时采集、分析、传输这些数据集,在对基础设施提出严峻挑战的同时,也特别强调了数据库开发和管理人员的挑战。
比如分布式的、面向海量数据管理的数据库系统之一NoSQL,就是面向大数据领域的非关系型数据库的流行平台,高可用、大吞吐、低延迟、数据安全性高等应用特点成为了很多企业的看重的特点,并希望有足够多的优秀IT开发人员深度开发NoSQL系统,解决对存储的扩容、宕机时长、平滑扩容、故障自动切换等问题的困恼。
另外,更为知名的Hadoop分布式数据库HBase的数据管理,需要借助HRegion、HMaster、HClient组成的体系结构从整体上管理数据。这些也都需要有对Hadoop深刻理解和业务的精通才能胜任。而除此以外的大数据的存储管理、内存计算、包括基于这些应用上的平台开发等等,也得会越来越受市场欢迎。
九、系统架构师
去年三星首席系统架构师吉姆·莫加德(JimMergard)跳槽至苹果,属于近期比较大的系统架构师人事变动,这种变动也说明了当今对于系统架构师的高度重视和认可。
众所周知,云计算和大数据的出现,使得传统的数据中心基础设施难以胜任;另一方面,日益激烈的市场竞争和移动互联等商机的出现,势必会给企业业务带来深刻变革。这种变革和IT架构转型,都会牵扯到IT系统架构这个核心问题。相比之前介绍的那些IT技能和所对应的岗位,系统架构师的规划部署能力显得尤为重要,它牵扯的是整个面而不是某个领域某个点的痛点。
十、系统安全师
同样的,网络、计算、存储还是系统架构,也都需要关注安全问题,而安全在现在的云计算环境下,个人隐私和企业敏感数据的保护也不断被强化。
在当前很多企业都收缩IT安全预算开支后,还不断面临着增强的合规要求等问题。企业们都在考虑是否应当将某些IT运营交给云端服务提供商处理。实际上,每个人都深感压力,预算不够地情况下还要尽力防护数据地安全,特别是中小型企业,这也就意味着企业需要将部分IT运转外包给第三方以减少资金和人力方面地投资。
即使不采用外包的形式,无论个人还是企业都会更加注重安全,因为“安全”本身是没有行业限制和划分的,尤其是企业在构建云计算环境、提交或者收集海量数据进行处理分析、存储和传输等等一系列环节,都会面临新的挑战。这种挑战势必会需要有更多更专业的技术人才帮助解决这些问题。相比传统来说,系统安全师将更多的会结合具体的业务展开,而根植于系统平台和底层基础设施的系统安全,则更多的会出现在运营