大数据岗位kpi

A. 大数据架构师岗位的主要职责概述

大数据架构师岗位的主要职责概述 篇1

职责：

1、负责大数据平台及BI系统框架设计、规划、技术选型，架构设计并完成系统基础服务的开发;

2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储，业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;

3、开发大数据平台的核心代码，项目敏捷开发流程管理，完成系统调试、集成与实施，对每个项目周期技术难题的解决，保证大数据产品的上线运行;

4、负责大数据平台的架构优化，代码评审，并根据业务需求持续优化数据架构，保证产品的可靠性、稳定性;

5、指导开发人员完成数据模型规划建设，分析模型构建及分析呈现，分享技术经验;

6、有效制定各种突发性研发技术故障的应对预案，有清晰的隐患意识;

7、深入研究大数据相关技术和产品，跟进业界先进技术;

任职要求

1、统计学、应用数学或计算机相关专业大学本科以上学历;

2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点)，无埋点方案等，有埋点SDK独立开发经验者优选;

3、熟悉Hadoop，MR/MapRece，Hdfs，Hbase，Redis，Storm，Python，zookeeper，kafka，flinkHadoop，hive，mahout，flume，ElasticSearch，KafkaPython等，具备实际项目设计及开发经验;

4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程

5、熟悉Liunx/Unix操作系统，能熟练使用shell/perl等脚本语言，熟练掌握java/python/go/C++中一种或多种编程语言

6、具备一定的算法能力，了解机器学习/深度学习算法工具使用，有主流大数据计算组件开发和使用经验者优先

7、熟悉大数据可视化工具Tableau/echarts

8、具有较强的执行力，高度的责任感、很强的学习、沟通能力，能够在高压下高效工作;

大数据架构师岗位的主要职责概述 篇2

职责：

根据大数据业务需求，设计大数据方案及架构，实现相关功能;

搭建和维护大数据集群，保证集群规模持续、稳定、高效平稳运行;

负责大数据业务的设计和指导具体开发工作;

负责公司产品研发过程中的数据及存储设计;

针对数据分析工作，能够完成和指导负责业务数据建模。

职位要求：

计算机、自动化或相关专业(如统计学、数学)本科以上学历，3年以上大数据处理相关工作经验;

精通大数据主流框架(如Hadoop、hive、Spark等);

熟悉MySQL、NoSQL(MongoDB、Redis)等主流数据库，以及rabbit MQ等队列技术;

熟悉hadoop/spark生态的原理、特性且有实战开发经验;

熟悉常用的数据挖掘算法优先。

大数据架构师岗位的主要职责概述 篇3

职责：

1、大数据平台架构规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作，根据系统的业务需求，能够指导开发团队完成实施工作;

4、负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为相关的业务提供大数据底层平台的支持和保证;

5、培养和建立大数据团队，对团队进行技术指导。

任职要求：

1、计算机相关专业的背景专业一类院校毕业本科、硕士学位，8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);

2、精通Java，J2EE相关技术，精通常见开源框架的架构，精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构;

3、精通SQL和Maprece、Spark处理方法;

4、精通大数据系统架构，熟悉业界数据仓库建模方法及新的建模方法的发展，有DW，BI架构体系的专项建设经验;

5、对大数据体系有深入认识，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术，并能设计相关数据模型;

6、很强的学习、分析和解决问题能力，可以迅速掌握业务逻辑并转化为技术方案，能独立撰写项目解决方案、项目技术文档;

7、具有较强的内外沟通能力，良好的团队意识和协作精神;

8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;

9、具有能源电力行业工作经验者优先。

大数据架构师岗位的主要职责概述 篇4

职责：

1.参与公司数据平台系统规划和架构工作，主导系统的架构设计和项目实施，确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建，搭建不同来源数据之间的逻辑关系，能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立，包括数据采集、接入、分类、开发标准和规范，制定全链路数据治理方案;深入挖掘公司数据业务，超强的数据业务感知力，挖掘数据价值，推动数据变现场景的落地，为决策及业务赋能;

6.定义不同的数据应用场景，推动公司的数据可视化工作，提升公司数据分析效率和数据价值转化。

任职要求：

1.本科以上学历，8年以上软件行业从业经验，5年以上大数据架构设计经验，熟悉BI平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市，了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验，具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感，具备优秀的业务需求分析和报告展示能力，具备制造企业数据分析和数据洞察、大数据系统的架构设计能力，了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力，具备结果导向思维，有相关项目管理经验优先。

大数据架构师岗位的.主要职责概述 篇5

职责：

1.负责产品级业务系统架构(如业务数据对象识别，数据实体、数据属性分析，数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计，从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性，并对系统质量负责。

2.负责云数据平台的架构设计和数据处理体系的优化，推动云数据平台建设和持续升级，并制定云数据平台调用约束和规范。

3.结合行业应用的需求负责数据流各环节上的方案选型，主导云数据平台建设，参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。

4.对云数据平台的关注业内技术动态，持续推动平台技术架构升级，以满足公司不同阶段的数据需求。

任职要求：

1.熟悉云计算基础平台，包括linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基础环境，熟悉控制、计算、存储和网络;

2.掌握大型分布式系统的技术栈，如：CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。

3.精通Java，Python，Shell编程语言，精通SQL、NoSQL等数据库增删改查的操作优化;

4.PB级别实战数据平台和生产环境的实施、开发和管理经验;

5.熟悉Docker等容器的编排封装，熟悉微服务的开发和日常调度;

6.计算机、软件、电子信息及通信等相关专业本科以上学历，5年以上软件工程开发经验，2年以上大数据架构师工作经验。

大数据架构师岗位的主要职责概述 篇6

职责描述：

1、负责集团大数据资产库的技术架构、核心设计方案，并推动落地；

2、带领大数据技术团队实现各项数据接入、数据挖掘分析及数据可视化；

3、新技术预研，解决团队技术难题。

任职要求：

1、在技术领域有5年以上相关经验，3年以上的架构设计或产品经理经验；

2、具有2年以上大数据产品和数据分析相关项目经验；

3、精通大数据分布式系统（hadoop、spark、hive等）的架构原理、技术设计；精通linux系统；精通一门主流编程语言，java优先。

大数据架构师岗位的主要职责概述 篇7

岗位职责：

1、基于公司大数据基础和数据资产积累，负责大数据应用整体技术架构的设计、优化，建设大数据能力开放平台；负责大数据应用产品的架构设计、技术把控工作。

2、负责制定大数据应用系统的数据安全管控体系和数据使用规范。

3、作为大数据技术方案到产品实现的技术负责人，负责关键技术点攻坚工作，负责内部技术推广、培训及知识转移工作。

4、负责大数据系统研发项目任务规划、整体进度、风险把控，有效协同团队成员并组织跨团队技术协作，保证项目质量与进度。

5、负责提升产品技术团队的技术影响力，针对新人、普通开发人员进行有效辅导，帮助其快速成长。

任职资格：

1、计算机、数学或相关专业本科以上学历，5—20xx年工作经验，具有大型系统的技术架构应用架构数据架构相关的实践工作经验。

2、有分布式系统分析及架构设计经验，熟悉基于计算集群的软件系统架构和实施经验。

3、掌握Hadoop/Spark/Storm生态圈的主流技术及产品，深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。

4、掌握Mysql/Oracle等常用关系型数据库，能够对SQL进行优化。

5、熟悉分布式系统基础设施中常用的技术，如缓存（Varnish、Memcache、Redis）、消息中间件（Rabbit MQ、Active MQ、Kafka、NSQ）等；有实践经验者优先。

6、熟悉Linux，Java基础扎实，至少3—5年以上Java应用开发经验，熟悉常用的设计模式和开源框架。

大数据架构师岗位的主要职责概述 篇8

岗位职责：

1、负责公司大数据平台架构的技术选型和技术难点攻关工作；

2、依据行业数据现状和客户需求，完成行业大数据的特定技术方案设计与撰写；

3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享；

4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作；

5、参与公司大数据项目前期的架构设计工作；

任职要求：

1、计算机及相关专业本科以上，5年以上数据类项目（数据仓库、商务智能）实施经验，至少2年以上大数据架构设计和开发经验，至少主导过一个大数据平台项目架构设计；

2、精通大数据生态圈的技术，包括但不限于MapRece、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先；

3、优秀的方案撰写能力，思路清晰，逻辑思维强，能够根据业务需求设计合理的解决方案；

4、精通ORACLE、DB2、mySql等主流关系型数据库，熟悉数据仓库建设思路和数据分层架构思想；

5。熟练掌握java、R、python等1—2门数据挖掘开发语言；

6。熟悉云服务平台及微服务相关架构思想和技术路线，熟悉阿里云或腾讯云产品者优先；

7、有烟草或制造行业大数据解决方案售前经验者优先；

8、能适应售前支持和项目实施需要的短期出差；

大数据架构师岗位的主要职责概述 篇9

岗位职责：

1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化；

2、负责解决项目上线后生产环境的各种实际问题，保障大数据平台在生产上的安全、平稳运行；

3、推动优化跨部门的业务流程，参与业务部门的技术方案设计、评审、指导；

4、负责技术团队人员培训、人员成长指导。

5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公，月底项目结束后在总部公司办公

任职要求：

1、熟悉linux、JVM底层原理，能作为技术担当，解决核心技术问题；

2、3年以上大数据平台项目架构或开发经验，对大数据生态技术体系有全面了解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等；

3、掌握git、maven、gradle、junit等工具和实践，注重文档管理、注重工程规范优先；

4、熟悉Java后台开发体系，具备微服务架构的项目实施经验，有Dubbo/Spring cloud微服务架构设计经验优先；

5、性格开朗、善于沟通，有极强的技术敏感性和自我驱动学习能力，注重团队意识。

大数据架构师岗位的主要职责概述 篇10

职责描述：

1、负责大数据平台框架的规划设计、搭建、优化和运维；

2、负责架构持续优化及系统关键模块的设计开发，协助团队解决开发过程中的技术难题；

3、负责大数据相关新技术的调研，关注大数据技术发展趋势、研究开源技术、将新技术应用到大数据平台，推动数据平台发展；

4、负责数据平台开发规范制定，数据建模及核心框架开发。

任职要求：

1、计算机、数学等专业本科及以上学历；

2、具有5年及以上大数据相关工作经验；

3、具有扎实的大数据和数据仓库的理论功底，负责过大数据平台或数据仓库设计；

4、基于hadoop的大数据体系有深入认识，具备相关产品（hadoop、hive、hbase、spark、storm、 flume、kafka、es等）项目应用研发经验，有hadoop集群搭建和管理经验；

5、熟悉传统数据仓库数据建模，etl架构和开发流程，使用过kettle、talend、informatic等至少一种工具；

6、自驱力强、优秀的团队意识和沟通能力，对新技术有好奇心，学习能力和主动性强，有钻研精神，充满激情，乐于接受挑战；

B. 澶ф暟鎹鏃朵唬浼佷笟绠＄悊鍛樺伐缁╂晥璇勪环浣撶郴鏋勫缓鐮旂┒璁烘枃

澶ф暟鎹鏃朵唬浼佷笟绠＄悊鍛樺伐缁╂晥璇勪环浣撶郴鏋勫缓鐮旂┒璁烘枃

銆銆 鎽樿侊細 闅忕潃鐜颁唬绉戞妧鐨勪笉鏂鍙戝睍锛屼俊鎭鎶鏈鐨勪娇鐢ㄤ娇寰楁暟鎹鎴愪负浜嗕汉浠宸ヤ綔鐨勯噸瑕佹寚鏍囥傝岄殢鐫浼佷笟鍦ㄤ汉鍔涜祫婧愪腑缁╂晥绠＄悊涓庨珮鏂版妧鏈搴旂敤鐨勮秺鍔犵揣瀵嗭紝鏁版嵁鏀鎾戠潃鏁翠釜浼佷笟楂樻晥缁忚惀杩愪綔涓庣＄悊宸ヤ綔銆傛湰鏂囩爺绌跺ぇ鏁版嵁鏃朵唬浼佷笟绠＄悊鍛樺伐缁╂晥璇勪环浣撶郴鐨勬瀯寤烘棬鍦ㄤ负鎻愰珮澶ф暟鎹鏃朵唬浼佷笟浜哄姏璧勬簮鏈嶅姟鑳藉姏锛屼负浼佷笟鍒跺畾鍑哄悎鐞嗐佷汉鎬у寲鐨勫埗搴︽彁渚涘弬鑰冭祫鏂欍

銆銆 鍏抽敭璇嶏細 澶ф暟鎹锛涗紒涓氱＄悊锛涘憳宸ョ哗鏁堣瘎浠蜂綋绯

銆銆浼佷笟绠＄悊鍛樺伐浣滀负浼佷笟缁勬垚鐨勪竴閮ㄥ垎锛屾槸浼佷笟杩愪綔鐨勫熀鏈鍔ㄥ姏鏉ユ簮锛屽悓鏍锋槸浼佷笟鍙戝睍鐨勬牳蹇冩墍鍦ㄣ傝岄殢鐫鎴戝浗浼佷笟鍦ㄨ繎鍑犲勾鐨勯珮閫熷彂灞曪紝鎴戝浗浼佷笟鍐呴儴鐨勭＄悊鏈哄埗涔熷繀椤昏繘琛屽強鏃剁殑鏀归潻锛屼互淇濊瘉浼佷笟鐨勫彲鎸佺画鍙戞с備絾鏄浠庢垜鍥藉綋鍓嶇殑鏈哄埗鏀归潻鎯呭喌鏉ョ湅锛屼富瑕侀棶棰樿〃鐜板湪浼佷笟浜哄姏璧勬簮鐨勫紑鍙戜笌绠＄悊涓缁╂晥鑰冩牳鑳藉姏鐨勪笉瓒充笂銆傚叿浣撹〃鐜颁负鑰冩牳鏂规硶鐨勪笉鍚堢悊銆佽冩牳鏍囧噯鐨勪笉绋冲畾銆佽冩牳浜哄憳绱犺川鐨勪綆涓嬨佷紒涓氶珮灞備笉閲嶈嗙瓑鏂归潰銆

銆銆 涓銆佸ぇ鏁版嵁鏃朵唬涓嬬哗鏁堣冩牳鍐呮兜

銆銆缁╂晥鑰冩牳鏄瀵瑰憳宸ュ伐浣滆屼负涓庡伐浣滅粨鏋滆繘琛屽叏闈銆佺戝︺佺郴缁熺殑缁煎悎鍒嗘瀽锛屽湪涓瀹氱▼搴︽槸鑳藉熷弽鏄犲嚭鍛樺伐鐨勫伐浣滅姸鎬佷互鍙婂伐浣滆兘鍔涖傚洜姝わ紝瓒婃潵瓒婂氱殑浼佷笟娉ㄩ噸瀵逛紒涓氬憳宸ョ哗鏁堣冩牳鐨勫缓璁俱備絾鏄浠庢垜鍥藉綋鍓嶇殑浼佷笟缁╂晥鑰冩牳鐨勫缓璁炬儏鍐垫潵鐪嬶紝闅忕潃鎴戝浗杩涘叆淇℃伅鐨勫ぇ鏁版嵁鏃朵唬锛屼紒涓氱殑鍙戝睍涔熻秺鏉ヨ秺鎶鏈鍖栥佺綉缁滃寲銆備紒涓氶氳繃澶ф暟鎹瀵瑰憳宸ョ哗璇勪环浣撶郴杩涜岀＄悊锛屽彲浠ュ瑰憳宸ユ綔鍦ㄨ兘鍔涜繘琛屾繁鍏ユ寲鎺橈紝澶ф暟鎹鍙浠ラ氳繃鐩稿簲鐨勬暟鎹绋嬪簭锛屽皢鍏鍙哥數瀛愭。妗堜腑鐨勫憳宸ョ哗鏁堣繘琛岀粏鑷寸殑鏁寸悊锛屽苟鏁村悎鍑轰究浜庢寕宸鐨勬暟鎹琛锛屾柟渚垮叕鍙搁珮灞傜殑绠＄悊鍜屾暟鎹鐨勮皟鍙栥傚悓鏃讹紝澶ф暟鎹鐨勫簲鐢锛岃繕鑳藉熶娇寰椾紒涓氬憳宸ヨ兘澶熸洿濂界殑杩涜岀綉缁滀氦娴侊紝鏂逛究浜嗗悇涓閮ㄩ棬涔嬮棿鐨勫崗鍚屽悎浣滐紝鑰岃繖灏变娇寰椾紒涓氬湪杩涜岀哗鏁堢＄悊鐨勯『鍒╄繘琛孾1]銆

銆銆 浜屻佸ぇ鏁版嵁鏃朵唬浼佷笟绠＄悊鍛樺伐缁╂晥鑰冩牳浣撶郴鏋勫缓涓鐨勯棶棰

銆銆锛堜竴锛夌哗鏁堣冩牳浣撶郴鐨勬寚鏍囨瀯寤轰笉瀹屽杽

銆銆鍦ㄤ紶缁熺殑缁╂晥鑰冩牳杩囩▼涓閮芥槸浣跨敤EXCEL绛夊姙鍏杞浠惰繘琛岀畝鍗曠殑鍏鍙镐换鍔℃寚鏍囨暟鎹鐨勭粺璁″伐浣滐紝浣嗘槸杩欑嶅仛娉曞線寰浣垮緱棰嗗煎彧鑳界湅鍒板憳宸ュ湪鏌愪竴鏂归潰鎴栨煇涓鏃跺埢鐨勮〃鐜帮紝闅句互瀵瑰憳宸ヨ繘琛屾暣浣撶殑姒傚喌杩涜屼簡瑙ｏ紝骞朵笖璇ヨ冩牳鎸囨爣鎵璁捐＄殑鑼冨洿涔熸瘮杈冨崟涓锛屽洜姝ゅ叾褰㈡垚鐨勭哗鏁堣冩牳鏈烘瀯涔熸瘮浠风墖闈㈡э紝鍦ㄤ竴瀹氱▼搴︿笂鍏锋湁杈冨己鐨勪富瑙傞殢鎰忔э紝瀛樺湪寰堝氱殑涓嶇‘瀹氬洜绱犮傚綋鍛樺伐瑙勬ā杩囧ぇ锛屾垨鑰呭綋鍑虹幇闇瑕佽皟鍙栧憳宸ユ煇涓闃舵电殑宸ヤ綔琛ㄧ幇鎯呭喌鐨勬椂鍊欙紝寰寰浼氱敱浜庢暟鎹閲忕殑杩囧ぇ锛屽ぇ澶у炲ぇ浜嗙哗鏁堣冩牳鍛樺伐鐨勬暟鎹璋冨彇宸ヤ綔閲忥紝鐢氳嚦鍙鑳戒細瀵艰嚧鍦ㄨ皟鍙栬繃绋嬩腑鍑虹幇涓浜涜や负鎬х殑璇宸銆

銆銆锛堜簩锛夌己灏戦珮灞傜＄悊鐨勬敮鎸佷笌閲嶈

銆銆鍦ㄥ綋涓嬬殑浼佷笟缁╂晥璇勪环浣撶郴涓涔嬫墍浠ュ瓨鍦ㄥ緢澶氱殑婕忔礊锛屽湪寰堝ぇ绋嬪害涓婁笌鍏鍙搁珮灞傜＄悊涓嶉噸瑙嗘湁鍏炽傚湪璁稿氶珮灞傜＄悊浜哄憳鐪嬫潵锛岀哗鏁堣冩牳宸ヤ綔浠呬粎鍙鏄浜哄姏璧勬簮鐨勯棶棰橈紝鍥犳わ紝鍦ㄦ洿澶氱殑鏃跺欏畞鎰垮皢鏃堕棿鏀惧湪宸ヤ綔涓婏紝涔熶笉鎰挎剰杩囧氱殑杩囬棶浜哄姏璧勬簮鐨勭哗鏁堣冩牳闂棰樸備絾鏄浜嬪疄涓婏紝涓涓浼佷笟鐨勫彂灞曠讳笉寮鍛樺伐锛岃屽憳宸ョ殑宸ヤ綔鍔ㄥ姏鏉ユ簮浜庣哗鏁堬紝瀵逛簬缁╂晥鐨勮冩牳缁撴灉鐩存帴褰卞搷鍒颁簡鍛樺伐鐨勫伐浣滅姸鎬侊紝骞朵笖锛岀哗鏁堣冩牳鑳藉熷湪涓瀹氱▼搴︿笂鍙戠幇鍛樺伐鐨勮础鐚浠ュ強浠诲姟瀹屾垚璐ㄩ噺锛屽傛灉涓嶈兘寰楀埌鍏鍙稿厖鍒嗙殑閲嶈嗭紝涔熷皢瀵艰嚧鍛樺伐鐨刞澶ч噺娴佸け銆

銆銆锛堜笁锛夌哗鏁堣冩牳鐨勮掑害鍗曚竴

銆銆寰堝氫紒涓氬湪瀹炴柦缁╂晥鑰冩牳鐨勬椂鍊欙紝寰寰鍙鏄鍏虫敞鍛樺伐鐨勪笟缁╃殑鎴愮哗鐨勫ソ鍧忥紝鍗村拷瑙嗕簡瀵瑰洟闃熺殑鑰冩牳锛岃岃繖鏍风殑鑰冩牳璇勪环寰寰鍦ㄤ竴瀹氱▼搴︿笂缂轰箯鍏姝ｆэ紝浼氳櫄寮卞憳宸ョ殑鈥滃洟闃熸剰璇嗏濓紝鐢氳嚦浼氬湪鍛樺伐蹇冧腑浜х敓鐗虹壊鍚屼簨鍒╃泭锛岀牬鍧忕礌璐ㄥ唴閮ㄧ殑鍗忚皟鍏崇郴锛涘叾娆★紝瀹冧篃浼氫骇鐢熸湪妗舵晥搴旓紝鍑虹幇鍥㈤槦鐨勭煭鏉挎晥鏋滐紝闄嶄綆鏁翠釜鍥㈤槦鐨勫伐浣滆川閲忋傚洜姝わ紝绉戝︾殑缁╂晥鑰冩牳涓嶅簲璇ヤ粎浠呭彧鏄鐪嬩腑涓浜鸿兘鍔涙垨涓浜轰笟缁╋紝鍚屾椂涔熻佸皢鍛樺伐鐨勫钩鏃舵垚缁╄板綍鍦ㄥ唴锛屽皢鍛樺伐鐨勫洟闃熸垚缁╀綔涓鸿冩牳鐨勯噸鐐规柟鍚戜箣涓锛岄氳繃缁煎悎寰楀垎锛屽瑰憳宸ヨ繘琛岀患鍚堟х殑缁╂晥鑰冩牳璇勪环[2]銆

銆銆 涓夈佸ぇ鏁版嵁鏃朵唬浼佷笟绠＄悊鍛樺伐缁╂晥鑰冩牳浣撶郴鏋勫缓鐨勬敼鍠勬帾鏂

銆銆锛堜竴锛夋槑纭鏍囧噯鐨勭哗鏁堣冩牳鍒跺害

銆銆棣栧厛锛岀哗鏁堣冩牳鐨勭洰鐨勪竴瀹氳佹槑纭锛屽苟涓旇缁勭粐鎵鎺ュ彈锛屼笌缁勭粐鐨勬牳蹇冩濇兂鐩哥粨鍚堬紝瑕佽╃粍缁囩殑姣忎釜鍛樺伐娓呮氱殑浜嗚В鑰冩牳涓鐨勫栨儵鍒跺害锛屽苟瀵瑰憳宸ョ殑楂樺眰浠ュ強鐩稿叧绠＄悊閮ㄩ棬杩涜岀哗鏁堣冩牳鏂归潰鐨勪笓涓氱煡璇嗙殑鍩硅锛岃╁ぇ瀹堕兘璁よ瘑鍒扮哗鏁堣冩牳鐨勯噸瑕佹剰涔夛紝鎺屾彙缁╂晥鑰冩牳鐨勫熀鏈鎬濇兂涓庡熀鏈鑳姐傚叾娆★紝鍦ㄥ圭哗鏁堣冩牳宸ヤ綔鐨勭粏鍒嗛噺鍖栵紝閫氳繃闂鍗枫佽胯皥绛夊舰寮忥紝鍋氬嚭姣忎釜鍛樺伐鐨勫伐浣滆亴浣嶈存槑涔︼紝浠庤屾洿鍏峰悇涓閮ㄩ棬鍒跺畾鍑虹浉搴旂殑鑰冩牳鏍囧噯銆傛渶鍚庯紝灏辨槸鍦ㄥ埗瀹氱浉搴旂殑鑰冩牳鎸囨爣鐨勬椂鍊欙紝搴旇ュ敖閲忕殑閫夊彇鍏锋湁鍏稿瀷鎬с佸叿鏈夐拡瀵规х殑鎸囨爣銆傚彲浠ラ拡瀵逛笉鍚岀殑閮ㄩ棬銆佸憳宸ユ垨涓嶅悓鐨勫伐浣滄ц川锛屽埗瀹氱浉搴旂殑鑰冩牳鎸囨爣銆傛瘮濡傦細鑰冩牳涓涓浼佷笟鐨勬櫘閫氭搷浣滃伐锛屾洿澶氱殑鏄鍘昏冩牳鍏跺湪瀹氭湡鍐呮墍鍋氫骇鍝佺殑鏁伴噺銆佽川閲忎互鍙婂嚭鍕ゆ柟闈㈢殑鎸囨爣[3]銆

銆銆锛堜簩锛夋爲绔嬩互浜轰负鏈鐨勪紒涓氱粡钀ョ＄悊鐞嗗康

銆銆浠ヤ汉涓烘湰鐨勭哗鏁堣冩牳涓庣＄悊锛屽氨鏄璁╁憳宸ュ弬涓庣粍缁囩殑绠＄悊杩囩▼锛屼繚璇佷紒涓氱哗鏁堣冩牳鐨勫叕姝ｃ佸叕骞炽佸叕寮锛屽苟涓旈噸瑙嗗憳宸ョ殑鍙戝睍锛屽湪瀹屾垚缁勭粐鎴樼暐鐩鏍囩殑鍚屾椂锛屽疄鐜板憳宸ヤ釜浜轰环鍊煎拰鑱屼笟鐢熸动鐨勮勫垝銆傛爲绔嬩互浜轰负鏈鐨勪紒涓氱粡钀ョ＄悊鍘嗗勾涓哄憳宸ュ垱閫犺壇濂界殑婵鍔辩幆澧冨拰鍏呭垎鍙戞尌鍏惰兘鍔涚殑鍦烘墍锛岀粰浜庡叕姝ｇ殑璇勫垽锛岄氳繃鍛樺伐婊℃剰鏉ヤ繚璇佸㈡埛鐨勬弧鎰忥紝浠庤屽仛鍒颁紒涓氱殑婊℃剰锛屾渶缁堝疄鐜颁紒涓氱殑缁忚惀鑳藉姏鐨勬彁鍗囩殑鐩鏍嘯4]銆

銆銆锛堜笁锛夎繘琛屾湁鏁堝湴缁╂晥娌熼氬拰鍙嶉

銆銆鑹濂界殑娌熼氬線寰鑳藉熷強鏃剁殑鍙戠幇宸ヤ綔鐨勯敊璇锛屽悓鏃朵篃鑳藉熷皢浼佷笟涓鐨勪笉鍚岀殑缁╂晥鑰冩牳杩囩▼涓鐨勯殰纰嶈繘琛屾帓闄ゃ傚洜姝わ紝鑰冩牳涔嬪悗鐨勭哗鏁堝弽棣堜笌娌熼氫竴瀹氳佸強鏃讹紝鎸佺画骞跺叿鏈夋妧宸фс備篃鍗虫槸鎸囧湪鑰冩牳涔嬪悗锛屽瑰叾涓瀛樺湪鐨勯棶棰樿佸仛鍒板強鏃剁殑鍙嶉堬紝浠庤岃繀閫熺殑澶勭悊鍜屾敼杩涗笉瓒炽

銆銆 鍙傝冩枃鐚

銆銆[1]鍛ㄤ匠钂. 涓灏忔皯钀ヤ紒涓氬憳宸ヨ柂閰缁撴瀯鐮旂┒--浠ヨタ瀹夐氳揪鏈虹數鏈夐檺鍏鍙镐负渚媅J/OL]. 鐜颁唬钀ラ攢锛堜笅鏃鍒婏級锛2017锛岋紙10锛夛細89-90锛2017-11-21锛

銆銆[2]瀛欒秴. 鍩哄眰鍥芥湁浼佷笟浜哄姏璧勬簮缁╂晥鑰冩牳浣撶郴鏋勫缓鍒濇帰[J/OL]. 涓鍥介珮鏂版妧鏈浼佷笟锛2017锛岋紙12锛夛細298-299锛2017-07-11锛

銆銆[3]閲戠拠. 鍖昏嵂浼佷笟璐㈠姟缁╂晥璇勪环鐮旂┒[J]. 鍟嗗満鐜颁唬鍖栵紝2017锛岋紙10锛夛細170-171.

銆銆[4]鍚撮缚.鍏充簬閾佽矾鍩哄眰绔欐电哗鏁堣冩牳鍒嗛厤浣撶郴寤虹珛鐨勬濊僛J]. 鐜颁唬鍟嗕笟锛2017锛岋紙01锛夛細152-153.

;

C. 企业如何为大数据设置KPI求解答

例如，如果您正在运行一个供应链，并且想知道某一家新的供应商是否能够及时保质保量的满足供应链，您无法从您的企业内部的数据库找到相关数据信息（毕竟这家供应商是新的），但您可以互联网上找到其他已经和这家供应商有过合作关系的客户所共享的信息中找到您所需要的相关信息。在网上，您可以“挖掘”到这家供应商是否能够按时交货的数据，您甚至可以更进一步的通过社会媒体的渠道，了解到关于这家供应商服务质量的好坏。
将结构化和非结构化数据相结合对于立即采购和制造是相当有用的，但其在营销方面（营销需要减少绩效不好的供应商的市场风险）、客户服务方面（避免后续的维修）以及金融（需要避免任何风险）也同样有用。
这里的要点是双重的：
1、大数据解决关键业务问题只有在数据筒仓被分解时发生，并且由此产生的数据组合成一个关键业务的性能指标的复合回答；
2、只有企业具备了足够的关于大数据仓库的专业知识和独特的整合和汇总数据能力时，大数据方面的投资才能真正发挥作用。
回到我们之前的能够准时、保证质量的供应商的例子：
1、数据仓库是交叉时，数据挖掘是来自于外部供应链网络和社会媒体。
2、起初，企业错误的认为只有采购和制造会意识到数据是有用的，但他们总是围绕着总的关键绩效指标来衡量供应商的绩效及其影响，企业也意识到供应商的信息能告诉营销部门是否某些主要销售有可能存在风险；可以告诉客户服务部门提供保修可能是基于质量差的原因；并能告诉财务部门供应商的整体风险水平。
所有这一切都是相当重要的，因为许多企业今天仍在使用碎片信息。财政部门使用自己的财务系统；市场营销部门也有自己的应用系统。但大数据投资却可以让每个人都能够充分利用这些有价值的数据。这可能需要改变企业的“谁拥有”或“有权使用”某些数据的观念。
2、指定专人作为整个企业重点大数据的联络负责人。这个人应该是在企业内部为了达到大数据的KPI和使用，促进企业各个不同领域的合作。
3、永远不要在没有获得企业高层管理人员完全支持的前提下发展企业大数据战略的倡议，而这种支持是包括从技术投资的协同信息共享到关键绩效指标的全方位的支持，这样，大数据才能够为企业进行重新的定义。

D. 大数据分析师这个职业怎么样

近期成为月入两万的数据分析师的广告遍地都是，可能会对一些未入行的同学造成错觉。我个人感觉数据分析师这个岗位，可能近几年会消亡。

这不意味着这份工作本身不重要，而是说这份工作本身可能会转化为产品运营的一些必备技能，而不再需要单独特设人力去做这件事。或者说，不是再需要你学习SQL或者学习python，只是为了成为一名数据分析师。作为一名数据分析师，职业自身的壁垒正在不断消减，更加主动的拥抱业务，解决真正的产品和用户需求，或将成为未来的发展趋势。

数据分析师的日常举亮乱工作

我们来看下预设中的分析师的一些工作场景，看看数据分析师核心的工作价值。

取数

数据清洗

数据可视化

统计分析

数据方向建设和规划

数据报告

取数—SQL

很多人对数据分析师的预设是SQL达人，包括现在很多数据分析师的核心工作其实就是进行SQL取数。

这项工作的痛点和难点在于，我们为了得到一个结果，通常需要join很多的数据集，然后整个SQL语句就会写的特别长，而且可能会出现一些问题：比如join的表可能会出现key是重复的情况，造成最终的SQL结果因为重复而变得不可用。所以我们需要专人去专门维护各种各样的数据集，他们知道每张表应该怎么用。

但这个其实是关系型数据库遗留下来的产物——我们完全可以不需要join那么多的表。现在的分布式计算的框架，已经完全可以支持我们只保留一张大宽表，有需要的所有字段，然后所有的操作都在这张大宽表上进行，而且可以保证查询速度。这样数据分析最大的痛点已经没有了。至于你说大宽表里面存了很多重复的数据，是不是很浪费资源(关系型数据库之所以不用大宽表就是从存储空间和性能的trade-off角度考虑的)：放心，分布式存储本身是不贵的，而计算效率则是由分布式计算框架进行专门优化的。现在的计算框架计算的响应速度，已经可以在大宽表上可以很快的得到结果了。相比之下，多次join操作反而可能会更慢一些。

同时，现在很多公司的NB框架，其实都已经支持拖拽取数了，也根本不需要写SQL了。

此外，不得不说的一点是，SQL语句本身真的不难。可能如果你正档自己静下心来想学，一个周末的时间肯定能搞定。而资历老的数据分析师，并不会比资历轻的数据分析师，在SQL语句的写作上有什么本质的区别。以前可能还有一些小表join大表的trick，但现在计算框架大多都已经优化过这些了。所以即使是需要写SQL的场景，本身也是没有什么难度的。

所以，通过大宽表来解放数据分析工作的生产力。即使在一定要写SQL做join操作的时候，本身也不是一件壁垒特别高的事情。取数这件事儿，对于其他岗位的同学，就已经没那么复杂了。

数据清洗—Python

数据清洗其实是很多强调python进行数据分析课程中，python部分的主要卖点。包括但不限于，怎么处理异常值，怎么从一些原始的数据中，得到我们想要的数据。

在日常产品需求过程中，这种需求的场景其实很小。因为数据大部分都是自己产生的，很少会出现没键氏有预设到的极端值或者异常情况。如果有的话，一般就是生产数据的同学代码写的有bug，这种发现了之后修复代码bug就行。

数据清洗在工作场景的应用在于落表——就是把原始数据变成上面提到的，可以通过SQL提取的hive表。这个工作是需要懂代码的同学去支持的，他们负责数据的产出，包括数据的准确性，数据的延时性(不能太晚产出)等等。前文提到的生成大宽表，其实也可以是他们的工作。这其中就涉及到一些代码的效率优化问题，这个就不是简单懂一点python可以搞定的了，可能涉及到一些数据压缩格式的转化，比如json/Protobuffer到hive表的转化，还有一些计算框架层面的调优，比如spark设置什么样的参数，以及怎么样存储可以更好的提升查询速度。

所以这部分工作一般是由懂代码的同学完成的。可能数据团队会有比较少数的同学，管理支持全公司的基础表的生成。

数据可视化—Tableau

很多之前在数据分析做实习的同学，主要的工作内容就是在一个商业化的软件(比如Tableau)上，做一些统计报表。这样可以通过这些数据报表，可以很方便的查看到所属业务的一些关键指标。这些商业软件通常都比较难用，比如可能需要先预计算一下才能输出结果；而且不太好做自定义功能的开发。稍微复杂一点的需求场景，可能就需要一个专门的同学捣鼓一阵，才能输出最终的统计报表。

现在有更先进的套路了。

首先可视化。很多公司打通了前端和后端的数据，这样就可以通过网页查询原始的数据库得到数据结果。而现在很多优秀的前端可视化插件，已经可以提供非常丰富的统计图形的支持。而且因为代码是开源的，可以根据公司的需求场景进行针对性的开发，公司可以再辅以配置一些更加用户友好的操作界面，这样一些复杂需求也有了简单拖拽实现的可能。而且这些前端js代码都是免费的！对于公司来说也能省去一笔商业公司的采买成本。

其次很多商业软件，都是针对小数据集场景设计的。在一些大数据集的场景，一般需要先预计算一些中间表。而如果自己公司定制化开发的前端展示结果，就可以根据需要自主设置计算逻辑和配置计算资源，先在后端进行预计算，前端最终只是作为一个结果展示模块，把结果展示和需要的预计算进行解耦。这样就省去了很多中间表的产出，也会更加快速的得到想要的业务指标，快速迭代。

所以可视化数据的工作量也会大大减少。而且会变成一个人人都可以操作，快速得到结果的场景。

统计分析

对于一名数据分析师而言，统计学分析可能是一块知识性的壁垒。尤其是在现在ab实验成为互联网公司迭代标配的今天。需要把实验设计的那套理论应用起来：比如ab实验进行后的显著性检验，多少样本量的数据才能让这个结论有效可信呢。

但是，你我都知道，经典的统计分析其实是一个非常套路性的工作。其实就是套公式，对应到代码层面，可能也就一两行就搞定了。这个代码的统计分析结果可以作为ab平台的指标展示在最终的ab结果上，大家看一眼就能明白。即使是对那些可能不知道显著性是什么意思的人，你可以跟他简单说，显著了才有效，不显著就别管。

这么一想是不是其实不怎么需要投入额外的人力进行分析？

其他数据相关的工作

数据层面的规划和设计。移动互联网刚刚兴起的时候，可能那时候数据分析师需要对每一个数据怎么来设计一套方案，包括原始的埋点怎么样，又要怎么统计出想要的结果。但现在大部分已经过了快速迭代的时代了，新产品的埋点添加可以参考老产品，这就意味着形成套路了。而一旦形成套路，其实就意味着可以通过程序直接完成或者辅助完成。

数据报告。那就真的是一件人人都能做的事情了，试想谁没在大学期间做过数据报告呢？以前只是因为数据都是从分析师产出的，而如果人人都能取到数据的话，数据报告是不是也不是一个真需求呢？

在我看来，数据分析师这个岗位的天花板和其他岗位相比起来是比较低的。可能工作一两年之后，从岗位本身就已经学不到什么额外的工作知识了。主要的工作内容技术含量不是特别高，技能性的更多的是一些可以简单上手的东西，而且做的时间长了，在这些技能性的事情上得到的积累并不是很多。

数据分析师更像是一个在时代变迁过程中的一个中间岗位：我们从一个基本没有数据的时代，突然进入了一个数据极大丰富的时代，在这个过程中，我们都知道重视数据。那怎么能够利用这个数据呢？可能之前的那一帮人并没有太多的经验，于是老板就招一些人专门来研究一下它，同时做一些底层数据的优化。

经过多年的迭代，现在互联网行业的每个人都知道数据的价值，也大概知道了什么样的数据是重要的，怎样可以更好的挖掘数据背后的价值。同时底层的基础设施也已经支持可以让一个之前没有经验的同学可以快速的上手得到自己想要的关键数据。这时候对于一个职业数据分析师来说，他的任务就已经完成了。就如同当人人都会讲英语的时候，翻译其实也就没有存在的价值了。

此后的数据分析工作，可能不再是一些单独的人做的工作。它会变成一个产品和运营的基础工具，而且足够简单，没有取数的门槛。只是产品运营怎么样可以更好的认识数据，通过数据本身更好的配合产品运营的工作，这已经超脱我们一般理解的数据分析师的工作了，而是一个产品运营分内的工作。

对于那些已经在从事数据分析师岗位的同学来说，建议不要把心思全部投入到数据分析的本职工作上，以完成任务为核心KPI。而是不要给自己设置边界，多从用户的角度思考问题，不要因为是产品运营的工作就不去做了。数据分析师这个职业发展到这个阶段，要么做更加底层的数据建设，要么拥抱业务，最大化的发掘数据背后背后的价值。不要再死守着数据分析的“固有技能”沾沾自喜了。

数据本身的价值是无穷的，作为数据分析师，你们已经先人一步的掌握它了，要有先发优势。你们最接近数据的人，是最可能发现用户的宝藏的人。

E. 大数据工作都做什么。我对大数据感兴趣，想从事这方面的工作，但是不知道他具体是要做什么。求解~~

大数据其实分为来2类，一个自是开发类的一个是运维类的，以道教育是开发类的，所以学之前需要决定自己学哪个，决定培训学习的话可以索取课程体系进行详细的了解，大数据主要学习java、数据库和大数据本身的一些东西，东西挺多，篇幅有限

F. kpi真的过时了吗大数据为何走不进人力资源管理

人力资源用到大数据，那得多大的企业，如果你想分析人力资源的东西版，你可以看看一个工具，大数权据魔镜，这个是有两个免费的版本的，一个是云平台的，一个是离线的安装版的，对数据的安全有顾虑的话，你可以试试安装版的，那个是可以断网使用的不会上传你的数据，可视化效果很多的，免费的版本的少一些，但是一般的人够用了

G. 大数据开发工程师的基本职责-岗位职责

大数据开发工程师的基本职责-岗位职责

在学习、工作、生活中，很多情况下我们都会接触到岗位职责，明确岗位职责能让员工知晓和掌握岗位职责，能够最大化的进行劳动用工管理，科学的进行人力配置，做到人尽其才、人岗匹配。我们该怎么制定岗位职责呢？以下是我为大家整理的大数据开发工程师的基本职责-岗位职责，仅供参考，欢迎大家阅读。

大数据开发工程师的基本职责-岗位职责1

职责：

1、参与大数据平台搭建以及项目技术架构。

2、数据分析，挖掘，模型具体的产品化；

3、根据产品需求，分析编写和制定大数据相关解决方案

岗位要求：

1、计算机相关专业本科以上学历，编程基础扎实，有2年以上大数据开发经验

2、熟悉Hadoop生态和体系架构，熟悉Flink、Spark，Hive等常用开源工具

3、熟悉Flume，kakfa，scribe等日志收集体系

4、熟悉主流数据库（Oracle、postgresql、Mysql、Sql Server）中的1种及以上，有较好的SQL性能调优经验

5、有数据仓库ETL经验者优先

6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先

7、有持续学习的能力；喜欢开源软件，乐于知识分享；对工作认真负责；可以独立承担较大工作压力

大数据开发工程师的基本职责-岗位职责2

职责：

1、数字货币领域数据统计分析，负责数字货币量化投资策略的设计、管理以及实际投资运作

2、与交易员对接，制定切实可行的的'策略测试计划，开展新策略模型的开发和验证

3、协助交易员进行交易、风险管理，并对实际交易结果进行量化的绩效分析，推动交易自动化

4、上级交办的其他工作

任职要求：

1、数学/计算机/金融专业毕业，有扎实的算法和机器学习的理论基础

2、有量化实盘交易经验，具备丰富的数学建模经验及较强的数据处理能力优先

3、对金融市场的价格波动有独特理解和深入的量化分析，具备一定对冲策略研究经验；

4、对数字货币领域感兴趣，结果导向；

5、有网页抓取和爬虫程序编写经验者优先。

大数据开发工程师的基本职责-岗位职责3

职责：

1、大数据日志分析系统的设计，选型和开发；

2、配合各业务给予数据支持，对产品和运营数据总结和优化；

3、处理用户海量数据，提取、分析、归纳用户属性，行为等信息，完成分析结果；

4、发现并指出数据异常情况，分析数据合理性；

5、公司大数据基础架构平台的运维，保障数据平台服务的稳定性和可用性；

6、大数据基础架构平台的监控、资源管理、数据流管理；

7、基于数据分析的可预测的云平台弹性扩展解决方案。

任职要求：

1、日志分析数据系统实际经验；

2、3年以上互联网行业研发经验，有使用Hadoop/hive/spark分析海量数据的能力；

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安装与调试；

4、熟悉大数据周边相关的数据库系统，关系型数据库和NoSQL。

5、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题；

6、有良好的沟通能力，具备出色的规划、执行力，强烈的责任感，以及优秀的学习能力。

大数据开发工程师的基本职责-岗位职责4

职责：

1、负责数据分析、加工、清理、处理程序的开发；

2、负责数据相关平台的搭建、维护和优化；

3、负责基于Hadoop/Spark/Hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发；

岗位要求：

1、本科学历须211院校以上，硕士及以上学历不限院校，计算机软件及相关专业

2、熟悉Java和Scala语言、熟悉常用设计模式、具有代码重构意识；

3、熟练使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底层框架和实现原理；

4、使用Spark Streaming和Spark SQL进行数据处理，并具有SPARK SQL优化经验；

5、需要有至少2年开发经验，有flink开发经验优先；

6、学习能力强，喜欢研究新技术，有团队观念，具备独立解决问题的能力。

大数据开发工程师的基本职责-岗位职责5

职责：

1、负责大数据平台的基础环境搭建与性能优化，完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发；

2、对各种开源框架进行深入的代码剖析和优化；

3、参与大数据技术方案评审；

4、指导初中级大数据工程师工作；

岗位要求：

1、计算机相关专业全日制专科及以上学历，具有3年或以上的分布式计算平台研发工作经验；

2。对大数据相关组件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架构与底层实现有深入理解，具备相应的定制和研发能力，尤其需要精通Flink框架；

3。具备构建稳定的大数据基础平台的能力，具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验；

4。对技术有热情，有不错的数据思维和敏感度，有一定的数据分析能力优先，对深度学习、机器学习有一定的了解优先；

5。工作有计划性，责任心和执行能力强，具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。

;