大數據崗位kpi

A. 大數據架構師崗位的主要職責概述

大數據架構師崗位的主要職責概述 篇1

職責：

1、負責大數據平台及BI系統框架設計、規劃、技術選型，架構設計並完成系統基礎服務的開發;

2、負責海量埋點規則、SDK標准化、埋點數據採集、處理及存儲，業務數據分布存儲、流式/實時計算等應用層架構搭建及核心代碼實現;

3、開發大數據平台的核心代碼，項目敏捷開發流程管理，完成系統調試、集成與實施，對每個項目周期技術難題的解決，保證大數據產品的上線運行;

4、負責大數據平台的架構優化，代碼評審，並根據業務需求持續優化數據架構，保證產品的可靠性、穩定性;

5、指導開發人員完成數據模型規劃建設，分析模型構建及分析呈現，分享技術經驗;

6、有效制定各種突發性研發技術故障的應對預案，有清晰的隱患意識;

7、深入研究大數據相關技術和產品，跟進業界先進技術;

任職要求

1、統計學、應用數學或計算機相關專業大學本科以上學歷;

2、熟悉互聯網移動端埋點方法(點擊和瀏覽等行為埋點)，無埋點方案等，有埋點SDK獨立開發經驗者優選;

3、熟悉Hadoop，MR/MapRece，Hdfs，Hbase，Redis，Storm，Python，zookeeper，kafka，flinkHadoop，hive，mahout，flume，ElasticSearch，KafkaPython等，具備實際項目設計及開發經驗;

4、熟悉數據採集、數據清洗、分析和建模工作相關技術細節及流程

5、熟悉Liunx/Unix操作系統，能熟練使用shell/perl等腳本語言，熟練掌握java/python/go/C++中一種或多種編程語言

6、具備一定的演算法能力，了解機器學習/深度學習演算法工具使用，有主流大數據計算組件開發和使用經驗者優先

7、熟悉大數據可視化工具Tableau/echarts

8、具有較強的執行力，高度的責任感、很強的學習、溝通能力，能夠在高壓下高效工作;

大數據架構師崗位的主要職責概述 篇2

職責：

根據大數據業務需求，設計大數據方案及架構，實現相關功能;

搭建和維護大數據集群，保證集群規模持續、穩定、高效平穩運行;

負責大數據業務的設計和指導具體開發工作;

負責公司產品研發過程中的數據及存儲設計;

針對數據分析工作，能夠完成和指導負責業務數據建模。

職位要求：

計算機、自動化或相關專業(如統計學、數學)本科以上學歷，3年以上大數據處理相關工作經驗;

精通大數據主流框架(如Hadoop、hive、Spark等);

熟悉MySQL、NoSQL(MongoDB、Redis)等主流資料庫，以及rabbit MQ等隊列技術;

熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;

熟悉常用的數據挖掘演算法優先。

大數據架構師崗位的主要職責概述 篇3

職責：

1、大數據平台架構規劃與設計;

2、負責大數據平台技術框架的選型與技術難點攻關;

3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作，根據系統的業務需求，能夠指導開發團隊完成實施工作;

4、負責數據基礎架構和數據處理體系的升級和優化，不斷提升系統的穩定性和效率，為相關的業務提供大數據底層平台的支持和保證;

5、培養和建立大數據團隊，對團隊進行技術指導。

任職要求：

1、計算機相關專業的背景專業一類院校畢業本科、碩士學位，8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);

2、精通Java，J2EE相關技術，精通常見開源框架的架構，精通關系資料庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;

3、精通SQL和Maprece、Spark處理方法;

4、精通大數據系統架構，熟悉業界數據倉庫建模方法及新的建模方法的發展，有DW，BI架構體系的專項建設經驗;

5、對大數據體系有深入認識，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術，並能設計相關數據模型;

6、很強的學習、分析和解決問題能力，可以迅速掌握業務邏輯並轉化為技術方案，能獨立撰寫項目解決方案、項目技術文檔;

7、具有較強的內外溝通能力，良好的團隊意識和協作精神;

8、機器學習技術、數據挖掘、人工智慧經驗豐富者優先考慮;

9、具有能源電力行業工作經驗者優先。

大數據架構師崗位的主要職責概述 篇4

職責：

1.參與公司數據平台系統規劃和架構工作，主導系統的架構設計和項目實施，確保項目質量和關鍵性能指標達成;

2.統籌和推進製造工廠內部數據系統的構建，搭建不同來源數據之間的邏輯關系，能夠為公司運營診斷、運營效率提升提供數據支持;

3.負責數據系統需求對接、各信息化系統數據對接、軟體供應商管理工作

5.根據現狀制定總體的數據治理方案及數據體系建立，包括數據採集、接入、分類、開發標准和規范，制定全鏈路數據治理方案;深入挖掘公司數據業務，超強的數據業務感知力，挖掘數據價值，推動數據變現場景的落地，為決策及業務賦能;

6.定義不同的數據應用場景，推動公司的數據可視化工作，提升公司數據分析效率和數據價值轉化。

任職要求：

1.本科以上學歷，8年以上軟體行業從業經驗，5年以上大數據架構設計經驗，熟悉BI平台、大數據系統相關技術架構及技術標准;

2.熟悉數據倉庫、熟悉數據集市，了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;

3.熟悉大數據相關技術：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉製造企業信息化系統及相關資料庫技術;

5.具備大數據平台、計算存儲平台、可視化開發平台經驗，具有製造企業大數據系統項目開發或實施經驗優先;

6.對數據敏感，具備優秀的業務需求分析和報告展示能力，具備製造企業數據分析和數據洞察、大數據系統的架構設計能力，了解主流的報表工具或新興的前端報表工具;

7.有較強的溝通和組織協調能力，具備結果導向思維，有相關項目管理經驗優先。

大數據架構師崗位的.主要職責概述 篇5

職責：

1.負責產品級業務系統架構(如業務數據對象識別，數據實體、數據屬性分析，數據標准、端到端數據流等)的設計與優化。協助推動跨領域重大數據問題的分析、定位、解決方案設計，從架構設計上保障系統高性能、高可用性、高安全性、高時效性、分布式擴展性，並對系統質量負責。

2.負責雲數據平台的架構設計和數據處理體系的優化，推動雲數據平台建設和持續升級，並制定雲數據平台調用約束和規范。

3.結合行業應用的需求負責數據流各環節上的方案選型，主導雲數據平台建設，參與核心代碼編寫、審查;數據的統計邏輯回歸演算法、實時交互分析;數據可視化方案等等的選型、部署、集成融合等等。

4.對雲數據平台的關注業內技術動態，持續推動平台技術架構升級，以滿足公司不同階段的數據需求。

任職要求：

1.熟悉雲計算基礎平台，包括linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎環境，熟悉控制、計算、存儲和網路;

2.掌握大型分布式系統的技術棧，如：CDN、負載均衡、服務化/非同步化、分布式緩存、NoSQL、資料庫垂直及水平擴容;熟悉大數據應用端到端的相關高性能產品。

3.精通Java，Python，Shell編程語言，精通SQL、NoSQL等資料庫增刪改查的操作優化;

4.PB級別實戰數據平台和生產環境的實施、開發和管理經驗;

5.熟悉Docker等容器的編排封裝，熟悉微服務的開發和日常調度;

6.計算機、軟體、電子信息及通信等相關專業本科以上學歷，5年以上軟體工程開發經驗，2年以上大數據架構師工作經驗。

大數據架構師崗位的主要職責概述 篇6

職責描述：

1、負責集團大數據資產庫的技術架構、核心設計方案，並推動落地；

2、帶領大數據技術團隊實現各項數據接入、數據挖掘分析及數據可視化；

3、新技術預研，解決團隊技術難題。

任職要求：

1、在技術領域有5年以上相關經驗，3年以上的架構設計或產品經理經驗；

2、具有2年以上大數據產品和數據分析相關項目經驗；

3、精通大數據分布式系統（hadoop、spark、hive等）的架構原理、技術設計；精通linux系統；精通一門主流編程語言，java優先。

大數據架構師崗位的主要職責概述 篇7

崗位職責：

1、基於公司大數據基礎和數據資產積累，負責大數據應用整體技術架構的設計、優化，建設大數據能力開放平台；負責大數據應用產品的架構設計、技術把控工作。

2、負責制定大數據應用系統的數據安全管控體系和數據使用規范。

3、作為大數據技術方案到產品實現的技術負責人，負責關鍵技術點攻堅工作，負責內部技術推廣、培訓及知識轉移工作。

4、負責大數據系統研發項目任務規劃、整體進度、風險把控，有效協同團隊成員並組織跨團隊技術協作，保證項目質量與進度。

5、負責提升產品技術團隊的技術影響力，針對新人、普通開發人員進行有效輔導，幫助其快速成長。

任職資格：

1、計算機、數學或相關專業本科以上學歷，5—20xx年工作經驗，具有大型系統的技術架構應用架構數據架構相關的實踐工作經驗。

2、有分布式系統分析及架構設計經驗，熟悉基於計算集群的軟體系統架構和實施經驗。

3、掌握Hadoop/Spark/Storm生態圈的主流技術及產品，深入了解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。

4、掌握Mysql/Oracle等常用關系型資料庫，能夠對SQL進行優化。

5、熟悉分布式系統基礎設施中常用的技術，如緩存（Varnish、Memcache、Redis）、消息中間件（Rabbit MQ、Active MQ、Kafka、NSQ）等；有實踐經驗者優先。

6、熟悉Linux，Java基礎扎實，至少3—5年以上Java應用開發經驗，熟悉常用的設計模式和開源框架。

大數據架構師崗位的主要職責概述 篇8

崗位職責：

1、負責公司大數據平台架構的技術選型和技術難點攻關工作；

2、依據行業數據現狀和客戶需求，完成行業大數據的特定技術方案設計與撰寫；

3、負責研究跟進大數據架構領域新興技術並在公司內部進行分享；

4、參與公司大數據項目的技術交流、解決方案定製以及項目的招投標工作；

5、參與公司大數據項目前期的架構設計工作；

任職要求：

1、計算機及相關專業本科以上，5年以上數據類項目（數據倉庫、商務智能）實施經驗，至少2年以上大數據架構設計和開發經驗，至少主導過一個大數據平台項目架構設計；

2、精通大數據生態圈的技術，包括但不限於MapRece、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先；

3、優秀的方案撰寫能力，思路清晰，邏輯思維強，能夠根據業務需求設計合理的解決方案；

4、精通ORACLE、DB2、mySql等主流關系型資料庫，熟悉數據倉庫建設思路和數據分層架構思想；

5。熟練掌握java、R、python等1—2門數據挖掘開發語言；

6。熟悉雲服務平台及微服務相關架構思想和技術路線，熟悉阿里雲或騰訊雲產品者優先；

7、有煙草或製造行業大數據解決方案售前經驗者優先；

8、能適應售前支持和項目實施需要的短期出差；

大數據架構師崗位的主要職責概述 篇9

崗位職責：

1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化；

2、負責解決項目上線後生產環境的各種實際問題，保障大數據平台在生產上的安全、平穩運行；

3、推動優化跨部門的業務流程，參與業務部門的技術方案設計、評審、指導；

4、負責技術團隊人員培訓、人員成長指導。

5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公，月底項目結束後在總部公司辦公

任職要求：

1、熟悉linux、JVM底層原理，能作為技術擔當，解決核心技術問題；

2、3年以上大數據平台項目架構或開發經驗，對大數據生態技術體系有全面了解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等；

3、掌握git、maven、gradle、junit等工具和實踐，注重文檔管理、注重工程規范優先；

4、熟悉Java後台開發體系，具備微服務架構的項目實施經驗，有Dubbo/Spring cloud微服務架構設計經驗優先；

5、性格開朗、善於溝通，有極強的技術敏感性和自我驅動學習能力，注重團隊意識。

大數據架構師崗位的主要職責概述 篇10

職責描述：

1、負責大數據平台框架的規劃設計、搭建、優化和運維；

2、負責架構持續優化及系統關鍵模塊的設計開發，協助團隊解決開發過程中的技術難題；

3、負責大數據相關新技術的調研，關注大數據技術發展趨勢、研究開源技術、將新技術應用到大數據平台，推動數據平台發展；

4、負責數據平台開發規范制定，數據建模及核心框架開發。

任職要求：

1、計算機、數學等專業本科及以上學歷；

2、具有5年及以上大數據相關工作經驗；

3、具有扎實的大數據和數據倉庫的理論功底，負責過大數據平台或數據倉庫設計；

4、基於hadoop的大數據體系有深入認識，具備相關產品（hadoop、hive、hbase、spark、storm、 flume、kafka、es等）項目應用研發經驗，有hadoop集群搭建和管理經驗；

5、熟悉傳統數據倉庫數據建模，etl架構和開發流程，使用過kettle、talend、informatic等至少一種工具；

6、自驅力強、優秀的團隊意識和溝通能力，對新技術有好奇心，學習能力和主動性強，有鑽研精神，充滿激情，樂於接受挑戰；

B. 澶ф暟鎹鏃朵唬浼佷笟綆＄悊鍛樺伐緇╂晥璇勪環浣撶郴鏋勫緩鐮旂┒璁烘枃

澶ф暟鎹鏃朵唬浼佷笟綆＄悊鍛樺伐緇╂晥璇勪環浣撶郴鏋勫緩鐮旂┒璁烘枃

銆銆 鎽樿侊細 闅忕潃鐜頒唬縐戞妧鐨勪笉鏂鍙戝睍錛屼俊鎮鎶鏈鐨勪嬌鐢ㄤ嬌寰楁暟鎹鎴愪負浜嗕漢浠宸ヤ綔鐨勯噸瑕佹寚鏍囥傝岄殢鐫浼佷笟鍦ㄤ漢鍔涜祫婧愪腑緇╂晥綆＄悊涓庨珮鏂版妧鏈搴旂敤鐨勮秺鍔犵揣瀵嗭紝鏁版嵁鏀鎾戠潃鏁翠釜浼佷笟楂樻晥緇忚惀榪愪綔涓庣＄悊宸ヤ綔銆傛湰鏂囩爺絀跺ぇ鏁版嵁鏃朵唬浼佷笟綆＄悊鍛樺伐緇╂晥璇勪環浣撶郴鐨勬瀯寤烘棬鍦ㄤ負鎻愰珮澶ф暟鎹鏃朵唬浼佷笟浜哄姏璧勬簮鏈嶅姟鑳藉姏錛屼負浼佷笟鍒跺畾鍑哄悎鐞嗐佷漢鎬у寲鐨勫埗搴︽彁渚涘弬鑰冭祫鏂欍

銆銆 鍏抽敭璇嶏細 澶ф暟鎹錛涗紒涓氱＄悊錛涘憳宸ョ嘩鏁堣瘎浠蜂綋緋

銆銆浼佷笟綆＄悊鍛樺伐浣滀負浼佷笟緇勬垚鐨勪竴閮ㄥ垎錛屾槸浼佷笟榪愪綔鐨勫熀鏈鍔ㄥ姏鏉ユ簮錛屽悓鏍鋒槸浼佷笟鍙戝睍鐨勬牳蹇冩墍鍦ㄣ傝岄殢鐫鎴戝浗浼佷笟鍦ㄨ繎鍑犲勾鐨勯珮閫熷彂灞曪紝鎴戝浗浼佷笟鍐呴儴鐨勭＄悊鏈哄埗涔熷繀欏昏繘琛屽強鏃剁殑鏀歸潻錛屼互淇濊瘉浼佷笟鐨勫彲鎸佺畫鍙戞с備絾鏄浠庢垜鍥藉綋鍓嶇殑鏈哄埗鏀歸潻鎯呭喌鏉ョ湅錛屼富瑕侀棶棰樿〃鐜板湪浼佷笟浜哄姏璧勬簮鐨勫紑鍙戜笌綆＄悊涓緇╂晥鑰冩牳鑳藉姏鐨勪笉瓚充笂銆傚叿浣撹〃鐜頒負鑰冩牳鏂規硶鐨勪笉鍚堢悊銆佽冩牳鏍囧噯鐨勪笉紼沖畾銆佽冩牳浜哄憳緔犺川鐨勪綆涓嬨佷紒涓氶珮灞備笉閲嶈嗙瓑鏂歸潰銆

銆銆 涓銆佸ぇ鏁版嵁鏃朵唬涓嬬嘩鏁堣冩牳鍐呮兜

銆銆緇╂晥鑰冩牳鏄瀵瑰憳宸ュ伐浣滆屼負涓庡伐浣滅粨鏋滆繘琛屽叏闈銆佺戝︺佺郴緇熺殑緇煎悎鍒嗘瀽錛屽湪涓瀹氱▼搴︽槸鑳藉熷弽鏄犲嚭鍛樺伐鐨勫伐浣滅姸鎬佷互鍙婂伐浣滆兘鍔涖傚洜姝わ紝瓚婃潵瓚婂氱殑浼佷笟娉ㄩ噸瀵逛紒涓氬憳宸ョ嘩鏁堣冩牳鐨勫緩璁俱備絾鏄浠庢垜鍥藉綋鍓嶇殑浼佷笟緇╂晥鑰冩牳鐨勫緩璁炬儏鍐墊潵鐪嬶紝闅忕潃鎴戝浗榪涘叆淇℃伅鐨勫ぇ鏁版嵁鏃朵唬錛屼紒涓氱殑鍙戝睍涔熻秺鏉ヨ秺鎶鏈鍖栥佺綉緇滃寲銆備紒涓氶氳繃澶ф暟鎹瀵瑰憳宸ョ嘩璇勪環浣撶郴榪涜岀＄悊錛屽彲浠ュ瑰憳宸ユ綔鍦ㄨ兘鍔涜繘琛屾繁鍏ユ寲鎺橈紝澶ф暟鎹鍙浠ラ氳繃鐩稿簲鐨勬暟鎹紼嬪簭錛屽皢鍏鍙哥數瀛愭。妗堜腑鐨勫憳宸ョ嘩鏁堣繘琛岀粏鑷寸殑鏁寸悊錛屽苟鏁村悎鍑轟究浜庢寕宸鐨勬暟鎹琛錛屾柟渚垮叕鍙擱珮灞傜殑綆＄悊鍜屾暟鎹鐨勮皟鍙栥傚悓鏃訛紝澶ф暟鎹鐨勫簲鐢錛岃繕鑳藉熶嬌寰椾紒涓氬憳宸ヨ兘澶熸洿濂界殑榪涜岀綉緇滀氦嫻侊紝鏂逛究浜嗗悇涓閮ㄩ棬涔嬮棿鐨勫崗鍚屽悎浣滐紝鑰岃繖灝變嬌寰椾紒涓氬湪榪涜岀嘩鏁堢＄悊鐨勯『鍒╄繘琛孾1]銆

銆銆 浜屻佸ぇ鏁版嵁鏃朵唬浼佷笟綆＄悊鍛樺伐緇╂晥鑰冩牳浣撶郴鏋勫緩涓鐨勯棶棰

銆銆錛堜竴錛夌嘩鏁堣冩牳浣撶郴鐨勬寚鏍囨瀯寤轟笉瀹屽杽

銆銆鍦ㄤ紶緇熺殑緇╂晥鑰冩牳榪囩▼涓閮芥槸浣跨敤EXCEL絳夊姙鍏杞浠惰繘琛岀畝鍗曠殑鍏鍙鎬換鍔℃寚鏍囨暟鎹鐨勭粺璁″伐浣滐紝浣嗘槸榪欑嶅仛娉曞線寰浣垮緱棰嗗煎彧鑳界湅鍒板憳宸ュ湪鏌愪竴鏂歸潰鎴栨煇涓鏃跺埢鐨勮〃鐜幫紝闅句互瀵瑰憳宸ヨ繘琛屾暣浣撶殑姒傚喌榪涜屼簡瑙ｏ紝騫朵笖璇ヨ冩牳鎸囨爣鎵璁捐＄殑鑼冨洿涔熸瘮杈冨崟涓錛屽洜姝ゅ叾褰㈡垚鐨勭嘩鏁堣冩牳鏈烘瀯涔熸瘮浠風墖闈㈡э紝鍦ㄤ竴瀹氱▼搴︿笂鍏鋒湁杈冨己鐨勪富瑙傞殢鎰忔э紝瀛樺湪寰堝氱殑涓嶇『瀹氬洜緔犮傚綋鍛樺伐瑙勬ā榪囧ぇ錛屾垨鑰呭綋鍑虹幇闇瑕佽皟鍙栧憳宸ユ煇涓闃舵電殑宸ヤ綔琛ㄧ幇鎯呭喌鐨勬椂鍊欙紝寰寰浼氱敱浜庢暟鎹閲忕殑榪囧ぇ錛屽ぇ澶у炲ぇ浜嗙嘩鏁堣冩牳鍛樺伐鐨勬暟鎹璋冨彇宸ヤ綔閲忥紝鐢氳嚦鍙鑳戒細瀵艱嚧鍦ㄨ皟鍙栬繃紼嬩腑鍑虹幇涓浜涜や負鎬х殑璇宸銆

銆銆錛堜簩錛夌己灝戦珮灞傜＄悊鐨勬敮鎸佷笌閲嶈

銆銆鍦ㄥ綋涓嬬殑浼佷笟緇╂晥璇勪環浣撶郴涓涔嬫墍浠ュ瓨鍦ㄥ緢澶氱殑婕忔礊錛屽湪寰堝ぇ紼嬪害涓婁笌鍏鍙擱珮灞傜＄悊涓嶉噸瑙嗘湁鍏熾傚湪璁稿氶珮灞傜＄悊浜哄憳鐪嬫潵錛岀嘩鏁堣冩牳宸ヤ綔浠呬粎鍙鏄浜哄姏璧勬簮鐨勯棶棰橈紝鍥犳わ紝鍦ㄦ洿澶氱殑鏃跺欏畞鎰垮皢鏃墮棿鏀懼湪宸ヤ綔涓婏紝涔熶笉鎰挎剰榪囧氱殑榪囬棶浜哄姏璧勬簮鐨勭嘩鏁堣冩牳闂棰樸備絾鏄浜嬪疄涓婏紝涓涓浼佷笟鐨勫彂灞曠諱笉寮鍛樺伐錛岃屽憳宸ョ殑宸ヤ綔鍔ㄥ姏鏉ユ簮浜庣嘩鏁堬紝瀵逛簬緇╂晥鐨勮冩牳緇撴灉鐩存帴褰卞搷鍒頒簡鍛樺伐鐨勫伐浣滅姸鎬侊紝騫朵笖錛岀嘩鏁堣冩牳鑳藉熷湪涓瀹氱▼搴︿笂鍙戠幇鍛樺伐鐨勮礎鐚浠ュ強浠誨姟瀹屾垚璐ㄩ噺錛屽傛灉涓嶈兘寰楀埌鍏鍙稿厖鍒嗙殑閲嶈嗭紝涔熷皢瀵艱嚧鍛樺伐鐨刞澶ч噺嫻佸け銆

銆銆錛堜笁錛夌嘩鏁堣冩牳鐨勮掑害鍗曚竴

銆銆寰堝氫紒涓氬湪瀹炴柦緇╂晥鑰冩牳鐨勬椂鍊欙紝寰寰鍙鏄鍏蟲敞鍛樺伐鐨勪笟緇╃殑鎴愮嘩鐨勫ソ鍧忥紝鍗村拷瑙嗕簡瀵瑰洟闃熺殑鑰冩牳錛岃岃繖鏍風殑鑰冩牳璇勪環寰寰鍦ㄤ竴瀹氱▼搴︿笂緙轟箯鍏姝ｆэ紝浼氳櫄寮卞憳宸ョ殑鈥滃洟闃熸剰璇嗏濓紝鐢氳嚦浼氬湪鍛樺伐蹇冧腑浜х敓鐗虹壊鍚屼簨鍒╃泭錛岀牬鍧忕礌璐ㄥ唴閮ㄧ殑鍗忚皟鍏崇郴錛涘叾嬈★紝瀹冧篃浼氫駭鐢熸湪妗舵晥搴旓紝鍑虹幇鍥㈤槦鐨勭煭鏉挎晥鏋滐紝闄嶄綆鏁翠釜鍥㈤槦鐨勫伐浣滆川閲忋傚洜姝わ紝縐戝︾殑緇╂晥鑰冩牳涓嶅簲璇ヤ粎浠呭彧鏄鐪嬩腑涓浜鴻兘鍔涙垨涓浜轟笟緇╋紝鍚屾椂涔熻佸皢鍛樺伐鐨勫鉤鏃舵垚緇╄板綍鍦ㄥ唴錛屽皢鍛樺伐鐨勫洟闃熸垚緇╀綔涓鴻冩牳鐨勯噸鐐規柟鍚戜箣涓錛岄氳繃緇煎悎寰楀垎錛屽瑰憳宸ヨ繘琛岀患鍚堟х殑緇╂晥鑰冩牳璇勪環[2]銆

銆銆 涓夈佸ぇ鏁版嵁鏃朵唬浼佷笟綆＄悊鍛樺伐緇╂晥鑰冩牳浣撶郴鏋勫緩鐨勬敼鍠勬帾鏂

銆銆錛堜竴錛夋槑紜鏍囧噯鐨勭嘩鏁堣冩牳鍒跺害

銆銆棣栧厛錛岀嘩鏁堣冩牳鐨勭洰鐨勪竴瀹氳佹槑紜錛屽苟涓旇緇勭粐鎵鎺ュ彈錛屼笌緇勭粐鐨勬牳蹇冩濇兂鐩哥粨鍚堬紝瑕佽╃粍緇囩殑姣忎釜鍛樺伐娓呮氱殑浜嗚В鑰冩牳涓鐨勫栨儵鍒跺害錛屽苟瀵瑰憳宸ョ殑楂樺眰浠ュ強鐩稿叧綆＄悊閮ㄩ棬榪涜岀嘩鏁堣冩牳鏂歸潰鐨勪笓涓氱煡璇嗙殑鍩硅錛岃╁ぇ瀹墮兘璁よ瘑鍒扮嘩鏁堣冩牳鐨勯噸瑕佹剰涔夛紝鎺屾彙緇╂晥鑰冩牳鐨勫熀鏈鎬濇兂涓庡熀鏈鑳姐傚叾嬈★紝鍦ㄥ圭嘩鏁堣冩牳宸ヤ綔鐨勭粏鍒嗛噺鍖栵紝閫氳繃闂鍗楓佽胯皥絳夊艦寮忥紝鍋氬嚭姣忎釜鍛樺伐鐨勫伐浣滆亴浣嶈存槑涔︼紝浠庤屾洿鍏峰悇涓閮ㄩ棬鍒跺畾鍑虹浉搴旂殑鑰冩牳鏍囧噯銆傛渶鍚庯紝灝辨槸鍦ㄥ埗瀹氱浉搴旂殑鑰冩牳鎸囨爣鐨勬椂鍊欙紝搴旇ュ敖閲忕殑閫夊彇鍏鋒湁鍏稿瀷鎬с佸叿鏈夐拡瀵規х殑鎸囨爣銆傚彲浠ラ拡瀵逛笉鍚岀殑閮ㄩ棬銆佸憳宸ユ垨涓嶅悓鐨勫伐浣滄ц川錛屽埗瀹氱浉搴旂殑鑰冩牳鎸囨爣銆傛瘮濡傦細鑰冩牳涓涓浼佷笟鐨勬櫘閫氭搷浣滃伐錛屾洿澶氱殑鏄鍘昏冩牳鍏跺湪瀹氭湡鍐呮墍鍋氫駭鍝佺殑鏁伴噺銆佽川閲忎互鍙婂嚭鍕ゆ柟闈㈢殑鎸囨爣[3]銆

銆銆錛堜簩錛夋爲絝嬩互浜轟負鏈鐨勪紒涓氱粡钀ョ＄悊鐞嗗康

銆銆浠ヤ漢涓烘湰鐨勭嘩鏁堣冩牳涓庣＄悊錛屽氨鏄璁╁憳宸ュ弬涓庣粍緇囩殑綆＄悊榪囩▼錛屼繚璇佷紒涓氱嘩鏁堣冩牳鐨勫叕姝ｃ佸叕騫熾佸叕寮錛屽苟涓旈噸瑙嗗憳宸ョ殑鍙戝睍錛屽湪瀹屾垚緇勭粐鎴樼暐鐩鏍囩殑鍚屾椂錛屽疄鐜板憳宸ヤ釜浜轟環鍊煎拰鑱屼笟鐢熸動鐨勮勫垝銆傛爲絝嬩互浜轟負鏈鐨勪紒涓氱粡钀ョ＄悊鍘嗗勾涓哄憳宸ュ壋閫犺壇濂界殑嬋鍔辯幆澧冨拰鍏呭垎鍙戞尌鍏惰兘鍔涚殑鍦烘墍錛岀粰浜庡叕姝ｇ殑璇勫垽錛岄氳繃鍛樺伐婊℃剰鏉ヤ繚璇佸㈡埛鐨勬弧鎰忥紝浠庤屽仛鍒頒紒涓氱殑婊℃剰錛屾渶緇堝疄鐜頒紒涓氱殑緇忚惀鑳藉姏鐨勬彁鍗囩殑鐩鏍嘯4]銆

銆銆錛堜笁錛夎繘琛屾湁鏁堝湴緇╂晥娌熼氬拰鍙嶉

銆銆鑹濂界殑娌熼氬線寰鑳藉熷強鏃剁殑鍙戠幇宸ヤ綔鐨勯敊璇錛屽悓鏃朵篃鑳藉熷皢浼佷笟涓鐨勪笉鍚岀殑緇╂晥鑰冩牳榪囩▼涓鐨勯殰紕嶈繘琛屾帓闄ゃ傚洜姝わ紝鑰冩牳涔嬪悗鐨勭嘩鏁堝弽棣堜笌娌熼氫竴瀹氳佸強鏃訛紝鎸佺畫騫跺叿鏈夋妧宸фс備篃鍗蟲槸鎸囧湪鑰冩牳涔嬪悗錛屽瑰叾涓瀛樺湪鐨勯棶棰樿佸仛鍒板強鏃剁殑鍙嶉堬紝浠庤岃繀閫熺殑澶勭悊鍜屾敼榪涗笉瓚熾

銆銆 鍙傝冩枃鐚

銆銆[1]鍛ㄤ匠钂. 涓灝忔皯钀ヤ紒涓氬憳宸ヨ柂閰緇撴瀯鐮旂┒--浠ヨタ瀹夐氳揪鏈虹數鏈夐檺鍏鍙鎬負渚媅J/OL]. 鐜頒唬钀ラ攢錛堜笅鏃鍒婏級錛2017錛岋紙10錛夛細89-90錛2017-11-21錛

銆銆[2]瀛欒秴. 鍩哄眰鍥芥湁浼佷笟浜哄姏璧勬簮緇╂晥鑰冩牳浣撶郴鏋勫緩鍒濇帰[J/OL]. 涓鍥介珮鏂版妧鏈浼佷笟錛2017錛岋紙12錛夛細298-299錛2017-07-11錛

銆銆[3]閲戠拠. 鍖昏嵂浼佷笟璐㈠姟緇╂晥璇勪環鐮旂┒[J]. 鍟嗗満鐜頒唬鍖栵紝2017錛岋紙10錛夛細170-171.

銆銆[4]鍚撮縛.鍏充簬閾佽礬鍩哄眰絝欐電嘩鏁堣冩牳鍒嗛厤浣撶郴寤虹珛鐨勬濊僛J]. 鐜頒唬鍟嗕笟錛2017錛岋紙01錛夛細152-153.

;

C. 企業如何為大數據設置KPI求解答

例如，如果您正在運行一個供應鏈，並且想知道某一家新的供應商是否能夠及時保質保量的滿足供應鏈，您無法從您的企業內部的資料庫找到相關數據信息（畢竟這家供應商是新的），但您可以互聯網上找到其他已經和這家供應商有過合作關系的客戶所共享的信息中找到您所需要的相關信息。在網上，您可以「挖掘」到這家供應商是否能夠按時交貨的數據，您甚至可以更進一步的通過社會媒體的渠道，了解到關於這家供應商服務質量的好壞。
將結構化和非結構化數據相結合對於立即采購和製造是相當有用的，但其在營銷方面（營銷需要減少績效不好的供應商的市場風險）、客戶服務方面（避免後續的維修）以及金融（需要避免任何風險）也同樣有用。
這里的要點是雙重的：
1、大數據解決關鍵業務問題只有在數據筒倉被分解時發生，並且由此產生的數據組合成一個關鍵業務的性能指標的復合回答；
2、只有企業具備了足夠的關於大數據倉庫的專業知識和獨特的整合和匯總數據能力時，大數據方面的投資才能真正發揮作用。
回到我們之前的能夠准時、保證質量的供應商的例子：
1、數據倉庫是交叉時，數據挖掘是來自於外部供應鏈網路和社會媒體。
2、起初，企業錯誤的認為只有采購和製造會意識到數據是有用的，但他們總是圍繞著總的關鍵績效指標來衡量供應商的績效及其影響，企業也意識到供應商的信息能告訴營銷部門是否某些主要銷售有可能存在風險；可以告訴客戶服務部門提供保修可能是基於質量差的原因；並能告訴財務部門供應商的整體風險水平。
所有這一切都是相當重要的，因為許多企業今天仍在使用碎片信息。財政部門使用自己的財務系統；市場營銷部門也有自己的應用系統。但大數據投資卻可以讓每個人都能夠充分利用這些有價值的數據。這可能需要改變企業的「誰擁有」或「有權使用」某些數據的觀念。
2、指定專人作為整個企業重點大數據的聯絡負責人。這個人應該是在企業內部為了達到大數據的KPI和使用，促進企業各個不同領域的合作。
3、永遠不要在沒有獲得企業高層管理人員完全支持的前提下發展企業大數據戰略的倡議，而這種支持是包括從技術投資的協同信息共享到關鍵績效指標的全方位的支持，這樣，大數據才能夠為企業進行重新的定義。

D. 大數據分析師這個職業怎麼樣

近期成為月入兩萬的數據分析師的廣告遍地都是，可能會對一些未入行的同學造成錯覺。我個人感覺數據分析師這個崗位，可能近幾年會消亡。

這不意味著這份工作本身不重要，而是說這份工作本身可能會轉化為產品運營的一些必備技能，而不再需要單獨特設人力去做這件事。或者說，不是再需要你學習SQL或者學習python，只是為了成為一名數據分析師。作為一名數據分析師，職業自身的壁壘正在不斷消減，更加主動的擁抱業務，解決真正的產品和用戶需求，或將成為未來的發展趨勢。

數據分析師的日常舉亮亂工作

我們來看下預設中的分析師的一些工作場景，看看數據分析師核心的工作價值。

取數

數據清洗

數據可視化

統計分析

數據方向建設和規劃

數據報告

取數—SQL

很多人對數據分析師的預設是SQL達人，包括現在很多數據分析師的核心工作其實就是進行SQL取數。

這項工作的痛點和難點在於，我們為了得到一個結果，通常需要join很多的數據集，然後整個SQL語句就會寫的特別長，而且可能會出現一些問題：比如join的表可能會出現key是重復的情況，造成最終的SQL結果因為重復而變得不可用。所以我們需要專人去專門維護各種各樣的數據集，他們知道每張表應該怎麼用。

但這個其實是關系型資料庫遺留下來的產物——我們完全可以不需要join那麼多的表。現在的分布式計算的框架，已經完全可以支持我們只保留一張大寬表，有需要的所有欄位，然後所有的操作都在這張大寬表上進行，而且可以保證查詢速度。這樣數據分析最大的痛點已經沒有了。至於你說大寬表裡面存了很多重復的數據，是不是很浪費資源(關系型資料庫之所以不用大寬表就是從存儲空間和性能的trade-off角度考慮的)：放心，分布式存儲本身是不貴的，而計算效率則是由分布式計算框架進行專門優化的。現在的計算框架計算的響應速度，已經可以在大寬表上可以很快的得到結果了。相比之下，多次join操作反而可能會更慢一些。

同時，現在很多公司的NB框架，其實都已經支持拖拽取數了，也根本不需要寫SQL了。

此外，不得不說的一點是，SQL語句本身真的不難。可能如果你正檔自己靜下心來想學，一個周末的時間肯定能搞定。而資歷老的數據分析師，並不會比資歷輕的數據分析師，在SQL語句的寫作上有什麼本質的區別。以前可能還有一些小表join大表的trick，但現在計算框架大多都已經優化過這些了。所以即使是需要寫SQL的場景，本身也是沒有什麼難度的。

所以，通過大寬表來解放數據分析工作的生產力。即使在一定要寫SQL做join操作的時候，本身也不是一件壁壘特別高的事情。取數這件事兒，對於其他崗位的同學，就已經沒那麼復雜了。

數據清洗—Python

數據清洗其實是很多強調python進行數據分析課程中，python部分的主要賣點。包括但不限於，怎麼處理異常值，怎麼從一些原始的數據中，得到我們想要的數據。

在日常產品需求過程中，這種需求的場景其實很小。因為數據大部分都是自己產生的，很少會出現沒鍵氏有預設到的極端值或者異常情況。如果有的話，一般就是生產數據的同學代碼寫的有bug，這種發現了之後修復代碼bug就行。

數據清洗在工作場景的應用在於落表——就是把原始數據變成上面提到的，可以通過SQL提取的hive表。這個工作是需要懂代碼的同學去支持的，他們負責數據的產出，包括數據的准確性，數據的延時性(不能太晚產出)等等。前文提到的生成大寬表，其實也可以是他們的工作。這其中就涉及到一些代碼的效率優化問題，這個就不是簡單懂一點python可以搞定的了，可能涉及到一些數據壓縮格式的轉化，比如json/Protobuffer到hive表的轉化，還有一些計算框架層面的調優，比如spark設置什麼樣的參數，以及怎麼樣存儲可以更好的提升查詢速度。

所以這部分工作一般是由懂代碼的同學完成的。可能數據團隊會有比較少數的同學，管理支持全公司的基礎表的生成。

數據可視化—Tableau

很多之前在數據分析做實習的同學，主要的工作內容就是在一個商業化的軟體(比如Tableau)上，做一些統計報表。這樣可以通過這些數據報表，可以很方便的查看到所屬業務的一些關鍵指標。這些商業軟體通常都比較難用，比如可能需要先預計算一下才能輸出結果；而且不太好做自定義功能的開發。稍微復雜一點的需求場景，可能就需要一個專門的同學搗鼓一陣，才能輸出最終的統計報表。

現在有更先進的套路了。

首先可視化。很多公司打通了前端和後端的數據，這樣就可以通過網頁查詢原始的資料庫得到數據結果。而現在很多優秀的前端可視化插件，已經可以提供非常豐富的統計圖形的支持。而且因為代碼是開源的，可以根據公司的需求場景進行針對性的開發，公司可以再輔以配置一些更加用戶友好的操作界面，這樣一些復雜需求也有了簡單拖拽實現的可能。而且這些前端js代碼都是免費的！對於公司來說也能省去一筆商業公司的采買成本。

其次很多商業軟體，都是針對小數據集場景設計的。在一些大數據集的場景，一般需要先預計算一些中間表。而如果自己公司定製化開發的前端展示結果，就可以根據需要自主設置計算邏輯和配置計算資源，先在後端進行預計算，前端最終只是作為一個結果展示模塊，把結果展示和需要的預計算進行解耦。這樣就省去了很多中間表的產出，也會更加快速的得到想要的業務指標，快速迭代。

所以可視化數據的工作量也會大大減少。而且會變成一個人人都可以操作，快速得到結果的場景。

統計分析

對於一名數據分析師而言，統計學分析可能是一塊知識性的壁壘。尤其是在現在ab實驗成為互聯網公司迭代標配的今天。需要把實驗設計的那套理論應用起來：比如ab實驗進行後的顯著性檢驗，多少樣本量的數據才能讓這個結論有效可信呢。

但是，你我都知道，經典的統計分析其實是一個非常套路性的工作。其實就是套公式，對應到代碼層面，可能也就一兩行就搞定了。這個代碼的統計分析結果可以作為ab平台的指標展示在最終的ab結果上，大家看一眼就能明白。即使是對那些可能不知道顯著性是什麼意思的人，你可以跟他簡單說，顯著了才有效，不顯著就別管。

這么一想是不是其實不怎麼需要投入額外的人力進行分析？

其他數據相關的工作

數據層面的規劃和設計。移動互聯網剛剛興起的時候，可能那時候數據分析師需要對每一個數據怎麼來設計一套方案，包括原始的埋點怎麼樣，又要怎麼統計出想要的結果。但現在大部分已經過了快速迭代的時代了，新產品的埋點添加可以參考老產品，這就意味著形成套路了。而一旦形成套路，其實就意味著可以通過程序直接完成或者輔助完成。

數據報告。那就真的是一件人人都能做的事情了，試想誰沒在大學期間做過數據報告呢？以前只是因為數據都是從分析師產出的，而如果人人都能取到數據的話，數據報告是不是也不是一個真需求呢？

在我看來，數據分析師這個崗位的天花板和其他崗位相比起來是比較低的。可能工作一兩年之後，從崗位本身就已經學不到什麼額外的工作知識了。主要的工作內容技術含量不是特別高，技能性的更多的是一些可以簡單上手的東西，而且做的時間長了，在這些技能性的事情上得到的積累並不是很多。

數據分析師更像是一個在時代變遷過程中的一個中間崗位：我們從一個基本沒有數據的時代，突然進入了一個數據極大豐富的時代，在這個過程中，我們都知道重視數據。那怎麼能夠利用這個數據呢？可能之前的那一幫人並沒有太多的經驗，於是老闆就招一些人專門來研究一下它，同時做一些底層數據的優化。

經過多年的迭代，現在互聯網行業的每個人都知道數據的價值，也大概知道了什麼樣的數據是重要的，怎樣可以更好的挖掘數據背後的價值。同時底層的基礎設施也已經支持可以讓一個之前沒有經驗的同學可以快速的上手得到自己想要的關鍵數據。這時候對於一個職業數據分析師來說，他的任務就已經完成了。就如同當人人都會講英語的時候，翻譯其實也就沒有存在的價值了。

此後的數據分析工作，可能不再是一些單獨的人做的工作。它會變成一個產品和運營的基礎工具，而且足夠簡單，沒有取數的門檻。只是產品運營怎麼樣可以更好的認識數據，通過數據本身更好的配合產品運營的工作，這已經超脫我們一般理解的數據分析師的工作了，而是一個產品運營分內的工作。

對於那些已經在從事數據分析師崗位的同學來說，建議不要把心思全部投入到數據分析的本職工作上，以完成任務為核心KPI。而是不要給自己設置邊界，多從用戶的角度思考問題，不要因為是產品運營的工作就不去做了。數據分析師這個職業發展到這個階段，要麼做更加底層的數據建設，要麼擁抱業務，最大化的發掘數據背後背後的價值。不要再死守著數據分析的「固有技能」沾沾自喜了。

數據本身的價值是無窮的，作為數據分析師，你們已經先人一步的掌握它了，要有先發優勢。你們最接近數據的人，是最可能發現用戶的寶藏的人。

E. 大數據工作都做什麼。我對大數據感興趣，想從事這方面的工作，但是不知道他具體是要做什麼。求解~~

大數據其實分為來2類，一個自是開發類的一個是運維類的，以道教育是開發類的，所以學之前需要決定自己學哪個，決定培訓學習的話可以索取課程體系進行詳細的了解，大數據主要學習java、資料庫和大數據本身的一些東西，東西挺多，篇幅有限

F. kpi真的過時了嗎大數據為何走不進人力資源管理

人力資源用到大數據，那得多大的企業，如果你想分析人力資源的東西版，你可以看看一個工具，大數權據魔鏡，這個是有兩個免費的版本的，一個是雲平台的，一個是離線的安裝版的，對數據的安全有顧慮的話，你可以試試安裝版的，那個是可以斷網使用的不會上傳你的數據，可視化效果很多的，免費的版本的少一些，但是一般的人夠用了

G. 大數據開發工程師的基本職責-崗位職責

大數據開發工程師的基本職責-崗位職責

在學習、工作、生活中，很多情況下我們都會接觸到崗位職責，明確崗位職責能讓員工知曉和掌握崗位職責，能夠最大化的進行勞動用工管理，科學的進行人力配置，做到人盡其才、人崗匹配。我們該怎麼制定崗位職責呢？以下是我為大家整理的大數據開發工程師的基本職責-崗位職責，僅供參考，歡迎大家閱讀。

大數據開發工程師的基本職責-崗位職責1

職責：

1、參與大數據平台搭建以及項目技術架構。

2、數據分析，挖掘，模型具體的產品化；

3、根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎扎實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫（Oracle、postgresql、Mysql、Sql Server）中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用戶行為日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力；喜歡開源軟體，樂於知識分享；對工作認真負責；可以獨立承擔較大工作壓力

大數據開發工程師的基本職責-崗位職責2

職責：

1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的'策略測試計劃，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有扎實的演算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗；

4、對數字貨幣領域感興趣，結果導向；

5、有網頁抓取和爬蟲程序編寫經驗者優先。

大數據開發工程師的基本職責-崗位職責3

職責：

1、大數據日誌分析系統的設計，選型和開發；

2、配合各業務給予數據支持，對產品和運營數據總結和優化；

3、處理用戶海量數據，提取、分析、歸納用戶屬性，行為等信息，完成分析結果；

4、發現並指出數據異常情況，分析數據合理性；

5、公司大數據基礎架構平台的運維，保障數據平台服務的穩定性和可用性；

6、大數據基礎架構平台的監控、資源管理、數據流管理；

7、基於數據分析的可預測的雲平台彈性擴展解決方案。

任職要求：

1、日誌分析數據系統實際經驗；

2、3年以上互聯網行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力；

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安裝與調試；

4、熟悉大數據周邊相關的資料庫系統，關系型資料庫和NoSQL。

5、掌握Linux操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題；

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大數據開發工程師的基本職責-崗位職責4

職責：

1、負責數據分析、加工、清理、處理程序的開發；

2、負責數據相關平台的搭建、維護和優化；

3、負責基於Hadoop/Spark/Hive/kafka等分布式計算平台實現離線分析、實時分析的計算框架的開發；

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟體及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識；

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底層框架和實現原理；

4、使用Spark Streaming和Spark SQL進行數據處理，並具有SPARK SQL優化經驗；

5、需要有至少2年開發經驗，有flink開發經驗優先；

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的基本職責-崗位職責5

職責：

1、負責大數據平台的基礎環境搭建與性能優化，完成平台的構建與維護、實時流計算平台、分布式調度、可視化報表等平台的架構與研發；

2、對各種開源框架進行深入的代碼剖析和優化；

3、參與大數據技術方案評審；

4、指導初中級大數據工程師工作；

崗位要求：

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分布式計算平台研發工作經驗；

2。對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架；

3。具備構建穩定的大數據基礎平台的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗；

4。對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的了解優先；

5。工作有計劃性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

;