1. 大數據架構師崗位的主要職責概述
職責:
1、負責大數據平台及BI系統框架設計、規劃、技術選型,架構設計並完成系統基礎服務的開發;
2、負責海量埋點規則、SDK標准化、埋點數據採集、處理及存儲,業務數據分布存儲、流式/實時計算等應用層架構搭建及核心代碼實現;
3、開發大數據平台的核心代碼,項目敏捷開發流程管理,完成系統調試、集成與實施,對每個項目周期技術難題的解決,保證大數據產品的上線運行;
4、負責大數據平台的架構優化,代碼評審,並根據業務需求持續優化數據架構,保證產品的可靠性、穩定性;
5、指導開發人員完成數據模型規劃建設,分析模型構建及分析呈現,分享技術經驗;
6、有效制定各種突發性研發技術故障的應對預案,有清晰的隱患意識;
7、深入研究大數據相關技術和產品,跟進業界先進技術;
任職要求
1、統計學、應用數學或計算機相關專業大學本科以上學歷;
2、熟悉互聯網移動端埋點方法(點擊和瀏覽等行為埋點),無埋點方案等,有埋點SDK獨立開發經驗者優選;
3、熟悉Hadoop,MR/MapRece,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具備實際項目設計及開發經驗;
4、熟悉數據採集、數據清洗、分析和建模工作相關技術細節及流程
5、熟悉Liunx/Unix操作系統,能熟練使用shell/perl等腳本語言,熟練掌握java/python/go/C++中一種或多種編程語言
6、具備一定的演算法能力,了解機器學習/深度學習演算法工具使用,有主流大數據計算組件開發和使用經驗者優先
7、熟悉大數據可視化工具Tableau/echarts
8、具有較強的執行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;
職責:
根據大數據業務需求,設計大數據方案及架構,實現相關功能;
搭建和維護大數據集群,保證集群規模持續、穩定、高效平穩運行;
負責大數據業務的設計和指導具體開發工作;
負責公司產品研發過程中的數據及存儲設計;
針對數據分析工作,能夠完成和指導負責業務數據建模。
職位要求:
計算機、自動化或相關專業(如統計學、數學)本科以上學歷,3年以上大數據處理相關工作經驗;
精通大數據主流框架(如Hadoop、hive、Spark等);
熟悉MySQL、NoSQL(MongoDB、Redis)等主流資料庫,以及rabbit MQ等隊列技術;
熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;
熟悉常用的數據挖掘演算法優先。
職責:
1、大數據平台架構規劃與設計;
2、負責大數據平台技術框架的選型與技術難點攻關;
3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作,根據系統的業務需求,能夠指導開發團隊完成實施工作;
4、負責數據基礎架構和數據處理體系的升級和優化,不斷提升系統的穩定性和效率,為相關的業務提供大數據底層平台的支持和保證;
5、培養和建立大數據團隊,對團隊進行技術指導。
任職要求:
1、計算機相關專業的背景專業一類院校畢業本科、碩士學位,8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);
2、精通Java,J2EE相關技術,精通常見開源框架的架構,精通關系資料庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;
3、精通SQL和Maprece、Spark處理方法;
4、精通大數據系統架構,熟悉業界數據倉庫建模方法及新的建模方法的發展,有DW,BI架構體系的專項建設經驗;
5、對大數據體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術,並能設計相關數據模型;
6、很強的學習、分析和解決問題能力,可以迅速掌握業務邏輯並轉化為技術方案,能獨立撰寫項目解決方案、項目技術文檔;
7、具有較強的內外溝通能力,良好的團隊意識和協作精神;
8、機器學習技術、數據挖掘、人工智慧經驗豐富者優先考慮;
9、具有能源電力行業工作經驗者優先。
職責:
1.參與公司數據平台系統規劃和架構工作,主導系統的架構設計和項目實施,確保項目質量和關鍵性能指標達成;
2.統籌和推進製造工廠內部數據系統的構建,搭建不同來源數據之間的邏輯關系,能夠為公司運營診斷、運營效率提升提供數據支持;
3.負責數據系統需求對接、各信息化系統數據對接、軟體供應商管理工作
5.根據現狀制定總體的數據治理方案及數據體系建立,包括數據採集、接入、分類、開發標准和規范,制定全鏈路數據治理方案;深入挖掘公司數據業務,超強的數據業務感知力,挖掘數據價值,推動數據變現場景的落地,為決策及業務賦能;
6.定義不同的數據應用場景,推動公司的數據可視化工作,提升公司數據分析效率和數據價值轉化。
任職要求:
1.本科以上學歷,8年以上軟體行業從業經驗,5年以上大數據架構設計經驗,熟悉BI平台、大數據系統相關技術架構及技術標准;
2.熟悉數據倉庫、熟悉數據集市,了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;
3.熟悉大數據相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉製造企業信息化系統及相關資料庫技術;
5.具備大數據平台、計算存儲平台、可視化開發平台經驗,具有製造企業大數據系統項目開發或實施經驗優先;
6.對數據敏感,具備優秀的業務需求分析和報告展示能力,具備製造企業數據分析和數據洞察、大數據系統的架構設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協調能力,具備結果導向思維,有相關項目管理經驗優先。
職責:
1.負責產品級業務系統架構(如業務數據對象識別,數據實體、數據屬性分析,數據標准、端到端數據流等)的設計與優化。協助推動跨領域重大數據問題的分析、定位、解決方案設計,從架構設計上保障系統高性能、高可用性、高安全性、高時效性、分布式擴展性,並對系統質量負責。
2.負責雲數據平台的架構設計和數據處理體系的優化,推動雲數據平台建設和持續升級,並制定雲數據平台調用約束和規范。
3.結合行業應用的需求負責數據流各環節上的方案選型,主導雲數據平台建設,參與核心代碼編寫、審查;數據的統計邏輯回歸演算法、實時交互分析;數據可視化方案等等的選型、部署、集成融合等等。
4.對雲數據平台的關注業內技術動態,持續推動平台技術架構升級,以滿足公司不同階段的數據需求。
任職要求:
1.熟悉雲計算基礎平台,包括linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎環境,熟悉控制、計算、存儲和網路;
2.掌握大型分布式系統的技術棧,如:CDN、負載均衡、服務化/非同步化、分布式緩存、NoSQL、資料庫垂直及水平擴容;熟悉大數據應用端到端的相關高性能產品。
3.精通Java,Python,Shell編程語言,精通SQL、NoSQL等資料庫增刪改查的操作優化;
4.PB級別實戰數據平台和生產環境的實施、開發和管理經驗;
5.熟悉Docker等容器的編排封裝,熟悉微服務的開發和日常調度;
6.計算機、軟體、電子信息及通信等相關專業本科以上學歷,5年以上軟體工程開發經驗,2年以上大數據架構師工作經驗。
職責描述:
1、負責集團大數據資產庫的技術架構、核心設計方案,並推動落地;
2、帶領大數據技術團隊實現各項數據接入、數據挖掘分析及數據可視化;
3、新技術預研,解決團隊技術難題。
任職要求:
1、在技術領域有5年以上相關經驗,3年以上的架構設計或產品經理經驗;
2、具有2年以上大數據產品和數據分析相關項目經驗;
3、精通大數據分布式系統(hadoop、spark、hive等)的架構原理、技術設計;精通linux系統;精通一門主流編程語言,java優先。
崗位職責:
1、基於公司大數據基礎和數據資產積累,負責大數據應用整體技術架構的設計、優化,建設大數據能力開放平台;負責大數據應用產品的架構設計、技術把控工作。
2、負責制定大數據應用系統的數據安全管控體系和數據使用規范。
3、作為大數據技術方案到產品實現的技術負責人,負責關鍵技術點攻堅工作,負責內部技術推廣、培訓及知識轉移工作。
4、負責大數據系統研發項目任務規劃、整體進度、風險把控,有效協同團隊成員並組織跨團隊技術協作,保證項目質量與進度。
5、負責提升產品技術團隊的技術影響力,針對新人、普通開發人員進行有效輔導,幫助其快速成長。
任職資格:
1、計算機、數學或相關專業本科以上學歷,5—20xx年工作經驗,具有大型系統的技術架構應用架構數據架構相關的實踐工作經驗。
2、有分布式系統分析及架構設計經驗,熟悉基於計算集群的軟體系統架構和實施經驗。
3、掌握Hadoop/Spark/Storm生態圈的主流技術及產品,深入了解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。
4、掌握Mysql/Oracle等常用關系型資料庫,能夠對SQL進行優化。
5、熟悉分布式系統基礎設施中常用的技術,如緩存(Varnish、Memcache、Redis)、消息中間件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實踐經驗者優先。
6、熟悉Linux,Java基礎扎實,至少3—5年以上Java應用開發經驗,熟悉常用的設計模式和開源框架。
崗位職責:
1、負責公司大數據平台架構的技術選型和技術難點攻關工作;
2、依據行業數據現狀和客戶需求,完成行業大數據的特定技術方案設計與撰寫;
3、負責研究跟進大數據架構領域新興技術並在公司內部進行分享;
4、參與公司大數據項目的技術交流、解決方案定製以及項目的招投標工作;
5、參與公司大數據項目前期的架構設計工作;
任職要求:
1、計算機及相關專業本科以上,5年以上數據類項目(數據倉庫、商務智能)實施經驗,至少2年以上大數據架構設計和開發經驗,至少主導過一個大數據平台項目架構設計;
2、精通大數據生態圈的技術,包括但不限於MapRece、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先;
3、優秀的方案撰寫能力,思路清晰,邏輯思維強,能夠根據業務需求設計合理的解決方案;
4、精通ORACLE、DB2、mySql等主流關系型資料庫,熟悉數據倉庫建設思路和數據分層架構思想;
5。熟練掌握java、R、python等1—2門數據挖掘開發語言;
6。熟悉雲服務平台及微服務相關架構思想和技術路線,熟悉阿里雲或騰訊雲產品者優先;
7、有煙草或製造行業大數據解決方案售前經驗者優先;
8、能適應售前支持和項目實施需要的短期出差;
崗位職責:
1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化;
2、負責解決項目上線後生產環境的各種實際問題,保障大數據平台在生產上的安全、平穩運行;
3、推動優化跨部門的業務流程,參與業務部門的技術方案設計、評審、指導;
4、負責技術團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公,月底項目結束後在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術擔當,解決核心技術問題;
2、3年以上大數據平台項目架構或開發經驗,對大數據生態技術體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實踐,注重文檔管理、注重工程規范優先;
4、熟悉Java後台開發體系,具備微服務架構的項目實施經驗,有Dubbo/Spring cloud微服務架構設計經驗優先;
5、性格開朗、善於溝通,有極強的技術敏感性和自我驅動學習能力,注重團隊意識。
職責描述:
1、負責大數據平台框架的規劃設計、搭建、優化和運維;
2、負責架構持續優化及系統關鍵模塊的設計開發,協助團隊解決開發過程中的技術難題;
3、負責大數據相關新技術的調研,關注大數據技術發展趨勢、研究開源技術、將新技術應用到大數據平台,推動數據平台發展;
4、負責數據平台開發規范制定,數據建模及核心框架開發。
任職要求:
1、計算機、數學等專業本科及以上學歷;
2、具有5年及以上大數據相關工作經驗;
3、具有扎實的大數據和數據倉庫的理論功底,負責過大數據平台或數據倉庫設計;
4、基於hadoop的大數據體系有深入認識,具備相關產品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)項目應用研發經驗,有hadoop集群搭建和管理經驗;
5、熟悉傳統數據倉庫數據建模,etl架構和開發流程,使用過kettle、talend、informatic等至少一種工具;
6、自驅力強、優秀的團隊意識和溝通能力,對新技術有好奇心,學習能力和主動性強,有鑽研精神,充滿激情,樂於接受挑戰;