大數據公司部門職責

『壹』 大數據運維崗位是干什麼的

大數據運維指互聯網運維，通常是屬於技術部門。其職責：負責大數據平台的穩定性和性能優化；大數據項目的運維虧頌工作；針對業務的需求制定運悶空陵維解決方案；完善監控報警系統，對業務關鍵指標進行監控螞戚和報警通知；負責大數據的方案架構及方案的落地；負責集群網路架構及機器的管理等

『貳』 大數據架構師的基本職責

大數據架構師需要參與規劃從數據源到數據應用的整體流程，並參與相關產品的決策。下面是我為您精心整理的大數據架構師的基本職責。

大數據架構師的基本職責1

職責：

1.負責整個大數據平台架構的設計和構建;

2.負責構建大數據平台的數據交換、任務調度等通用平台;

3.制定開發、測試、實施、維護的標准和規范，指導和培訓工程師，不斷提升團隊能力。

4.參與系統需求分析、架構設計、技術選型、應用設計與開發以及測試與部署，負責編寫核心部分代碼。

5.持續挑戰新的技術方向，攻克大數據量、高並發、高可用、可擴展等技術難點。

任職要求：

1.3年以上大數據架構經驗，豐富的數據倉庫、數據挖掘、機器學習項目經驗

2.大規模數據處理的架構和設計實戰經驗

3.精通Spark、MR，熟練HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，並具有豐富的大型數據平台工程經驗

4.深刻理解大數據處理(流計算，分布式計算，分布式文件系統，分布式存儲等)相關技術和實現方法

5.熟悉主數據、元數據、數據質量等企業數據管理相關的體系和方法，熟練linux/Unix平台上的開發環境

6.本科或以上學歷，計算機軟體或相關專業，豐富的java開發經驗和互聯網背景優先。

7.具有比較強的問題分析和處理能力，有比較優秀的動手能力，熱衷技術，精益求精

大數據架構師的基本職責2

職責：

1. 深刻理解政府行業業務模式，構建政府行業的數據模型，制定公司大數據技術發展路線;

2. 對接業務研究和技術部門，主動搜集和轉化需求，組織數據中心業務開發，進行數據相關產品需求分析和設計;

3. 搭建數據倉庫，研發資料庫管理系統，搜集、提取、處理業務積累的海量數據，開展數據分析和挖掘;

4. 根據公司戰略和發展需要，規劃數據中心重點工作和任務;落實部門人員、事務管理，開展跨部門、跨地區協作，協助對外交流與合作。

職位要求：

1. 5年以上相關工作經驗，有團隊管理和項目管理經驗者優先;

2.了解政府運作機制，掌握財政行業知識，有電子政務行業經驗者優先;

3. 熟練掌握使用Java或Python,精通資料庫查詢語言如SQL，Oracle等,在機器學習模型和演算法方向有應用經驗者優先;

4. 具備數據中心產品策劃整體思維，有大數據處理、分析、挖掘經驗者優先;

5. 邏輯思維嚴密，具備業務抽象、分解和標准化的能力，口頭和書面表達優秀;

6. 有較強的大局意識和良好的團隊合作意識，富有領導力，具備優秀的人際交往和溝通能力。

大數據架構師的基本職責3

職責:

1、從事電信行業大數據項目相關業務調研、產品標准建設、核心模型設計和優化、系統測試等相關工作

2、與數據專業委員會一起研究數據建模方案和建模工具，負責產品線產品的數據架構、數據模型設計

3、參與研究資料庫之間的數據轉換方式，參與項目中的數據移植工作，收集在項目中的數據移植經驗，優化產品的數據模型

4、負責培訓本部門隊伍的數據模型基礎理論工作，建立數據模型團隊

崗位要求：

1、統招本科學歷，3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗，具備大型數據倉庫邏輯模型和物理模型設計經驗，精通SQL，有較好的SQL性能調優經驗;

2、擁有Python，R等數學建模工具的使用經驗，並具備一定的數據處理和建模經驗，可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法並對其進行完整的解釋和說明;

3、熟悉統計學基本原理，做過實戰的數據建模項目;

4、有分布式數據倉庫建設相關經驗者優先，具備電信行業數據倉庫建設相關經驗者優先;

大數據架構師的基本職責4

職責：

1、負責大數據平台的架構設計、核心代碼開發等任務;根據項目要求編寫相關技術文檔;

2、負責大數據平台的架構評審，代碼評審，上線評審;參與數據應用需求、設計、審核和評審;

3、負責核心模塊研發，負責大數據平台的搭建，完成系統調試、集成與實施;

4、負責建立和維護大數據平台技術標准規范，指導開發人員編寫代碼;

任職要求：

1、本科及以上計算機相關專業畢業;

2、精通離線和實時數據處理流程，掌握離線數據處理框架hive、impala、spark-sql等，掌握實時數據處理常用技術工具，包括Storm、SparkStreaming等;

3、熟悉大數據技術生態圈，精通大數據技術架構，有大數據平台構建經驗;

4、掌握常見數據流接入工具，包括Flume、kafka等;

5、熟練掌握基本的Linux操作系統和某種腳本語言編程(如Shell等);

6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經驗者優先;

7、有實際大規模數據(TB級以上)處理經驗優先;

大數據架構師的基本職責5

職責：

1、負責公司的大數據處理框架的研發設計工作，梳理可實現方案和技術規范;

2、開發、完善公司大數據平台;參與公司離線、實時大數據處理系統的設計、開發、測試及多個業務模塊的自動化集成;

3、負責業務平台數據統計分析模塊的設計與規劃;

4、負責公司產品研發過程中的數據及存儲設計;

5、帶領和培養團隊完成組織分解的目標;

任職要求：

1、統招本科及以上學歷，計算機、軟體工程相關專業，至少8年以上工作經驗，5年以上大數據開發經驗;

2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的基礎架構

3、熟悉數據倉庫，數據演算法，分布式計算技術理論，具有大數據整體系統架構設計經驗;

4、熟悉Linux系統，熟練使用shell/perl/python腳本處理問題;

5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優先;

6、能夠組織項目開發組協同工作，包括團隊溝通、計劃、開發環境管理等

『叄』 大數據開發工程師的基本職責-崗位職責

大數據開發工程師的基本職責-崗位職責

在學習、工作、生活中，很多情況下我們都會接觸到崗位職責，明確崗位職責能讓員工知曉和掌握崗位職責，能夠最大化的進行勞動用工管理，科學的進行人力配置，做到人盡其才、人崗匹配。我們該怎麼制定崗位職責呢？以下是我為大家整理的大數據開發工程師的基本職責-崗位職責，僅供參考，歡迎大家閱讀。

大數據開發工程師的基本職責-崗位職責1

職責：

1、參與大數據平台搭建以及項目技術架構。

2、數據分析，挖掘，模型具體的產品化；

3、根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎扎實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫（Oracle、postgresql、Mysql、Sql Server）中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用戶行為日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力；喜歡開源軟體，樂於知識分享；對工作認真負責；可以獨立承擔較大工作壓力

大數據開發工程師的基本職責-崗位職責2

職責：

1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的'策略測試計劃，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有扎實的演算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗；

4、對數字貨幣領域感興趣，結果導向；

5、有網頁抓取和爬蟲程序編寫經驗者優先。

大數據開發工程師的基本職責-崗位職責3

職責：

1、大數據日誌分析系統的設計，選型和開發；

2、配合各業務給予數據支持，對產品和運營數據總結和優化；

3、處理用戶海量數據，提取、分析、歸納用戶屬性，行為等信息，完成分析結果；

4、發現並指出數據異常情況，分析數據合理性；

5、公司大數據基礎架構平台的運維，保障數據平台服務的穩定性和可用性；

6、大數據基礎架構平台的監控、資源管理、數據流管理；

7、基於數據分析的可預測的雲平台彈性擴展解決方案。

任職要求：

1、日誌分析數據系統實際經驗；

2、3年以上互聯網行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力；

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安裝與調試；

4、熟悉大數據周邊相關的資料庫系統，關系型資料庫和NoSQL。

5、掌握Linux操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題；

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大數據開發工程師的基本職責-崗位職責4

職責：

1、負責數據分析、加工、清理、處理程序的開發；

2、負責數據相關平台的搭建、維護和優化；

3、負責基於Hadoop/Spark/Hive/kafka等分布式計算平台實現離線分析、實時分析的計算框架的開發；

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟體及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識；

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底層框架和實現原理；

4、使用Spark Streaming和Spark SQL進行數據處理，並具有SPARK SQL優化經驗；

5、需要有至少2年開發經驗，有flink開發經驗優先；

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的基本職責-崗位職責5

職責：

1、負責大數據平台的基礎環境搭建與性能優化，完成平台的構建與維護、實時流計算平台、分布式調度、可視化報表等平台的架構與研發；

2、對各種開源框架進行深入的代碼剖析和優化；

3、參與大數據技術方案評審；

4、指導初中級大數據工程師工作；

崗位要求：

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分布式計算平台研發工作經驗；

2。對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架；

3。具備構建穩定的大數據基礎平台的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗；

4。對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的了解優先；

5。工作有計劃性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

;

『肆』 大數據架構師工作職能有哪些

職責一：全局復的技術規制劃
全局技術規劃是專職架構師必須要做的工作，全局技術規劃要能非常明確的指引整個團隊在同一時間向同一個方向前進，這對架構師的心力和體力都是有很大的考驗，全局規劃不僅要與業務緊密溝通，還必須有對應的技術深度和廣度，應採取正確的方法論，勇敢做出判斷和決策！
職責二：統一的方法&規范&機制
專職架構師不僅要能夠做出全局技術規劃，還要能提供統一的方法、規范和機制以保障全局技術規劃的順利有序進行，這是一項相對復雜且繁瑣的過程，需進行全方位的拆解，直到權責清晰對等。
職責三：完備的基礎構建
基礎構建的完備程度對全局技術規劃來說是十分重要的，為全局技術規劃得以順利實施提供了強大的武器庫，因此，專職架構師要制定完備的基礎構建。
職責四：落地的規劃才是架構
這是對專職架構師最大的挑戰，專職架構師應實時關注全局技術規劃實施的進度，把控發展的方向，以確保與規劃預期結果保持一致！

『伍』 大數據開發所在的部門名稱

大數據事業部。
崗位職責：負責構建分布式大數據服務平台，包含大數據存儲，離線/實時計算，實時查詢，大數據系統運維等工作。基於大數據平台完成各類統計和開發任務，承擔數據抽取、清洗、轉化等數據處理。熟悉業務形態，參與需求分析和方案設計。協助承擔架構性體系工作，配合技術實施方案、交流材料的編寫。從事大數據相關技術研究，跟進大數據技術發展方向。
大數據(bigdata)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。

『陸』 大數據運維工程師的具體職責描述

大數據運維工程師需要負責公司大數據平台的運維管理工作，集群容量規劃、擴容及性能優化。下面是我為您精心整理的大數據運維工程師的具體職責描述。

大數據運維工程師的具體職責描述1

職責：

1、負責數據平台的運維管理工作(部署、監控、優化、故障處理);

2、負責Hadoop/Spark/Flink/Elasticsearch/Kafka等系統的架構審核、容量規劃、成本優化;

3、負責大數據平台的用戶管理、許可權分配、資源分配;

4、參與數據挖掘、機器學習的平台的設計、並給出可執行的運維方案;

5、參與數據平台的相關工具開發(包括自動化部署、監控、ETL等);

6、深入理解數據平台架構，發現並解決故障隱患及性能瓶頸;

7、ETL工具、調度工具、關系型資料庫的運維。

任職資格：

1、本科以上學歷，計算機軟體相關專業;

2、1年以上大數據相關組件運維經驗(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP維護經驗，3年以上系統運維相關經驗;

3、深入理解Linux系統，能獨立部署開源軟體，熟練掌握一門以上腳本語言(shell/perl/python等)，熟悉python開發語言優先;

4、邏輯思維能力強，做事有條理，責任心強，工作積極主動，執行力強，有良好的團隊協作意識。

大數據運維工程師的具體職責描述2

職責

1. 負責大數據ETL系統，運維及保障服務穩定可用;

2. 負責數據採集交換方案以及聯調測試;

3. 負責採集交換任務的評審和上線;

4. 負責及時排除ETL流程故障，形成知識庫，完善運維文檔;

5. 負責監控和優化ETL的性能,持續性地提出改進自動化運維平台建議

技能要求

1. 計算機科學或相關專業本科及以上學歷;

2. 熟悉Linux系統,熟練編寫shell/perl/python一種或多種腳本語言;

3. 熟悉Hive、Hadoop、MapRece集群原理，有hadoop大數據平台運維經驗者優先;

4. 熟悉資料庫的性能優化、SQL調優，有相應經驗;

5. 抗壓能力強，有強烈的責任心，良好的溝通能力、學習能力及團隊合作能力。

大數據運維工程師的具體職責描述3

職責：

1、負責分布式大數據平台產品的運維和運維開發，保證其高可用和穩定性;

2、負責大數據系統架構的可運維性設計、容量規劃、服務監控，持續優化服務架構、集群性能;

3、通過技術手段控制和優化成本，通過自動化工具及流程提升大數據平台運維效率;

4、為項目開發人員提供大數據技術指導及解決大數據平台應用中遇到的技術難題;

任職資格：

1、三年以上大數據運維相關工作經驗，有大型互聯網公司工作經驗者優先，全日制本科及以上學歷;

2、熟練掌握至少一門開發語言，有Java或Python語言開發經驗優先;

3、精通Hadoop生態及高性能緩存相關的各種工具並有實戰經驗，包括但不限於Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;

4、熟悉Mysql等常用關系資料庫，熟練編寫SQL語句，有分布式nosql資料庫應用、性能調優經驗優先;

5、熟悉Linux環境，能夠熟悉使用shell腳本;

6、對大數據技術有強烈興趣，有志於往大數據方向深層次發展;

7、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

8、具備較好的溝通能力、主動性及責任感。

大數據運維工程師的具體職責描述4

職責：

1、負責大數據集群的日常維護、監控、異常處理等工作，保障集群穩定運行;

2、負責大數據批處理管理以及運維;

3、負責大數據集群的用戶管理、許可權管理、資源管理、性能優化等;

4、深入理解數據平台架構，發現並解決重大故障及性能瓶頸，打造一流的數據平台;

5、跟進大數據前沿技術，不斷優化數據集群;

6、有華為大數據平台運維經驗優先;

崗位要求：

1、1年以上大數據運維或開發經驗;

2、有良好的計算機和網路基礎，熟悉linux文件系統、內核、性能調優，TCP/IP、HTTP等協議;

3、熟悉大數據生態，有相關(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的運維及開發經驗;

4、熟練使用shell、python等腳本語言開發相關運維管理工具;

5、良好的文檔撰寫習慣;

大數據運維工程師的具體職責描述5

職責：

1、負責公司內部及項目中大數據集群的構建，任務調度、監控預警，持續完善大數據平台，保證穩定性、安全性;

2、負責集群容量規劃、擴容、集群性能優化及日常巡檢和應急值守，參與大數據基礎環境的架構設計與改進;

3、深入研究大數據業務相關運維技術，探索新的運維技術及發展方向。

任職要求：

1、熟悉Linux基礎命令操作，能夠獨立編寫Shell腳本開展日常伺服器的運維;

2、熟悉Hadoop生態圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調優;

3、熟悉軟硬體設備，網路原理，有豐富的大數據平台部署，性能優化和運維經驗;

4、工作認真負責，有較強的學習能力，動手能力和分析解決問題的能力;

5、能夠利用各種開源監控工具、運維工具，HA、負載均衡軟體完成工作任務;

6、熟悉JVM虛擬機調優;