運維開發崗和大數據工程師

① 大數據運維工程師的具體職責描述

大數據運維工程師需要負責公司大數據平台的運維管理工作，集群容量規劃、擴容及性能優化。下面是我為您精心整理的大數據運維工程師的具體職責描述。

大數據運維工程師的具體職責描述1

職責：

1、負責數據平台的運維管理工作(部署、監控、優化、故障處理);

2、負責Hadoop/Spark/Flink/Elasticsearch/Kafka等系統的架構審核、容量規劃、成本優化;

3、負責大數據平台的用戶管理、許可權分配、資源分配;

4、參與數據挖掘、機器學習的平台的設計、並給出可執行的運維方案;

5、參與數據平台的相關工具開發(包括自動化部署、監控、ETL等);

6、深入理解數據平台架構，發現並解決故障隱患及性能瓶頸;

7、ETL工具、調度工具、關系型資料庫的運維。

任職資格：

1、本科以上學歷，計算機軟體相關專業;

2、1年以上大數據相關組件運維經驗(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP維護經驗，3年以上系統運維相關經驗;

3、深入理解linux系統，能獨立部署開源軟體，熟練掌握一門以上腳本語言(shell/perl/python等)，熟悉python開發語言優先;

4、邏輯思維能力強，做事有條理，責任心強，工作積極主動，執行力強，有良好的團隊協作意識。

大數據運維工程師的具體職責描述2

職責

1. 負責大數據ETL系統，運維及保障服務穩定可用;

2. 負責數據採集交換方案以及聯調測試;

3. 負責採集交換任務的評審和上線;

4. 負責及時排除ETL流程故障，形成知識庫，完善運維文檔;

5. 負責監控和優化ETL的性能,持續性地提出改進自動化運維平台建議

技能要求

1. 計算機科學或相關專業本科及以上學歷;

2. 熟悉Linux系統,熟練編寫shell/perl/python一種或多種腳本語言;

3. 熟悉Hive、Hadoop、MapRece集群原理，有hadoop大數據平台運維經驗者優先;

4. 熟悉資料庫的性能優化、SQL調優，有相應經驗;

5. 抗壓能力強，有強烈的責任心，良好的溝通能力、學習能力及團隊合作能力。

大數據運維工程師的具體職責描述3

職責：

1、負責分布式大數據平台產品的運維和運維開發，保證其高可用和穩定性;

2、負責大數據系統架構的可運維性設計、容量規劃、服務監控，持續優化服務架構、集群性能;

3、通過技術手段控制和優化成本，通過自動化工具及流程提升大數據平台運維效率;

4、為項目開發人員提供大數據技術指導及解決大數據平台應用中遇到的技術難題;

任職資格：

1、三年以上大數據運維相關工作經驗，有大型互聯網公司工作經驗者優先，全日制本科及以上學歷;

2、熟練掌握至少一門開發語言，有Java或Python語言開發經驗優先;

3、精通Hadoop生態及高性能緩存相關的各種工具並有實戰經驗，包括但不限於Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;

4、熟悉Mysql等常用關系資料庫，熟練編寫SQL語句，有分布式nosql資料庫應用、性能調優經驗優先;

5、熟悉Linux環境，能夠熟悉使用shell腳本;

6、對大數據技術有強烈興趣，有志於往大數據方向深層次發展;

7、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

8、具備較好的溝通能力、主動性及責任感。

大數據運維工程師的具體職責描述4

職責：

1、負責大數據集群的日常維護、監控、異常處理等工作，保障集群穩定運行;

2、負責大數據批處理管理以及運維;

3、負責大數據集群的用戶管理、許可權管理、資源管理、性能優化等;

4、深入理解數據平台架構，發現並解決重大故障及性能瓶頸，打造一流的數據平台;

5、跟進大數據前沿技術，不斷優化數據集群;

6、有華為大數據平台運維經驗優先;

崗位要求：

1、1年以上大數據運維或開發經驗;

2、有良好的計算機和網路基礎，熟悉linux文件系統、內核、性能調優，TCP/IP、HTTP等協議;

3、熟悉大數據生態，有相關(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的運維及開發經驗;

4、熟練使用shell、python等腳本語言開發相關運維管理工具;

5、良好的文檔撰寫習慣;

大數據運維工程師的具體職責描述5

職責：

1、負責公司內部及項目中大數據集群的構建，任務調度、監控預警，持續完善大數據平台，保證穩定性、安全性;

2、負責集群容量規劃、擴容、集群性能優化及日常巡檢和應急值守，參與大數據基礎環境的架構設計與改進;

3、深入研究大數據業務相關運維技術，探索新的運維技術及發展方向。

任職要求：

1、熟悉Linux基礎命令操作，能夠獨立編寫Shell腳本開展日常伺服器的運維;

2、熟悉Hadoop生態圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調優;

3、熟悉軟硬體設備，網路原理，有豐富的大數據平台部署，性能優化和運維經驗;

4、工作認真負責，有較強的學習能力，動手能力和分析解決問題的能力;

5、能夠利用各種開源監控工具、運維工具，HA、負載均衡軟體完成工作任務;

6、熟悉JVM虛擬機調優;

② 大數據開發工程師的基本職責-崗位職責

大數據開發工程師的基本職責-崗位職責

在學習、工作、生活中，很多情況下我們都會接觸到崗位職責，明確崗位職責能讓員工知曉和掌握崗位職責，能夠最大化的進行勞動用工管理，科學的進行人力配置，做到人盡其才、人崗匹配。我們該怎麼制定崗位職責呢？以下是我為大家整理的大數據開發工程師的基本職責-崗位職責，僅供參考，歡迎大家閱讀。

大數據開發工程師的基本職責-崗位職責1

職責：

1、參與大數據平台搭建以及項目技術架構。

2、數據分析，挖掘，模型具體的產品化；

3、根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎扎實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫（Oracle、postgresql、Mysql、Sql Server）中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用戶行為日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力；喜歡開源軟體，樂於知識分享；對工作認真負責；可以獨立承擔較大工作壓力

大數據開發工程師的基本職責-崗位職責2

職責：

1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的'策略測試計劃，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有扎實的演算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗；

4、對數字貨幣領域感興趣，結果導向；

5、有網頁抓取和爬蟲程序編寫經驗者優先。

大數據開發工程師的基本職責-崗位職責3

職責：

1、大數據日誌分析系統的設計，選型和開發；

2、配合各業務給予數據支持，對產品和運營數據總結和優化；

3、處理用戶海量數據，提取、分析、歸納用戶屬性，行為等信息，完成分析結果；

4、發現並指出數據異常情況，分析數據合理性；

5、公司大數據基礎架構平台的運維，保障數據平台服務的穩定性和可用性；

6、大數據基礎架構平台的監控、資源管理、數據流管理；

7、基於數據分析的可預測的雲平台彈性擴展解決方案。

任職要求：

1、日誌分析數據系統實際經驗；

2、3年以上互聯網行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力；

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安裝與調試；

4、熟悉大數據周邊相關的資料庫系統，關系型資料庫和NoSQL。

5、掌握Linux操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題；

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大數據開發工程師的基本職責-崗位職責4

職責：

1、負責數據分析、加工、清理、處理程序的開發；

2、負責數據相關平台的搭建、維護和優化；

3、負責基於Hadoop/Spark/Hive/kafka等分布式計算平台實現離線分析、實時分析的計算框架的開發；

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟體及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識；

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底層框架和實現原理；

4、使用Spark Streaming和Spark SQL進行數據處理，並具有SPARK SQL優化經驗；

5、需要有至少2年開發經驗，有flink開發經驗優先；

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的基本職責-崗位職責5

職責：

1、負責大數據平台的基礎環境搭建與性能優化，完成平台的構建與維護、實時流計算平台、分布式調度、可視化報表等平台的架構與研發；

2、對各種開源框架進行深入的代碼剖析和優化；

3、參與大數據技術方案評審；

4、指導初中級大數據工程師工作；

崗位要求：

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分布式計算平台研發工作經驗；

2。對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架；

3。具備構建穩定的大數據基礎平台的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗；

4。對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的了解優先；

5。工作有計劃性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

;

③ 大數據都有哪些就業方向

當下，大數據方面的就業主要有三大方向：一是數據分析類大數據人才，二是系統研發類大數據人才，三是應用開發類大數據人才。他們的基礎崗位分別是大數據系統研發工程師、大數據應用開發工程師、大數據分析師。對於求職者來說，大數據只是所從事事業的一個方向，而職業崗位則是決定做什麼事?大數據從業者/求職者可以根據自身所學技術及興趣特徵，選擇一個適合自己的大數據相關崗位。
大數據就業前景
在就業「錢景」方面，各大互聯網公司都在囤積大數據處理人才，從業人員的薪資待遇也很不錯。以基本的Hadoop開發工程師為例，入門月薪已經達到了8K以上，工作1年月薪可達到12K以上，資深的hadoop人才年薪可達到30萬—50萬。
大數據開發工程師
數據倉庫開發、實時計算開發、大數據平台開發一般都會被稱作大數據開發，其實這是3個崗位，各自要求也不盡相同。
大數據開發工程師
數據倉庫開發、實時計算開發、大數據平台開發一般都會被稱作大數據開發，其實這是3個崗位，各自要求也不盡相同。
大數據分析師
基於各種分析手段，利用大數據技術對大數據進行科學分析、挖掘、展現並用於決策支持。
數據挖掘工程師
數據挖掘工程師，也可以叫做「數據挖掘專家」。數據挖掘是通過分析每個數據，從大量數據中尋找其規律的技術。
演算法工程師
數據挖掘、互聯網搜索演算法這些體現大數據發展方向的演算法，在近幾年越來越流行，而且演算法工程師也逐漸朝向人工智慧的方向發展。
數據安全研究
數據安全這一職位，主要負責企業內部大型伺服器、存儲、數據安全管理工作，並對網路、信息安全項目進行規劃、設計和實施。

④ 大數據開發工程師以後可以從事哪些崗位

大數據開發工程師，其實包括的具體的崗位很多，包括：
大數據開發工程師、大數據架構工程師、大數據運維工程師、數據可視化工程師、數據採集工程師、數據挖掘工程師、機器學習工程師、深度學習工程師、演算法工程師等等，都可以算是大數據開發工程師的范疇。
從定義上來說，研究和開發大數據採集、清洗、存儲及管理、分析及挖掘、展現及應用等有關崗位的從業者，都可以稱為大數據開發工程師。

⑤ 大數據運維工程師的基本職責

大數據運維工程師需要處理公司大數據平台各類異常和故障，確保系統平台的穩定運行。下面是我為您精心整理的大數據運維工程師的基本職責。

大數據運維工程師的基本職責1

職責:

1、技術保障各底層支撐系統的可靠性與穩定性;

2、負責車輛網平台的運行監控的解決方案編制、實施與二次功能開發;

3、負責技術文檔手冊編寫，更新，經驗總結沉澱，培訓分享;

4、負責對新技術和方案進行調研，評估和引進，用技術去提升運維生產效率

任職資格:

1、熟悉常見的應用服務部署和調優(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、負載均衡集群的規劃與搭建;

2、熟練使用Linux、TCP/IP網路協議棧，了解常用的Troubleshooting手段和常見性能指標

3、具有車聯網平台運維的經驗，精於容量規劃、架構設計、性能優化;

4、熟悉主流PaaS雲產品的使用，具有運維平台開發經驗者、參與過開源產品的開發者優先;

5、優秀的溝通能力，出色的學習與鑽研能力，良好的問題分析與解決能力;

6、對行業技術敏感度高且細致，善於思考，樂於發現，對解決具有挑戰性問題充滿激情。

大數據運維工程師的基本職責2

職責：

1、負責維護伺服器的運行，包括巡檢、故障排除、數據備份等業務，保證伺服器高質量、高效率運行狀態;

2、負責伺服器漏洞整改及補丁升級;

3、負責hadoop運維相關工作;

4、負責大數據平台的日常部署、升級、擴容、遷移;

5、負責高並發，大存儲和實時流的Hadoop/spark大數據平台規劃，運維，監控和優化工作。

任職資格：

1、2年左右伺服器運維經驗;

2、對linux基礎運維命令熟悉，shell,python至少精通一種，如會scala語言可優先考慮;

3、熟悉Linux的維護和管理，熟悉bat及Shell腳本開發，能看懂Python/Scala優先;

4、做過大規模hadoop集群優先;

5、大數據項目：包括不限於hadoop、hive、kafka、hbase、spark、Ku、Impala等大數據生態的平台搭建，監控，運維，調優、生產環境hadoop集群trouble shooting 、hadoop版本升級管理及優化支持。

大數據運維工程師的基本職責3

職責:

1、負責Hadoop平台搭建，運維，管理，故障處理。

2、負責保障大數據平台的高效運轉、提升系統穩定性和安全性。

3、對平台的Hadoop，Hbase，Kafka，Hive等進行優化。

4、建立Hadoop集群管理和維護規范，包括版本管理和變更記錄等。

崗位要求:

1、有豐富的Hadoop生態系統的運維經驗，了解Hadoop、Storm、Spark、Kafka這些組件的原理，具備部署、實施、維護hadoop 及相關組件的能力;

2、至少精通 Perl/Python/Shell腳本語言中的一種;

3、掌握Linux操作系統的配置，管理、優化以及各種常用命令，能夠獨立排查及解決操作系統層的各類問題;

4、分析問題能力優秀，善於從各種系統、應用日誌中尋找出問題的原因。

5、有獨立分析問題和解決問題的能力，能出差。

大數據運維工程師的基本職責4

職責：

1.負責Hadoop、spark、hbase、oozie、hive等平台運營和優化工作，保障平台服務運行穩定、高效。

2.負責大數據方案架構及方案落地;

3.開發Hadoop大數據管理平台與監控建設;

3.負責hadoop平台部署、維護;生產問題、告警、故障處理及伺服器維護、日常值班;

4.負責集群網路架構、機器管理等。

任職資格：

1. 全日制本科以上學歷，三年以上後台系統運營工作經驗;

2. 熟悉hadoop原理，具有Hadoop平台應用及管理經驗，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等開源項目及部署、維護、調優;

3. 熟悉linux操作系統及調優;熟悉sql編程，熟悉Shell/Python/Java/Perl語言的一種或多種，有開發經驗優先， 熟悉nagios,cacti,ganglia,zabbix,zenoss優先;

4. 對大數據和自動化運維開發有濃厚興趣，有大規模hadoop運維經驗者優先;有hadoop/hbase/spark/hive 開發經驗者優先。

大數據運維工程師的基本職責5

職責：

1. 負責大數據平台的穩定性和性能優化;

2. 負責大數據項目的運維工作;

3. 針對業務需求制定統一的運維解決方案;

4. 完善自動監控報警系統，對業務層面關鍵指標進行監控與報警通知;

任職要求：

1、熟練掌握hadoop平台搭建、維護，有平台優化經驗;

2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等組件的原理，有閱讀源碼能力者優先;

3、熟悉騰訊雲產品，有騰訊雲EMR使用經驗者優先考慮;

⑥ 雲計算大數據專業可以做什麼工作 主要有這些崗位

在當前的大數據時代背景下，選擇大數據專業是不錯的選擇，目前我國這方面人才緊缺，那麼大數據有哪些工作崗位呢？

從大的崗位劃分上來看，當前大數據崗位可以分為開發崗、演算法崗（數據分析）、運維崗等，開發崗的任務涉及到兩大方面，其一是完成業務實現，其二是完成數據生產，目前很多傳統軟體開發任務正在逐漸向大數據開發過渡，這也導致當前大數據開發崗的人才需求量更大一些。從事大數據開發崗，還需要重點學習雲計算相關的知識，尤其是PaaS（平台即服務）。

大數據開發崗位是當前人才需求量比較大的崗位之一，不論是本科生還是研究生，當前選擇大數據開發崗位會有相對較大的選擇空間。大數據開發崗位分為平台研發崗位和行業場景開發崗位兩大類，通常大數據平台研發崗位對於從業者的要求相對比較高，屬於研發級崗位，而大數據行業應用場景開發則相對要容易一些。

大數據專業是一個比較典型的交叉學科，涉及到的內容包括數學、統計學和計算機三大學科，所以學習的內容還是比較多的，如果不能做好一個系統的學習規劃，很容易導致學得雜而不精，這對於就業會產生一定的負面影響。所以，本科期間應該選擇一個主攻方向，圍繞這個主攻方向來組織知識結構和提升實踐能力。

眾所周知大數據的方向主要分三個：1、大數據開發方向：涉及的崗位諸如大數據工程師、大數據維護工程師、大數據研發工程師、大數據架構師等；2、數據挖掘、數據分析和機器學習方向：涉及的崗位諸如大數據分析師、大數據高級工程師、大數據分析師專家、大數據挖掘師、大數據演算法師等；3、大數據運維和雲計算方向：涉及的崗位諸如大數據運維工程師等。

由此可見，大數據的就業崗位是非常多的，而且只要能熟練掌握或者精通一門，就能取得非常不錯的成績。甚至在該方向能獨當一面的話，那個人價值就不言而喻了。

⑦ 大數據開發工程師以後可以從事哪些崗位

首先大數據開發工程師有兩個方面，一個是工作內容，一個是崗位要求

工作內容：主要是基於Hadoop、Spark等平台上面進行開發，各種開源技術框架平台很多，需要看企業實際的選擇是什麼，但目前Hadoop、Spark仍然占據廣大市場。

崗位要求：精通Java技術知識，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等應用設計及開發。
1、大數據工程師
大數據工程師的話其實包含了很多，比如大數據開發，測試，運維，挖據等等，各個崗位不同薪資水平也不大相同。
2、Hadoop開發工程師
職位描述：參與優化改進新浪集團數據平台基礎服務，參與日傳輸量超過百TB的數據傳輸體系優化，日處理量超過PB級別的數據處理平台改進，多維實時查詢分析系統的構建優化。
3、大數據研發工程師
職位描述：構建分布式大數據服務平台，參與和構建公司包括海量數據存儲、離線/實時計算、實時查詢，大數據系統運維等系統；服務各種業務需求，服務日益增長的業務和數據量。
4、大數據架構師
職位描述：這個就是全能的大數據崗位，技術要求是非常全面的，更多的站在架構角度出發。
5、大數據分析師
工作職責:根據公司產品和業務需求，利用數據挖掘等工具對多種數據源進行診斷分析，建設徵信分析模型並優化，為公司徵信運營決策、產品設計等方面提供數據支持；負責項目的需求調研、數據分析、商業分析和數據挖掘模型等，通過對運行數據進行分析挖掘背後隱含的規律及對未來的預測。

⑧ 大數據工程師主要做什麼

當前大數據平台開發崗位的附加值還是比較高的，大數據平台開發崗位往往集中在大回型互聯網企業，隨著雲計算逐漸答從IaaS向PaaS過渡，大數據平台開發也會基於行業特點來開發針對性比較強的PaaS平台，這是整合行業資源並搭建技術生態的一個關鍵。搭建PaaS平台不僅需要掌握大數據知識，同時還需要掌握雲計算知識，實際上大數據和雲計算本身就有比較緊密的聯系，二者在技術體系結構上都是以分布式存儲和分布式計算為基礎，只不過關注點不同而已。

大數據運維工程師以搭建大數據平台為主，雖然這部分崗位的門檻相對比較低，但是需要學習的內容還是比較多的，而且內容也比較雜，網路知識、資料庫管理知識、操作系統(Linux)知識、大數據平台(含開源和商用平台)知識都需要掌握一些，對於實踐操作的要求會比較高。

最後，當前大數據工程師往往並不包含專業的數據分析崗位，一般數據分析崗位都會單獨列出來，這部分崗位涉及到演算法崗、開發崗(實現)和數據呈現崗等，數據分析崗位對於從業者的數學基礎要求比較高，同時還需要掌握大量的數據分析工具，當然也離不開Python、Sql等知識。