大數據任職要求

⑴ 大數據雲計算好就業嗎，就業有什麼要求

首先，隨著雲計算的逐漸落地應用，雲計算領域的就業前景還是非常廣闊的，而且由於雲計算領域對於人才類型的需求也比較多元化，既需要研發型人才，也需要高端應用型人才和技能型人才，從這個角度來看，當前不論是研究生還是本科生，甚至是專科生，學習雲計算都會有較好的就業前景。在產業互聯網的推動下，大量傳統行業都開始紛紛上雲，這個過程會為雲計算逐漸打開一個巨大的價值空間，基於雲計算也會降低企業的創新門檻，所以這個過程會釋放出大量雲計算相關人才的需求。

就業要求可以從招聘信息體現出來：

任職要求：

1、信息檢索/自然語言處理/數據挖掘/數學/計算機相關專業，本科及以上學歷，具有以下任意領域3年以上相關開發經驗：大數據、區塊鏈、知識圖譜；

2、扎實的編程基礎和數據結構演算法基礎，高質量的編程能力和問題解決能力；

3、掌握大數據技術棧，包括Hadoop/Spark/Flink等，有一定建模和數據分析能力；

4、熟悉主流圖資料庫技術或者區塊鏈技術者優先；

5、優秀的理解與溝通能力，能快速理解業務背景，責任心強，樂於分享。

6、Hadoop/Hive/Spark/Flink開發技術；

7、ClickHouse，Durid等時序資料庫和大數據分析技術；

8、數據採集、數據建模和知識圖譜、數據標注及標簽技術；

9、了解區塊鏈的應用開發技術。

⑵ 大數據分析的崗位要求是怎樣的

數據分析師的招聘要求一般分為5個方面：

（1）行業背景（2）邏輯思維能力（3）行業基本知識（4）基本技能（5）其他加分項

我們來看這個崗位：

數據挖掘方面要有適當的能力，比如常用的聚類、決策樹、回歸等要有一定的了解和應用，技術是幫助更好的解決問題的一種方式，有些時候會有很好的應用效果。

軟性技能：溝通、學習能力筆者認為這兩項與邏輯思維能力同等重要，感興趣的同學可以多關注相關作者來拓寬自己的知識深度，涉獵也要廣以拓寬自己知識的廣度。

⑶ 數據運維員崗位職責

數據運維員崗位職責

在生活中，我們都跟崗位職責有著直接或間接的聯系，崗位職責是一個具象化的工作描述，可將其歸類於不同職位類型範疇。我敢肯定，大部分人都對制定崗位職責很是頭疼的，下面是我幫大家整理的數據運維員崗位職責，希望能夠幫助到大家。

職位要求:基本要求:1.年齡35歲以下,大專及...

運維員崗位職責

運維項目管理人員 匯通金財信息科技北京 國網匯通金財(北京)信息科技有限公司,匯通金財,匯通金財信息科技北京,電e寶,國網匯通 崗位職責:1.負責管理客戶運維項目,安排各運維項目日常工作,考核運維服務質量;2.編寫和整理信息系統..

軟體運維員崗位職責

任職要求及相關要求:1、計算機、通訊等相關專業全日制專科及以上學歷,45周歲以下;2、具備軟體維護和技術支持能力,熟悉資料庫系統,有一般主機和網路管理維護能力;3、性格開朗,具備良好的客戶意識、溝通協調能力和良好的人際關系..

數據營銷師崗位職責

崗位職責1、提供數據支持,為公司各部門數據需求給予支持;2、負責部門常規數據統計,從數據分析角度為網站優化和數據完整性提供相關支持3、針對日常統計異常數據,進行跟蹤、查找原因,並給予解決4、理解業務運作邏輯,利用數據分析..

數據分析優化崗位職責

數據分析與優化經理 1、根據第三方平台反饋的活動監測數據(分媒體、點位、素材等,以及AB Test等),以及外部媒體數據,根據數字分析提出活動優化建議;22. 對用戶數據和營銷數據進行分析及深層挖掘,並持續迭代優化,為營銷提供數據..

數據營運主管崗位職責

數據分析主管(營運) 寶能百貨零售有限公司 寶能百貨零售有限公司,寶能百貨零售,寶能零售,寶能 崗位職責:1、負責收集全國門店營運數據,統計營運數據,分析營運數據,形成全國營運數據分析報告,支持公司戰略決策以及各部門工作;2、..

數據組工程師崗位職責

資料庫高級開發工程師(BI組) 百麗新零售 百麗電子商務(上海)有限公司,百麗 崗位職責:1、負責數據分析平台數據倉庫的'設計與開發工作;2、完成用戶數據提取需求。崗位要求:1、本科及以上學歷計算機相關專業,3年以上資料庫開發工作..

大數據專家崗位職責

大數據專家 任職要求:1、 本科及以上學歷,8年及以上工作經驗;2、 具備深厚的分布式系統或資料庫系統的理論基礎,熟悉分布式計算系統的工作機制,具有分布式文件系統、分布式資料庫系統、集群存儲系統等架構設計經驗;3、 對大數據..

數據整理分析崗位職責

1、負責銷售信息記錄和資料庫更新;2、對訂單的相關數據進行分析和統計;3、檢查、整理及保存銷售檔案;4、負責廠家郵件收發處理及部門日常行政事務;5、完成上級委派的其他臨時性工作。任職要求:1、本科及以上學歷,專業不限,對數..

計算機支撐中心數據分析崗位職責

1.收集、分析BOSS、增值業務系統的基本運營數據,生成規范、准確的統計數據和報表，為職能部門決策提供依據。2.參與報表程序設計、開發，確認數據統計口徑，確保程序開發符合實際需求。3.匯總、生成計算機支撐中心的報表，指導..

數據製作崗位職責

數據製作工程師 湖北億咖通科技有限公司 湖北億咖通科技有限公司,億咖通科技 工作職責:1. 負責管理和指導數據生產製作,與各產品部門密切溝通,准確拆分數據產品需求,准確把握數據生產工藝,建立數據生產能力;2. 協助項目經理制定..

;

⑷ 大數據是幹嘛的就業薪資咋樣

大數據是做什麼的
按行業查看 򀀇
大數據 崗位職責來自 成都新大瀚人力資源管理有限公司回
򀀇
工作職責
1. 負責大數據分析需答求設計和開發，承擔數據抽取、清洗、實時統計及離線數據處理等程序開發；
2. 開發數據統計系統，完成項目數據統計與分析任務，為業務運營提供數據支持服務；
3. 根據項目需求預研並引入新的大數據分析技術。
任職資格1、本科及以上學歷，5年以上相關工作經驗；
2、精通java或者scala、基礎扎實，有良好的編碼習慣；
3、精通主流的大數據開源框架（如Hadoop/Spark/Flink等），並有豐富的應用開發經驗；
4、熟練使用kafka/elasticsearch/redis/mongodb/Hbase/druid/kylin等大數據組件；
5、熟練使用主流關系型資料庫（如Oracle/Mysql/PostgresQL）， 熟練掌握SQL語言；
6. 熱愛開發，有較強的學習能力和快速解決問題的能力，具備較強的責任心和良好的溝通能力。

⑸ 大數據運維工程師具體做什麼

事件管理：目標是在服務出現異常時盡可能快速的恢復服務，從而保障服務的可用性;同時深入分析故障產生的原因，推動並修復服務存在的問題，同時設計並開發相關的預案以確保服務出現故障時可以高效的止損。

問題發現：設計並開發高效的監控平台和告警平台，使用機器學習、大數據分析等方法對系統中的大量監控數據進行匯總分析，以期在系統出現異常的時候可以快速的發現問題和判斷故障的影響。

問題處理：設計並開發高效的問題處理平台和工具，在系統出現異常的時候可以快速/自動決策並觸發相關止損預案，快速恢復服務。

問題跟蹤：通過分析問題發生時系統的各種表現(日誌、變更、監控)確定問題發生的根本原因，制定並開發預案工具。

變更管理：以可控的方式，盡可能高效的完成產品功能的迭代的變更工作。

配置管理：通過配置管理平台(自研、開源)管理服務涉及到的多個模塊、多個版本的關系以及配置的准確性。

發布管理：通過構建自動化的平台確保每一次版本變更可以安全可控地發布到生產環境。

容量管理：在服務運行維護階段，為了確保服務架構部署的合理性同時掌握服務整體的冗餘，需要不斷評估系統的承載能力，並不斷優化之。

容量評估：通過技術手段模擬實際的用戶請求，測試整個系統所能承擔的最大吞吐;通過建立容量評估模型分析壓力測試過程中的數據以評估整個服務的容量。

容量優化：基於容量評估數據，判斷系統的瓶頸並提供容量優化的解決方案。比如通過調整系統參數、優化服務部署架構等方法來高效的提升系統容量。

架構優化：為了支持產品的不斷迭代，需要不斷的進行架構優化調整。以確保整個產品能夠在功能不斷豐富和復雜的條件下，同時保持高可用性。

⑹ 大數據工程師未來職業規劃

想了解數據分析工程師的職業規劃或學習計劃，由此來提升自己的技能和專業知識，我覺得最准確最有針對性一個方法就是查閱招聘崗位的工作要求，這樣我們就可以有的放矢地好好專研自己的學習。我們看一下以下這條招聘要求：
1.負責大數據平台的規劃、分析、設計工作，把握整體架構，進行相關技術方案文檔的撰寫；
2.負責大數據平台的部署、開發、維護工作；
3.與BI分析人員協作，完成面向業務目標的數據分析模型定義和演算法實施工作；
4.承擔相關技術領域的探索與儲備。
任職要求：
1.大學本科以上學歷，熟練掌握C/C++或者JAVA；
2.熟悉各種常用數據結構及演算法，對linux下的網路資料庫開發有足夠經驗；
3.有2年以上C++實戰經驗者優先；
4.有大數據挖據方面經驗和技能者優先；如hadoop、hbase、hive等；
5.善於與其他部門的成員溝通、協作。
還有一個招聘要求是：
崗位職責：
1、理解並挖掘用戶需求，進行數據建模；
2、利用專業統計、分析工具從海量數據中總結規律、挖掘潛在價值，提供決策依據。
任職要求：
1、數學類、統計類、計算機類、人工智慧類相關專業本科及以上學歷，2年左右專職數據分析、挖掘經驗，優秀的應屆碩士也可；
2、良好的數據敏感性，善於從海量數據中提取有效信息進行分析挖掘和建模；
3、熟練掌握任一種分析工具，例SPSS、SAS、R語言、MatLab；
4、熟悉資料庫技術，如oracle、SQL、MongoDB；
5、對於數學建模、數據挖掘、Hadoop大數據有經驗者優先。
我想，你看到這，應該是對數據分析工程師有了非常明晰的看法，好好加油ba !

⑺ 大數據開發工程師的基本職責-崗位職責

大數據開發工程師的基本職責-崗位職責

在學習、工作、生活中，很多情況下我們都會接觸到崗位職責，明確崗位職責能讓員工知曉和掌握崗位職責，能夠最大化的進行勞動用工管理，科學的進行人力配置，做到人盡其才、人崗匹配。我們該怎麼制定崗位職責呢？以下是我為大家整理的大數據開發工程師的基本職責-崗位職責，僅供參考，歡迎大家閱讀。

大數據開發工程師的基本職責-崗位職責1

職責：

1、參與大數據平台搭建以及項目技術架構。

2、數據分析，挖掘，模型具體的產品化；

3、根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎扎實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫（Oracle、postgresql、Mysql、Sql Server）中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用戶行為日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力；喜歡開源軟體，樂於知識分享；對工作認真負責；可以獨立承擔較大工作壓力

大數據開發工程師的基本職責-崗位職責2

職責：

1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的'策略測試計劃，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有扎實的演算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗；

4、對數字貨幣領域感興趣，結果導向；

5、有網頁抓取和爬蟲程序編寫經驗者優先。

大數據開發工程師的基本職責-崗位職責3

職責：

1、大數據日誌分析系統的設計，選型和開發；

2、配合各業務給予數據支持，對產品和運營數據總結和優化；

3、處理用戶海量數據，提取、分析、歸納用戶屬性，行為等信息，完成分析結果；

4、發現並指出數據異常情況，分析數據合理性；

5、公司大數據基礎架構平台的運維，保障數據平台服務的穩定性和可用性；

6、大數據基礎架構平台的監控、資源管理、數據流管理；

7、基於數據分析的可預測的雲平台彈性擴展解決方案。

任職要求：

1、日誌分析數據系統實際經驗；

2、3年以上互聯網行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力；

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安裝與調試；

4、熟悉大數據周邊相關的資料庫系統，關系型資料庫和NoSQL。

5、掌握Linux操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題；

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大數據開發工程師的基本職責-崗位職責4

職責：

1、負責數據分析、加工、清理、處理程序的開發；

2、負責數據相關平台的搭建、維護和優化；

3、負責基於Hadoop/Spark/Hive/kafka等分布式計算平台實現離線分析、實時分析的計算框架的開發；

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟體及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識；

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底層框架和實現原理；

4、使用Spark Streaming和Spark SQL進行數據處理，並具有SPARK SQL優化經驗；

5、需要有至少2年開發經驗，有flink開發經驗優先；

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的基本職責-崗位職責5

職責：

1、負責大數據平台的基礎環境搭建與性能優化，完成平台的構建與維護、實時流計算平台、分布式調度、可視化報表等平台的架構與研發；

2、對各種開源框架進行深入的代碼剖析和優化；

3、參與大數據技術方案評審；

4、指導初中級大數據工程師工作；

崗位要求：

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分布式計算平台研發工作經驗；

2。對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架；

3。具備構建穩定的大數據基礎平台的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗；

4。對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的了解優先；

5。工作有計劃性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

;

⑻ 大數據運維工程師的基本職責

大數據運維工程師需要處理公司大數據平台各類異常和故障，確保系統平台的穩定運行。下面是我為您精心整理的大數據運維工程師的基本職責。

大數據運維工程師的基本職責1

職責:

1、技術保障各底層支撐系統的可靠性與穩定性;

2、負責車輛網平台的運行監控的解決方案編制、實施與二次功能開發;

3、負責技術文檔手冊編寫，更新，經驗總結沉澱，培訓分享;

4、負責對新技術和方案進行調研，評估和引進，用技術去提升運維生產效率

任職資格:

1、熟悉常見的應用服務部署和調優(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、負載均衡集群的規劃與搭建;

2、熟練使用Linux、TCP/IP網路協議棧，了解常用的Troubleshooting手段和常見性能指標

3、具有車聯網平台運維的經驗，精於容量規劃、架構設計、性能優化;

4、熟悉主流PaaS雲產品的使用，具有運維平台開發經驗者、參與過開源產品的開發者優先;

5、優秀的溝通能力，出色的學習與鑽研能力，良好的問題分析與解決能力;

6、對行業技術敏感度高且細致，善於思考，樂於發現，對解決具有挑戰性問題充滿激情。

大數據運維工程師的基本職責2

職責：

1、負責維護伺服器的運行，包括巡檢、故障排除、數據備份等業務，保證伺服器高質量、高效率運行狀態;

2、負責伺服器漏洞整改及補丁升級;

3、負責hadoop運維相關工作;

4、負責大數據平台的日常部署、升級、擴容、遷移;

5、負責高並發，大存儲和實時流的Hadoop/spark大數據平台規劃，運維，監控和優化工作。

任職資格：

1、2年左右伺服器運維經驗;

2、對linux基礎運維命令熟悉，shell,python至少精通一種，如會scala語言可優先考慮;

3、熟悉Linux的維護和管理，熟悉bat及Shell腳本開發，能看懂Python/Scala優先;

4、做過大規模hadoop集群優先;

5、大數據項目：包括不限於hadoop、hive、kafka、hbase、spark、Ku、Impala等大數據生態的平台搭建，監控，運維，調優、生產環境hadoop集群trouble shooting 、hadoop版本升級管理及優化支持。

大數據運維工程師的基本職責3

職責:

1、負責Hadoop平台搭建，運維，管理，故障處理。

2、負責保障大數據平台的高效運轉、提升系統穩定性和安全性。

3、對平台的Hadoop，Hbase，Kafka，Hive等進行優化。

4、建立Hadoop集群管理和維護規范，包括版本管理和變更記錄等。

崗位要求:

1、有豐富的Hadoop生態系統的運維經驗，了解Hadoop、Storm、Spark、Kafka這些組件的原理，具備部署、實施、維護hadoop 及相關組件的能力;

2、至少精通 Perl/Python/Shell腳本語言中的一種;

3、掌握Linux操作系統的配置，管理、優化以及各種常用命令，能夠獨立排查及解決操作系統層的各類問題;

4、分析問題能力優秀，善於從各種系統、應用日誌中尋找出問題的原因。

5、有獨立分析問題和解決問題的能力，能出差。

大數據運維工程師的基本職責4

職責：

1.負責Hadoop、spark、hbase、oozie、hive等平台運營和優化工作，保障平台服務運行穩定、高效。

2.負責大數據方案架構及方案落地;

3.開發Hadoop大數據管理平台與監控建設;

3.負責hadoop平台部署、維護;生產問題、告警、故障處理及伺服器維護、日常值班;

4.負責集群網路架構、機器管理等。

任職資格：

1. 全日制本科以上學歷，三年以上後台系統運營工作經驗;

2. 熟悉hadoop原理，具有Hadoop平台應用及管理經驗，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等開源項目及部署、維護、調優;

3. 熟悉linux操作系統及調優;熟悉sql編程，熟悉Shell/Python/Java/Perl語言的一種或多種，有開發經驗優先， 熟悉nagios,cacti,ganglia,zabbix,zenoss優先;

4. 對大數據和自動化運維開發有濃厚興趣，有大規模hadoop運維經驗者優先;有hadoop/hbase/spark/hive 開發經驗者優先。

大數據運維工程師的基本職責5

職責：

1. 負責大數據平台的穩定性和性能優化;

2. 負責大數據項目的運維工作;

3. 針對業務需求制定統一的運維解決方案;

4. 完善自動監控報警系統，對業務層面關鍵指標進行監控與報警通知;

任職要求：

1、熟練掌握hadoop平台搭建、維護，有平台優化經驗;

2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等組件的原理，有閱讀源碼能力者優先;

3、熟悉騰訊雲產品，有騰訊雲EMR使用經驗者優先考慮;

⑼ 大數據架構師的基本職責

大數據架構師需要參與規劃從數據源到數據應用的整體流程，並參與相關產品的決策。下面是我為您精心整理的大數據架構師的基本職責。

大數據架構師的基本職責1

職責：

1.負責整個大數據平台架構的設計和構建;

2.負責構建大數據平台的數據交換、任務調度等通用平台;

3.制定開發、測試、實施、維護的標准和規范，指導和培訓工程師，不斷提升團隊能力。

4.參與系統需求分析、架構設計、技術選型、應用設計與開發以及測試與部署，負責編寫核心部分代碼。

5.持續挑戰新的技術方向，攻克大數據量、高並發、高可用、可擴展等技術難點。

任職要求：

1.3年以上大數據架構經驗，豐富的數據倉庫、數據挖掘、機器學習項目經驗

2.大規模數據處理的架構和設計實戰經驗

3.精通Spark、MR，熟練HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，並具有豐富的大型數據平台工程經驗

4.深刻理解大數據處理(流計算，分布式計算，分布式文件系統，分布式存儲等)相關技術和實現方法

5.熟悉主數據、元數據、數據質量等企業數據管理相關的體系和方法，熟練Linux/Unix平台上的開發環境

6.本科或以上學歷，計算機軟體或相關專業，豐富的java開發經驗和互聯網背景優先。

7.具有比較強的問題分析和處理能力，有比較優秀的動手能力，熱衷技術，精益求精

大數據架構師的基本職責2

職責：

1. 深刻理解政府行業業務模式，構建政府行業的數據模型，制定公司大數據技術發展路線;

2. 對接業務研究和技術部門，主動搜集和轉化需求，組織數據中心業務開發，進行數據相關產品需求分析和設計;

3. 搭建數據倉庫，研發資料庫管理系統，搜集、提取、處理業務積累的海量數據，開展數據分析和挖掘;

4. 根據公司戰略和發展需要，規劃數據中心重點工作和任務;落實部門人員、事務管理，開展跨部門、跨地區協作，協助對外交流與合作。

職位要求：

1. 5年以上相關工作經驗，有團隊管理和項目管理經驗者優先;

2.了解政府運作機制，掌握財政行業知識，有電子政務行業經驗者優先;

3. 熟練掌握使用Java或Python,精通資料庫查詢語言如SQL，Oracle等,在機器學習模型和演算法方向有應用經驗者優先;

4. 具備數據中心產品策劃整體思維，有大數據處理、分析、挖掘經驗者優先;

5. 邏輯思維嚴密，具備業務抽象、分解和標准化的能力，口頭和書面表達優秀;

6. 有較強的大局意識和良好的團隊合作意識，富有領導力，具備優秀的人際交往和溝通能力。

大數據架構師的基本職責3

職責:

1、從事電信行業大數據項目相關業務調研、產品標准建設、核心模型設計和優化、系統測試等相關工作

2、與數據專業委員會一起研究數據建模方案和建模工具，負責產品線產品的數據架構、數據模型設計

3、參與研究資料庫之間的數據轉換方式，參與項目中的數據移植工作，收集在項目中的數據移植經驗，優化產品的數據模型

4、負責培訓本部門隊伍的數據模型基礎理論工作，建立數據模型團隊

崗位要求：

1、統招本科學歷，3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗，具備大型數據倉庫邏輯模型和物理模型設計經驗，精通SQL，有較好的SQL性能調優經驗;

2、擁有Python，R等數學建模工具的使用經驗，並具備一定的數據處理和建模經驗，可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法並對其進行完整的解釋和說明;

3、熟悉統計學基本原理，做過實戰的數據建模項目;

4、有分布式數據倉庫建設相關經驗者優先，具備電信行業數據倉庫建設相關經驗者優先;

大數據架構師的基本職責4

職責：

1、負責大數據平台的架構設計、核心代碼開發等任務;根據項目要求編寫相關技術文檔;

2、負責大數據平台的架構評審，代碼評審，上線評審;參與數據應用需求、設計、審核和評審;

3、負責核心模塊研發，負責大數據平台的搭建，完成系統調試、集成與實施;

4、負責建立和維護大數據平台技術標准規范，指導開發人員編寫代碼;

任職要求：

1、本科及以上計算機相關專業畢業;

2、精通離線和實時數據處理流程，掌握離線數據處理框架hive、impala、spark-sql等，掌握實時數據處理常用技術工具，包括Storm、SparkStreaming等;

3、熟悉大數據技術生態圈，精通大數據技術架構，有大數據平台構建經驗;

4、掌握常見數據流接入工具，包括Flume、kafka等;

5、熟練掌握基本的Linux操作系統和某種腳本語言編程(如Shell等);

6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經驗者優先;

7、有實際大規模數據(TB級以上)處理經驗優先;

大數據架構師的基本職責5

職責：

1、負責公司的大數據處理框架的研發設計工作，梳理可實現方案和技術規范;

2、開發、完善公司大數據平台;參與公司離線、實時大數據處理系統的設計、開發、測試及多個業務模塊的自動化集成;

3、負責業務平台數據統計分析模塊的設計與規劃;

4、負責公司產品研發過程中的數據及存儲設計;

5、帶領和培養團隊完成組織分解的目標;

任職要求：

1、統招本科及以上學歷，計算機、軟體工程相關專業，至少8年以上工作經驗，5年以上大數據開發經驗;

2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的基礎架構

3、熟悉數據倉庫，數據演算法，分布式計算技術理論，具有大數據整體系統架構設計經驗;

4、熟悉Linux系統，熟練使用shell/perl/python腳本處理問題;

5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優先;

6、能夠組織項目開發組協同工作，包括團隊溝通、計劃、開發環境管理等

⑽ 大數據運維工程師的具體職責描述

大數據運維工程師需要負責公司大數據平台的運維管理工作，集群容量規劃、擴容及性能優化。下面是我為您精心整理的大數據運維工程師的具體職責描述。

大數據運維工程師的具體職責描述1

職責：

1、負責數據平台的運維管理工作(部署、監控、優化、故障處理);

2、負責Hadoop/Spark/Flink/Elasticsearch/Kafka等系統的架構審核、容量規劃、成本優化;

3、負責大數據平台的用戶管理、許可權分配、資源分配;

4、參與數據挖掘、機器學習的平台的設計、並給出可執行的運維方案;

5、參與數據平台的相關工具開發(包括自動化部署、監控、ETL等);

6、深入理解數據平台架構，發現並解決故障隱患及性能瓶頸;

7、ETL工具、調度工具、關系型資料庫的運維。

任職資格：

1、本科以上學歷，計算機軟體相關專業;

2、1年以上大數據相關組件運維經驗(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP維護經驗，3年以上系統運維相關經驗;

3、深入理解Linux系統，能獨立部署開源軟體，熟練掌握一門以上腳本語言(shell/perl/python等)，熟悉python開發語言優先;

4、邏輯思維能力強，做事有條理，責任心強，工作積極主動，執行力強，有良好的團隊協作意識。

大數據運維工程師的具體職責描述2

職責

1. 負責大數據ETL系統，運維及保障服務穩定可用;

2. 負責數據採集交換方案以及聯調測試;

3. 負責採集交換任務的評審和上線;

4. 負責及時排除ETL流程故障，形成知識庫，完善運維文檔;

5. 負責監控和優化ETL的性能,持續性地提出改進自動化運維平台建議

技能要求

1. 計算機科學或相關專業本科及以上學歷;

2. 熟悉Linux系統,熟練編寫shell/perl/python一種或多種腳本語言;

3. 熟悉Hive、Hadoop、MapRece集群原理，有hadoop大數據平台運維經驗者優先;

4. 熟悉資料庫的性能優化、SQL調優，有相應經驗;

5. 抗壓能力強，有強烈的責任心，良好的溝通能力、學習能力及團隊合作能力。

大數據運維工程師的具體職責描述3

職責：

1、負責分布式大數據平台產品的運維和運維開發，保證其高可用和穩定性;

2、負責大數據系統架構的可運維性設計、容量規劃、服務監控，持續優化服務架構、集群性能;

3、通過技術手段控制和優化成本，通過自動化工具及流程提升大數據平台運維效率;

4、為項目開發人員提供大數據技術指導及解決大數據平台應用中遇到的技術難題;

任職資格：

1、三年以上大數據運維相關工作經驗，有大型互聯網公司工作經驗者優先，全日制本科及以上學歷;

2、熟練掌握至少一門開發語言，有Java或Python語言開發經驗優先;

3、精通Hadoop生態及高性能緩存相關的各種工具並有實戰經驗，包括但不限於Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;

4、熟悉Mysql等常用關系資料庫，熟練編寫SQL語句，有分布式nosql資料庫應用、性能調優經驗優先;

5、熟悉Linux環境，能夠熟悉使用shell腳本;

6、對大數據技術有強烈興趣，有志於往大數據方向深層次發展;

7、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

8、具備較好的溝通能力、主動性及責任感。

大數據運維工程師的具體職責描述4

職責：

1、負責大數據集群的日常維護、監控、異常處理等工作，保障集群穩定運行;

2、負責大數據批處理管理以及運維;

3、負責大數據集群的用戶管理、許可權管理、資源管理、性能優化等;

4、深入理解數據平台架構，發現並解決重大故障及性能瓶頸，打造一流的數據平台;

5、跟進大數據前沿技術，不斷優化數據集群;

6、有華為大數據平台運維經驗優先;

崗位要求：

1、1年以上大數據運維或開發經驗;

2、有良好的計算機和網路基礎，熟悉linux文件系統、內核、性能調優，TCP/IP、HTTP等協議;

3、熟悉大數據生態，有相關(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的運維及開發經驗;

4、熟練使用shell、python等腳本語言開發相關運維管理工具;

5、良好的文檔撰寫習慣;

大數據運維工程師的具體職責描述5

職責：

1、負責公司內部及項目中大數據集群的構建，任務調度、監控預警，持續完善大數據平台，保證穩定性、安全性;

2、負責集群容量規劃、擴容、集群性能優化及日常巡檢和應急值守，參與大數據基礎環境的架構設計與改進;

3、深入研究大數據業務相關運維技術，探索新的運維技術及發展方向。

任職要求：

1、熟悉Linux基礎命令操作，能夠獨立編寫Shell腳本開展日常伺服器的運維;

2、熟悉Hadoop生態圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調優;

3、熟悉軟硬體設備，網路原理，有豐富的大數據平台部署，性能優化和運維經驗;

4、工作認真負責，有較強的學習能力，動手能力和分析解決問題的能力;

5、能夠利用各種開源監控工具、運維工具，HA、負載均衡軟體完成工作任務;

6、熟悉JVM虛擬機調優;