大數據工程師招聘要求

⑴ 大數據開發工程師的基本職責-崗位職責

大數據開發工程師的基本職責-崗位職責

在學習、工作、生活中，很多情況下我們都會接觸到崗位職責，明確崗位職責能讓員工知曉和掌握崗位職責，能夠最大化的進行勞動用工管理，科學的進行人力配置，做到人盡其才、人崗匹配。我們該怎麼制定崗位職責呢？以下是我為大家整理的大數據開發工程師的基本職責-崗位職責，僅供參考，歡迎大家閱讀。

大數據開發工程師的基本職責-崗位職責1

職責：

1、參與大數據平台搭建以及項目技術架構。

2、數據分析，挖掘，模型具體的產品化；

3、根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎扎實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫（Oracle、postgresql、Mysql、Sql Server）中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用戶行為日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力；喜歡開源軟體，樂於知識分享；對工作認真負責；可以獨立承擔較大工作壓力

大數據開發工程師的基本職責-崗位職責2

職責：

1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的'策略測試計劃，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有扎實的演算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗；

4、對數字貨幣領域感興趣，結果導向；

5、有網頁抓取和爬蟲程序編寫經驗者優先。

大數據開發工程師的基本職責-崗位職責3

職責：

1、大數據日誌分析系統的設計，選型和開發；

2、配合各業務給予數據支持，對產品和運營數據總結和優化；

3、處理用戶海量數據，提取、分析、歸納用戶屬性，行為等信息，完成分析結果；

4、發現並指出數據異常情況，分析數據合理性；

5、公司大數據基礎架構平台的運維，保障數據平台服務的穩定性和可用性；

6、大數據基礎架構平台的監控、資源管理、數據流管理；

7、基於數據分析的可預測的雲平台彈性擴展解決方案。

任職要求：

1、日誌分析數據系統實際經驗；

2、3年以上互聯網行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力；

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安裝與調試；

4、熟悉大數據周邊相關的資料庫系統，關系型資料庫和NoSQL。

5、掌握Linux操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題；

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大數據開發工程師的基本職責-崗位職責4

職責：

1、負責數據分析、加工、清理、處理程序的開發；

2、負責數據相關平台的搭建、維護和優化；

3、負責基於Hadoop/Spark/Hive/kafka等分布式計算平台實現離線分析、實時分析的計算框架的開發；

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟體及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識；

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底層框架和實現原理；

4、使用Spark Streaming和Spark SQL進行數據處理，並具有SPARK SQL優化經驗；

5、需要有至少2年開發經驗，有flink開發經驗優先；

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的基本職責-崗位職責5

職責：

1、負責大數據平台的基礎環境搭建與性能優化，完成平台的構建與維護、實時流計算平台、分布式調度、可視化報表等平台的架構與研發；

2、對各種開源框架進行深入的代碼剖析和優化；

3、參與大數據技術方案評審；

4、指導初中級大數據工程師工作；

崗位要求：

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分布式計算平台研發工作經驗；

2。對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架；

3。具備構建穩定的大數據基礎平台的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗；

4。對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的了解優先；

5。工作有計劃性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

⑵ 想成為大數據開發工程師有哪些要求要要哪些證書

1. 精通Java技術知識，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等應用設計及開發；
2. 了解python/shell等腳本語言；。

3. 熟悉大數據平台架構，對ETL、數據倉庫等有一定了解；。

4. 有數據可視化、數據分析、數學模型建立相關經驗者優先考慮。

5. 有爬蟲系統開發經驗者優先。

至於需要哪些證書看公司招聘要求吧，每個公司要求不同，目前大數據開發工程師市面上統一可用的證書還沒有。

⑶ 想成為大數據開發工程師有哪些要求

需要具備大專及以上文化程度、對數據挖掘、數據分析愛好者、軟體開發公司技術人員，滿足身體健康，有良好的思維和一定的綜合素質。

⑷ 學大數據需要什麼條件嗎

如 果 是 想 去高 端 班的話， 好 程序員 他 們 是 需 要 大 專 及 以 上 學歷 的，還 需要有 一 定 基礎， 通過考核才能 學 習的 。

⑸ 想成為大數據開發工程師有哪些要求

大數據所需技能要求
Python語言：編寫一些腳本時會用到。

Scala語言：編寫Spark程序的最佳語言，當然也可以選擇用Python。

Ozie，azkaban：定時任務調度的工具。

Hue，Zepplin：圖形化任務執行管理，結果查看工具。
Allluxio，Kylin等：通過對存儲的數據進行預處理，加快運算速度的工具。

必須掌握的技能：
Java高級(虛擬機、並發)、Linux 基本操作、hadoop(HDFS+MapRece+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)

高階技能6條：

機器學習演算法以及mahout庫加MLlib、 R語言、Lambda 架構、Kappa架構、Kylin、Alluxio

大數據開發工程師除具備專業的技能外，還要有學歷（至少大專學歷），學歷是敲門磚。

⑹ 大數據可視化工程師有哪些要求

數據可視化的本質就是視覺對話。數據可視化將技術與藝術完美結合，藉助圖形化的手段，清晰有效地傳達與溝通信息。

可視化的意義是幫助人更好的分析數據，信息的質量很大程度上依賴於其表達方式。對數字羅列所組成的數據中所包含的意義進行分析，使分析結果可視化。

數據可視化的主要作用，在於通過圖形和色彩將關鍵數據和特徵直觀地傳達出來，從而實現對於相當稀疏而又復雜的數據集的深入洞察。而單純說"數據呈現"並不確切，因為數據可視化並非無差異地涵蓋所有數據，可視化的過程本身就已經加入了製作人的對問題的思考、理解、甚至是一些假設，而數據可視化則是通過一目瞭然的方式，幫助製作人獲得客觀數據層面的引導或者驗證。

大數據可視化工程師的崗位要求如下：

第一，需要是統計、應用數學、計算機科學等專業的本科及以上學歷。

第二，需要有實習經驗或者參加過大數據比賽者的經驗。

第三，要熟練掌握至少一種大數據工具，PYTHON/R或其他數據挖掘和數據展示軟體。

第四，要有良好的編寫數據分析報告的能力，對圖形效果的可視化，科學化，美觀化的具備一定能力。

關於大數據可視化工程師有哪些要求，青藤小編就和您分享到這里了。如果你對大數據工程有濃厚的興趣，希望這篇文章能夠對你有所幫助。如果您還想了解更多數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

⑺ 大數據工程師有哪些技術要求

1、數據採集技術數據採集主要通過Web、應用、感測器等方式獲得各種類型的結構化、半結構化及非結構化數據，難點在於採集量大且數據類型繁多。採集網路數據可以通過網路爬蟲或API的方式來獲取。對於系統管理員來說，系統日誌對於管理有重要的意義，很多互聯網企業都有自己的海量數據收集工具，用於系統日誌的收集，能滿足每秒數百MB的日誌數據採集和傳輸需求，如Hadoop的Chukwa、Flume，Facebook的Scribe等。

2、數據預處理技術大數據的預處理包括對數據的抽取和清洗等方面，數據抽取過程可以將數據轉化為單一的或者便於處理的數據結構(常用的數據抽取工具infa)。數據清洗是指發現並糾正數據文件中可識別的錯誤的最後一道程序，可以將數據集中的殘缺數據、錯誤數據和重復數據篩選出來並丟棄。

3、大數據存儲和管理技術實現對結構化、半結構化、非結構化海量數據的存儲與管理，可以綜合利用分布式文件系統、數據倉庫、關系型資料庫、非關系型資料庫等技術。

4、大數據計算引擎批處理模式：一堆數據一起做批量處理，不能滿足實時性要求，如MapRece，Spark。流計算：針對流數據(日誌流、用戶點擊流)的實時計算，需要實時處理。只能用流計算框架做，流計算代表產品：S4+Storm+Flume。圖計算：MapRece也能處理，但效率不高。代表軟體：Google Pregel。查詢分析計算：互動式查詢，要求實時性高。代表產品：Google Dremel、Hive、Cassandra、Impala。

⑻ 想成為大數據開發工程師有哪些要求

想要成為大數據開發工程師的要求，首先我覺得你必須數學要學得相當的好，有一定的知識，不然的話，我們小數據都無法開發，還算是什麼大數據開發工程師？

⑼ 大數據開發工程師有哪些要求

1、熟練精通至少一門編程語言

掌握Java是必不可少的，要是能同時熟悉Python、Scala就更好了。

2、掌握Linux操作系統

百分之八十以上的企業使用Linux操作系統進行雲計算、大數據平台的構建，所以做大數據開發，Linux必備。

3、掌握大數據主流框架及組件

主要是Hadoop、Spark、Storm、Flink等一系列框架，及其生態圈組件，這部分是重中之重。

軟實力，就相對來說要虛一些了，邏輯思維能力、溝通能力、學習能力等等，通常在HR面試的時候，主要就是考察這些方面。

⑽ 大數據需要什麼人才

說到大數據，肯定少不了分析軟體，這應該是大數據工作的根基，但市面上很多各種分析軟體，如果不是過來人，真的很難找到適合自己或符合企業要求的。
小編通過各大企業對大數據相關行業的崗位要求，總結了以下幾點：
（1）SQL資料庫的基本操作，會基本的數據管理
（2）會用Excel/SQL做基本的數據分析和展示
（3）會用腳本語言進行數據分析，Python or R
（4）有獲取外部數據的能力，如爬蟲
（5）會基本的數據可視化技能，能撰寫數據報告
（6）熟悉常用的數據挖掘演算法：回歸分析、決策樹、隨機森林、支持向量機等
對於學習大數據，總體來說，先學基礎，再學理論，最後是工具。基本上，每一門語言的學習都是要按照這個順序來的。
1、學習數據分析基礎知識，包括概率論、數理統計。基礎這種東西還是要掌握好的啊，基礎都還沒扎實，知識大廈是很容易倒的哈。
2、你的目標行業的相關理論知識。比如金融類的，要學習證券、銀行、財務等各種知識，不然到了公司就一臉懵逼啦。
3、學習數據分析工具，軟體結合案列的實際應用，關於數據分析主流軟體有(從上手度從易到難)：Excel，SPSS，stata，R，Python，SAS等。
4、學會怎樣操作這些軟體，然後是利用軟體從數據的清洗開始一步步進行處理，分析，最後輸出結果，檢驗及解讀數據。
當然，學習數學與應用數學、統計學、計算機科學與技術等理工科專業的人確實比文科生有著客觀的優勢，但能力大於專業，興趣才會決定你走得有多遠。畢竟數據分析不像編程那樣，需要你天天敲代碼，要學習好多的編程語言，數據分析更注重的是你的實操和業務能力。如今的軟體學習都是非常簡單便捷的，我們真正需要提升的是自己的邏輯思維能力，以及敏銳的洞察能力，還得有良好的溝通表述能力。這些都是和自身的努力有關，而不是單純憑借理工科背景就可以啃得下來的。相反這些能力更加傾向於文科生，畢竟好奇心、創造力也是一個人不可或缺的。一、計算機編碼能力實際開發能力和大規模的數據處理能力是作為大數據工程師的一些必備要素。舉例來說，現在人們在社交網路上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中拾取有意義的信息就需要大數據工程師親自挖掘。二、數學及統計學相關的背景國內BAT為代表的大公司，對於大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。缺乏理論背景的數據工作者，按照不同的數據模型和演算法總能捯飭出一些結果來，但如果你不知道那代表什麼，就並不是真正有意義的結果，並且那樣的結果還容易誤導你。只有具備一定的理論知識，才能理解模型、復用模型甚至創新模型，來解決實際問題。三、特定應用領域或行業的知識大數據工程師這個角色很重要的一點是，不能脫離市場，因為大數據只有和特定領域的應用結合起來才能產生價值。所以，在某個或多個垂直行業的經歷能為應聘者積累對行業的認知，對於之後成為大數據工程師有很大幫助。