大數據工程師工作

㈠ 大數據開發工程師的基本職責-崗位職責

大數據開發工程師的基本職責-崗位職責

在學習、工作、生活中，很多情況下我們都會接觸到崗位職責，明確崗位職責能讓員工知曉和掌握崗位職責，能夠最大化的進行勞動用工管理，科學的進行人力配置，做到人盡其才、人崗匹配。我們該怎麼制定崗位職責呢？以下是我為大家整理的大數據開發工程師的基本職責-崗位職責，僅供參考，歡迎大家閱讀。

大數據開發工程師的基本職責-崗位職責1

職責：

1、參與大數據平台搭建以及項目技術架構。

2、數據分析，挖掘，模型具體的產品化；

3、根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎扎實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫（Oracle、postgresql、Mysql、Sql Server）中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用戶行為日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力；喜歡開源軟體，樂於知識分享；對工作認真負責；可以獨立承擔較大工作壓力

大數據開發工程師的基本職責-崗位職責2

職責：

1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的'策略測試計劃，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有扎實的演算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗；

4、對數字貨幣領域感興趣，結果導向；

5、有網頁抓取和爬蟲程序編寫經驗者優先。

大數據開發工程師的基本職責-崗位職責3

職責：

1、大數據日誌分析系統的設計，選型和開發；

2、配合各業務給予數據支持，對產品和運營數據總結和優化；

3、處理用戶海量數據，提取、分析、歸納用戶屬性，行為等信息，完成分析結果；

4、發現並指出數據異常情況，分析數據合理性；

5、公司大數據基礎架構平台的運維，保障數據平台服務的穩定性和可用性；

6、大數據基礎架構平台的監控、資源管理、數據流管理；

7、基於數據分析的可預測的雲平台彈性擴展解決方案。

任職要求：

1、日誌分析數據系統實際經驗；

2、3年以上互聯網行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力；

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安裝與調試；

4、熟悉大數據周邊相關的資料庫系統，關系型資料庫和NoSQL。

5、掌握linux操作系統的配置，管理及優化，能夠獨立排查及解決操作系統層的各類問題；

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大數據開發工程師的基本職責-崗位職責4

職責：

1、負責數據分析、加工、清理、處理程序的開發；

2、負責數據相關平台的搭建、維護和優化；

3、負責基於Hadoop/Spark/Hive/kafka等分布式計算平台實現離線分析、實時分析的計算框架的開發；

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟體及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識；

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底層框架和實現原理；

4、使用Spark Streaming和Spark SQL進行數據處理，並具有SPARK SQL優化經驗；

5、需要有至少2年開發經驗，有flink開發經驗優先；

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的基本職責-崗位職責5

職責：

1、負責大數據平台的基礎環境搭建與性能優化，完成平台的構建與維護、實時流計算平台、分布式調度、可視化報表等平台的架構與研發；

2、對各種開源框架進行深入的代碼剖析和優化；

3、參與大數據技術方案評審；

4、指導初中級大數據工程師工作；

崗位要求：

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分布式計算平台研發工作經驗；

2。對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架；

3。具備構建穩定的大數據基礎平台的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗；

4。對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的了解優先；

5。工作有計劃性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

㈡ 大數據開發工程師是做什麼

大數據開發工程師做的是：
1、參與大數據平台的數據架構設計，完成從業務模型到數據模型的設計；
2、基於海量數據的數據倉庫，為業務搭建通用的查詢和分析解決方案；
3、根據工作安排高效、高質地完成代碼編寫，確保符合前端代碼規范。以上是大數據開發工程師目前在行業或公司中負責的工作內容。

㈢ 大數據工程師主要是做什麼的

大數據工程師的主要工作是：分析歷史、預測未來、優化選擇。

1、分析歷史，找出過去事件的特徵：

大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特徵。找出過去事件的特徵，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，並預測他的行為。

2、預測未來，預測未來可能發生的事情：

通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。

3、優化選擇，找出最優化的結果：

根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。

在工作崗位上，大數據工程師需要基於Hadoop，Spark等構建數據分析平台，進行設計、開發分布式計算業務。負責大數據平台(Hadoop，HBase，Spark等)集群環境的搭建，性能調優和日常維護。負責數據倉庫設計，數據ETL的設計、開發和性能優化。參與構建大數據平台，依託大數據技術建設用戶畫像。

(3)大數據工程師工作擴展閱讀：

大數據工程師可以從事對大量數據的採集、清洗、分析、治理、挖掘，並對這些數據加以利用、管理、維護和服務的相關技術工作。

大數據工程師專業技術水平等級培訓考試分初級、中級、高級三個級別。

大數據工程師培養人群：有志於從事大數據採集、清洗、分析、治理、挖掘等技術研究，並加以利用、管理、維護和服務的工程技術人員。

大數據工程師初、中、高三個級別考試均設《大數據理論基礎》、《大數據技能實操》兩個科目。

㈣ 大數據工程師就業如何

大數據的就業前景很廣闊。
就先拿大數據里比較火的數據分析舉例吧。
數據分析的兩個主要就業方向，一個是統計學方向，一個是運籌學方向，我們分別來看看這兩者具體有哪些相應的崗位

首先是統計學方向。

這個方向的職位其實一直都有，只是說現在用的一些方法，技術手段得到了一定的提升。原來公司只有一些有限的經營數據或市場數據，基本上用 excel 就能解決了，現在我們有了很大的數據量，也有了更多的高級的分析軟體，比如 SAS 、 R 等等。用這些軟體，我們可以在大量的數據中，挖掘出一些核心的數據信息，來找出商業活動的驅動力。
從就業方向來說，最典型的是以互聯網公司為代表的信息化程度比較高的企業。這些公司在日常業務中會產生大量的數據，數據分析人員必須從繁雜的數據中挖掘出有效信息，來給運營和決策提供支持。

典型的公司有 BATJ ，其中一些相關的團隊包括產品的運營團隊、廣告效果分析團隊、游戲的用戶數據處理團隊等等。其他還有一些互聯網公司，比如美團、攜程、餓了么等等。

在這些互聯網公司裡面，數據分析工作主要分兩個方向：
一個是做運營分析，就是前面講的這類工作內容。
另一個就是產品開發的分析，比如把相關的數據抽象出來建模，做一些用於判斷的模型，比如回歸模型等，以 API 的形式，給到客戶。客戶只要把相關的數據導進去，就能通過這個模型作出一個判斷。

比較典型的例子就是反詐騙的一些產品，背後是好人的行為數據，以及一些壞人的行為數據，做出一個「0」「1」的好壞判斷模型。當你把一個不知道結果的數據，通過 API 介面輸入進這個模型後，就會得出結論這個是好人還是壞人，從而對業務作出指導。
除了互聯網公司以外，咨詢公司也非常注重數據這塊的工作。

比如麥肯錫，相關的數據分析已經成為公司的重要驅動力之一。
另外，四大咨詢公司、一些 IT 咨詢公司，比如埃森哲、印度的 Infosys 等，以及一些本土的咨詢公司，比如久謙，還有老牌的基於數據分、市場分析的公司，比如尼爾森，也有相應的數據分析崗位。

㈤ 大數據工程師是做什麼的

總結一句話就是 寫 SQL （很多入職一兩年的大數據工程師主要的工作就是寫 SQL ）
還有其他的

2 為集群搭大數據環境（一般公司招大數據工程師環境都已經搭好了，公司內部會有現成的大數據平台，但我這邊會私下搞一套測試環境，畢竟公司內部的大數據系統許可權限制很多，嚴重影響開發效率）

3 維護大數據平台（這個應該是每個大數據工程師都做過的工作，或多或少會承擔「運維」的工作）

4 數據遷移（有部分公司需要把數據從傳統的資料庫 Oracle、MySQL 等數據遷移到大數據集群中，這個是比較繁瑣的工作，吃力不討好）

5 應用遷移（有部分公司需要把應用從傳統的資料庫 Oracle、MySQL 等資料庫的存儲過程程序或者SQL腳本遷移到大數據平台上，這個過程也是非常繁瑣的工作，無聊，高度重復且麻煩，吃力不討好）

6 數據採集（採集日誌數據、文件數據、介面數據，這個涉及到各種格式的轉換，一般用得比較多的是 Flume 和 Logstash）

7 數據處理
7.1 離線數據處理（這個一般就是寫寫 SQL 然後扔到 Hive 中跑，其實和第一點有點重復了）
7.2 實時數據處理（這個涉及到消息隊列，Kafka，Spark，Flink 這些，組件，一般就是 Flume 採集到數據發給 Kafka 然後 Spark 消費 Kafka 的數據進行處理）

8 數據可視化（這個我司是用 Spring Boot 連接後台數據與前端，前端用自己魔改的 echarts）

9 大數據平台開發（偏Java方向的，大概就是把開源的組件整合起來整成一個可用的大數據平台這樣，常見的是各種難用的 PaaS 平台）

10 數據中台開發（中台需要支持接入各種數據源，把各種數據源清洗轉換為可用的數據，然後再基於原始數據搭建起寬表層，一般為了節省開發成本和伺服器資源，都是基於寬表層查詢出業務數據）

11 搭建數據倉庫（這里的數據倉庫的搭建不是指 Hive ，Hive 是搭建數倉的工具，數倉搭建一般會分為三層 ODS、DW、DM 層，其中DW是最重要的，它又可以分為DWD,DWM,DWS，這個層級只是邏輯上的概念，類似於把表名按照層級區分開來的操作，分層的目的是防止開發數據應用的時候直接訪問底層數據，可以減少資源，注意，減少資源開銷是減少 內存 和 CPU 的開銷，分層後磁碟佔用會大大增加，磁碟不值錢所以沒什麼關系，分層可以使數據表的邏輯更加清晰，方便進一步的開發操作，如果分層沒有做好會導致邏輯混亂，新來的員工難以接手業務，提高公司的運營成本，還有這個建數倉也分為建離線和實時的）

總之就是離不開寫 SQL ...

㈥ 大數據工程師是做什麼的

大數據工程師主要是，分析歷史、預測未來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務：

找出過去事件的特徵：大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特徵。找出過去事件的特徵，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，並預測他的行為。

預測未來可能發生的事情：通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。

找出最優化的結果：根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。

(6)大數據工程師工作擴展閱讀

大數據工程師需要學習的知識

1、linux

大數據集群主要建立在linux操作系統上，Linux是一套免費使用和自由傳播的類Unix操作系統。而這部分的內容是大家在學習大數據中必須要學習的，只有學好Linux才能在工作中更加的得心應手。

2、Hadoop

我覺的大家聽過大數據就一定會聽過hadoop。Hadoop是一個能夠對大量數據進行離線分布式處理的軟體框架，運算時利用maprece對數據進行處理。

㈦ 大數據工程師從事什麼工作

大數據工程師是指：從事對大量數據的採集、清洗、分析、治理、挖掘，並對這些數據加以利用、管理、維護和服務的相關技術工作。

㈧ 大數據工程技術人員是做什麼的 工作內容有哪些

近日，人社部發布通知，正式公布了十三個新職業信息，其中大數據工程技術人員就是其中之一。

大數據工程技術人員是指從事大數據採集、清洗、分析、治理、挖掘等技術研究，並加以利用、管理、維護和服務的工程技術人員。

主要工作任務：

大數據採集（爬蟲）、大數據清洗（ETl工程師）、大數據建模（演算法工程師）與大數據分析（數據分析員）；

管理、分析展現及應用等技術（大數據開發工程師）；

研究、應用大數據平台體系架構、技術和標准；

設計、開發、集成、測試大數據軟硬體系統；

管理、維護並保障大數據系統穩定運行；

監控、管理和保障大數據安全；

提供大數據的技術咨詢和技術服務。

我推薦： 中國13個新職業公布

在企業中，大數據工程師的發展分為四個階段：從軟體技術員到助理軟體工程師，再到軟體工程師，最後成為高級軟體工程師。據IDC的統計數字，在所有軟體開發類人才的需求中，對大數據工程師的需求達到全部需求量的60%—70%。同時，大數據軟體工程師的工資待遇相對較高。

大數據軟體工程師的一般起步月薪在6k-1w之間，遠遠超過應屆畢業生的兩三千的薪資。有一兩年的工作經驗之後，薪資待遇還會提升，比如有一年工作經驗的大數據高級工程師的薪資待遇差不多在年薪10w-15w之間。

在未來的幾年內，大數據人才的缺口只會越來越大，企業對人才的需求遠遠大於供給。大數據工程師是目前國內高端計算機領域，就業薪資非常高的一類職業。

㈨ 大數據開發工程師以後可以從事哪些崗位

我覺得很多互聯網公司的職位你都可以應聘啊！