大數據工程師是幹嘛呢

『壹』 大數據工程師是做什麼的

總結一句話就是 寫 SQL （很多入職一兩年的大數據工程師主要的工作就是寫 SQL ）
還有其他的

2 為集群搭大數據環境（一般公司招大數據工程師環境都已經搭好了，公司內部會有現成的大數據平台，但我這邊會私下搞一套測試環境，畢竟公司內部的大數據系統許可權限制很多，嚴重影響開發效率）

3 維護大數據平台（這個應該是每個大數據工程師都做過的工作，或多或少會承擔「運維」的工作）

4 數據遷移（有部分公司需要把數據從傳統的資料庫 Oracle、MySQL 等數據遷移到大數據集群中，這個是比較繁瑣的工作，吃力不討好）

5 應用遷移（有部分公司需要把應用從傳統的資料庫 Oracle、MySQL 等資料庫的存儲過程程序或者SQL腳本遷移到大數據平台上，這個過程也是非常繁瑣的工作，無聊，高度重復且麻煩，吃力不討好）

6 數據採集（採集日誌數據、文件數據、介面數據，這個涉及到各種格式的轉換，一般用得比較多的是 Flume 和 Logstash）

7 數據處理
7.1 離線數據處理（這個一般就是寫寫 SQL 然後扔到 Hive 中跑，其實和第一點有點重復了）
7.2 實時數據處理（這個涉及到消息隊列，Kafka，Spark，Flink 這些，組件，一般就是 Flume 採集到數據發給 Kafka 然後 Spark 消費 Kafka 的數據進行處理）

8 數據可視化（這個我司是用 Spring Boot 連接後台數據與前端，前端用自己魔改的 echarts）

9 大數據平台開發（偏Java方向的，大概就是把開源的組件整合起來整成一個可用的大數據平台這樣，常見的是各種難用的 PaaS 平台）

10 數據中台開發（中台需要支持接入各種數據源，把各種數據源清洗轉換為可用的數據，然後再基於原始數據搭建起寬表層，一般為了節省開發成本和伺服器資源，都是基於寬表層查詢出業務數據）

11 搭建數據倉庫（這里的數據倉庫的搭建不是指 Hive ，Hive 是搭建數倉的工具，數倉搭建一般會分為三層 ODS、DW、DM 層，其中DW是最重要的，它又可以分為DWD,DWM,DWS，這個層級只是邏輯上的概念，類似於把表名按照層級區分開來的操作，分層的目的是防止開發數據應用的時候直接訪問底層數據，可以減少資源，注意，減少資源開銷是減少 內存 和 CPU 的開銷，分層後磁碟佔用會大大增加，磁碟不值錢所以沒什麼關系，分層可以使數據表的邏輯更加清晰，方便進一步的開發操作，如果分層沒有做好會導致邏輯混亂，新來的員工難以接手業務，提高公司的運營成本，還有這個建數倉也分為建離線和實時的）

總之就是離不開寫 SQL ...

『貳』 大數據開發工程師主要做什麼

大數據開發工程師主要負責數據倉庫建設，數據分析、數據統計、平台建設及維護等工作內容，大數據工程師需要熟練掌握各種數據技術，對個人能力要求很高，因而工資水平也是非常可觀的。

『叄』 大數據工程師從事什麼工作

大數據工程師是指：從事對大量數據的採集、清洗、分析、治理、挖掘，並對這些數據加以利用、管理、維護和服務的相關技術工作。

『肆』 大數據工程技術人員是做什麼的 工作內容有哪些

近日，人社部發布通知，正式公布了十三個新職業信息，其中大數據工程技術人員就是其中之一。

大數據工程技術人員是指從事大數據採集、清洗、分析、治理、挖掘等技術研究，並加以利用、管理、維護和服務的工程技術人員。

主要工作任務：

大數據採集（爬蟲）、大數據清洗（ETl工程師）、大數據建模（演算法工程師）與大數據分析（數據分析員）；

管理、分析展現及應用等技術（大數據開發工程師）；

研究、應用大數據平台體系架構、技術和標准；

設計、開發、集成、測試大數據軟硬體系統；

管理、維護並保障大數據系統穩定運行；

監控、管理和保障大數據安全；

提供大數據的技術咨詢和技術服務。

我推薦： 中國13個新職業公布

在企業中，大數據工程師的發展分為四個階段：從軟體技術員到助理軟體工程師，再到軟體工程師，最後成為高級軟體工程師。據IDC的統計數字，在所有軟體開發類人才的需求中，對大數據工程師的需求達到全部需求量的60%—70%。同時，大數據軟體工程師的工資待遇相對較高。

大數據軟體工程師的一般起步月薪在6k-1w之間，遠遠超過應屆畢業生的兩三千的薪資。有一兩年的工作經驗之後，薪資待遇還會提升，比如有一年工作經驗的大數據高級工程師的薪資待遇差不多在年薪10w-15w之間。

在未來的幾年內，大數據人才的缺口只會越來越大，企業對人才的需求遠遠大於供給。大數據工程師是目前國內高端計算機領域，就業薪資非常高的一類職業。

『伍』 大數據工程師是干什麼的

大數據工程師是參與BEH-Developer產品開發，增強原有流式能力，擴展開發工作台新功能，具有獨立的代碼開發能力，能獨立完成功能模塊開發和優化。

『陸』 大數據工程師主要做什麼

當前大數據平台開發崗位的附加值還是比較高的，大數據平台開發崗位往往集中在大回型互聯網企業，隨著雲計算逐漸答從IaaS向PaaS過渡，大數據平台開發也會基於行業特點來開發針對性比較強的PaaS平台，這是整合行業資源並搭建技術生態的一個關鍵。搭建PaaS平台不僅需要掌握大數據知識，同時還需要掌握雲計算知識，實際上大數據和雲計算本身就有比較緊密的聯系，二者在技術體系結構上都是以分布式存儲和分布式計算為基礎，只不過關注點不同而已。

大數據運維工程師以搭建大數據平台為主，雖然這部分崗位的門檻相對比較低，但是需要學習的內容還是比較多的，而且內容也比較雜，網路知識、資料庫管理知識、操作系統(Linux)知識、大數據平台(含開源和商用平台)知識都需要掌握一些，對於實踐操作的要求會比較高。

最後，當前大數據工程師往往並不包含專業的數據分析崗位，一般數據分析崗位都會單獨列出來，這部分崗位涉及到演算法崗、開發崗(實現)和數據呈現崗等，數據分析崗位對於從業者的數學基礎要求比較高，同時還需要掌握大量的數據分析工具，當然也離不開Python、Sql等知識。

『柒』 大數據工程師主要是做什麼的

大數據工程師的主要工作是：分析歷史、預測未來、優化選擇。

1、分析歷史，找出過去事件的特徵：

大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特徵。找出過去事件的特徵，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，並預測他的行為。

2、預測未來，預測未來可能發生的事情：

通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。

3、優化選擇，找出最優化的結果：

根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。

在工作崗位上，大數據工程師需要基於Hadoop，Spark等構建數據分析平台，進行設計、開發分布式計算業務。負責大數據平台(Hadoop，HBase，Spark等)集群環境的搭建，性能調優和日常維護。負責數據倉庫設計，數據ETL的設計、開發和性能優化。參與構建大數據平台，依託大數據技術建設用戶畫像。

(7)大數據工程師是幹嘛呢擴展閱讀：

大數據工程師可以從事對大量數據的採集、清洗、分析、治理、挖掘，並對這些數據加以利用、管理、維護和服務的相關技術工作。

大數據工程師專業技術水平等級培訓考試分初級、中級、高級三個級別。

大數據工程師培養人群：有志於從事大數據採集、清洗、分析、治理、挖掘等技術研究，並加以利用、管理、維護和服務的工程技術人員。

大數據工程師初、中、高三個級別考試均設《大數據理論基礎》、《大數據技能實操》兩個科目。

『捌』 大數據開發工程師是做什麼的

大數據開發工程師所涉及的工作內容還是挺多的，比如數據抽取，數據清洗，數據建模，數倉以及各種主題域的數倉建模等，需要熟悉各種數據抽取，etl工具等

『玖』 大數據開發工程師是做什麼

大數據開發工程師做的是：
1、參與大數據平台的數據架構設計，完成從業務模型到數據模型的設計；
2、基於海量數據的數據倉庫，為業務搭建通用的查詢和分析解決方案；
3、根據工作安排高效、高質地完成代碼編寫，確保符合前端代碼規范。以上是大數據開發工程師目前在行業或公司中負責的工作內容。