大數據建模工程師

① 大數據工程技術人員是做什麼的 工作內容有哪些

近日，人社部發布通知，正式公布了十三個新職業信息，其中大數據工程技術人員就是其中之一。

大數據工程技術人員是指從事大數據採集、清洗、分析、治理、挖掘等技術研究，並加以利用、管理、維護和服務的工程技術人員。

主要工作任務：

大數據採集（爬蟲）、大數據清洗（ETl工程師）、大數據建模（演算法工程師）與大數據分析（數據分析員）；

管理、分析展現及應用等技術（大數據開發工程師）；

研究、應用大數據平台體系架構、技術和標准；

設計、開發、集成、測試大數據軟硬體系統；

管理、維護並保障大數據系統穩定運行；

監控、管理和保障大數據安全；

提供大數據的技術咨詢和技術服務。

我推薦： 中國13個新職業公布

在企業中，大數據工程師的發展分為四個階段：從軟體技術員到助理軟體工程師，再到軟體工程師，最後成為高級軟體工程師。據IDC的統計數字，在所有軟體開發類人才的需求中，對大數據工程師的需求達到全部需求量的60%—70%。同時，大數據軟體工程師的工資待遇相對較高。

大數據軟體工程師的一般起步月薪在6k-1w之間，遠遠超過應屆畢業生的兩三千的薪資。有一兩年的工作經驗之後，薪資待遇還會提升，比如有一年工作經驗的大數據高級工程師的薪資待遇差不多在年薪10w-15w之間。

在未來的幾年內，大數據人才的缺口只會越來越大，企業對人才的需求遠遠大於供給。大數據工程師是目前國內高端計算機領域，就業薪資非常高的一類職業。

② 大數據工程師要掌握什麼

已經身處這個行業的專家給出了一些人才需求的大體框架，包括要有計算版機編碼能力、數學權及統計學相關背景；學歷並不是最主要的因素，能有大規模處理數據的經驗並且有喜歡在數據海洋中尋寶的好奇心會更適合這個工作。

此外，一個優秀的大數據工程師要具備一定的邏輯分析能力，並能迅速定位某個商業問題的關鍵屬性和決定因素。

大數據必備技能：

③ 大數據工程師到底是什麼

用阿里巴巴集團研究員薛貴榮的話來說，大數據工程師就是一群「玩數據」的人，內玩出數據容的商業價值，讓數據變成生產力。大數據和傳統數據的最大區別在於，它是在線的、實時的，規模海量且形式不規整，無章法可循，因此「會玩」這些數據的人就很重要。

沈志勇認為如果把大數據想像成一座不停累積的礦山，那麼大數據工程師的工作就是，「第一步，定位並抽取信息所在的數據集，相當於探礦和采礦。第二步，把它變成直接可以做判斷的信息，相當於冶煉。最後是應用，把數據可視化等。」

因此分析歷史、預測未來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。

④ 大數據工程師是做什麼的

總結一句話就是 寫 SQL （很多入職一兩年的大數據工程師主要的工作就是寫 SQL ）
還有其他的

2 為集群搭大數據環境（一般公司招大數據工程師環境都已經搭好了，公司內部會有現成的大數據平台，但我這邊會私下搞一套測試環境，畢竟公司內部的大數據系統許可權限制很多，嚴重影響開發效率）

3 維護大數據平台（這個應該是每個大數據工程師都做過的工作，或多或少會承擔「運維」的工作）

4 數據遷移（有部分公司需要把數據從傳統的資料庫 Oracle、MySQL 等數據遷移到大數據集群中，這個是比較繁瑣的工作，吃力不討好）

5 應用遷移（有部分公司需要把應用從傳統的資料庫 Oracle、MySQL 等資料庫的存儲過程程序或者SQL腳本遷移到大數據平台上，這個過程也是非常繁瑣的工作，無聊，高度重復且麻煩，吃力不討好）

6 數據採集（採集日誌數據、文件數據、介面數據，這個涉及到各種格式的轉換，一般用得比較多的是 Flume 和 Logstash）

7 數據處理
7.1 離線數據處理（這個一般就是寫寫 SQL 然後扔到 Hive 中跑，其實和第一點有點重復了）
7.2 實時數據處理（這個涉及到消息隊列，Kafka，Spark，Flink 這些，組件，一般就是 Flume 採集到數據發給 Kafka 然後 Spark 消費 Kafka 的數據進行處理）

8 數據可視化（這個我司是用 Spring Boot 連接後台數據與前端，前端用自己魔改的 echarts）

9 大數據平台開發（偏java方向的，大概就是把開源的組件整合起來整成一個可用的大數據平台這樣，常見的是各種難用的 PaaS 平台）

10 數據中台開發（中台需要支持接入各種數據源，把各種數據源清洗轉換為可用的數據，然後再基於原始數據搭建起寬表層，一般為了節省開發成本和伺服器資源，都是基於寬表層查詢出業務數據）

11 搭建數據倉庫（這里的數據倉庫的搭建不是指 Hive ，Hive 是搭建數倉的工具，數倉搭建一般會分為三層 ODS、DW、DM 層，其中DW是最重要的，它又可以分為DWD,DWM,DWS，這個層級只是邏輯上的概念，類似於把表名按照層級區分開來的操作，分層的目的是防止開發數據應用的時候直接訪問底層數據，可以減少資源，注意，減少資源開銷是減少 內存 和 CPU 的開銷，分層後磁碟佔用會大大增加，磁碟不值錢所以沒什麼關系，分層可以使數據表的邏輯更加清晰，方便進一步的開發操作，如果分層沒有做好會導致邏輯混亂，新來的員工難以接手業務，提高公司的運營成本，還有這個建數倉也分為建離線和實時的）

總之就是離不開寫 SQL ...

⑤ 大數據工程師和大數據開發工程師的職能有何區別

大數據工程師和大數據開發工程師兩者之間沒有區別。大數據工程師指的就是大數據開發工程師。大數據工程師（即大數據開發工程師）從事大數據採集、清洗、分析、治理、挖掘等技術研究，並加以利用、管理、維護和服務。

4、設計、開發、集成、測試大數據軟硬體系統。

5、管理、維護並保障大數據系統穩定運行。

6、監控、管理和保障大數據安全。

7、提供大數據的技術咨詢和技術服務。

(5)大數據建模工程師擴展閱讀：

大數據工程師（即大數據開發工程師）的技能要求：

1、精通Java技術知識，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等應用設計及開發。

2、了解python/shell等腳本語言。

3、熟悉大數據平台架構，對ETL、數據倉庫等有一定了解。

4、有數據可視化、數據分析、數學模型建立相關經驗者優先考慮。

5、有爬蟲系統開發經驗者優先。

⑥ 想成為大數據開發工程師有哪些要求

想要成為大數據開發工程師的要求，首先我覺得你必須數學要學得相當的好，有一定的知識，不然的話，我們小數據都無法開發，還算是什麼大數據開發工程師？

⑦ 大數據工程師一定要對應專業嗎

是的，自學除了天才可行，大數據開發工程師是做什麼的？崗位要求高嗎？大數據開發工程師要負責數據倉庫建設、ETL開發、數據分析、數據指標統計、大數據實時計算平台及業務開發、平台建設及維護等工作內容。熟練掌握數據倉庫、hadoop生態體系、計算及二次開發、大數據平台工具的開發：開發平台、調度系統、元數據平台等工具，該崗位對於技術要求較高。

大數據開發工程師的崗位要求有哪些：

1、本科以上學歷，計算機相關專業，對數據處理、數據建模、數據分析等有深刻認識和實戰經驗
2、熟悉HiveSQL語言，熟悉shell, python等腳本語言
3、有hadoop、spark、flink等大數據平台的使用經驗
4、有數據倉庫建設、商業數據分析、增長項目經驗
5、java/scala至少熟練使用一種
6、熟練掌握Hadoop及Map-Rece應用開發，熟練掌握HBase、Hive、Storm、spark等大數據開發工具
7、熟悉至少一種實時計算引擎 Storm,SparkStreaming, Flink, 對hadoop生態其他組件有一定了解，比如 HBase， hadoop, Hive, Druid等
熟悉Hadoop/Spark/Hive/HBase等大數據工具，主導過大型數據平台建設者優先；
9、精通SQL，熟悉常用的關系型資料庫、非關系性資料庫和數據倉庫，具有SQL性能優化經驗；
9、了解微服務開發理念、實現技術，熟悉常見設計模式，熟練掌握SSH開發框架，熟練進行Java、Python代碼編寫，熟悉多線程編程
10、有Hadoop/Hive/Spark/Storm/Zookeeper 等相關開發經驗或從事分布式相關系統的開發工作
11、熟悉linux/Unix系統和豐富的Java開發經驗
12、3年以上企業級數據倉庫開發經驗，有大規模集群應用開發經驗優先
13、熟悉數據倉庫理論，具備復雜業務需求梳理能力
14、熟練SQL開發，精通Mysql等關系型資料庫
15、熟悉Linux系統，具備shell、python等腳本開發能力者優先
16、學習能力強，喜歡研究開源新技術，有團隊觀念，具備獨立解決問題的能力，具備扎實的計算機理論基礎, 對數據結構及演算法有較強的功底

看到這些要求是不是嚇一跳？別慌，小編綜合了多家大型互聯網公司的招聘要求進行一個羅列，供大家參考了解，不同的公司對於技術的側重點不盡相同

大數據開發工程師崗位核心職責（需要做什麼）：
1、大數據基礎平台、大數據能力開放平台、大數據交易平台的搭建與優化；
2、基於大數據平台(Hadoop)的數據倉庫工具Hive/Spark/HBase, ETL調度工具，數據同步工具的開發、使用、集成和自動化運維，以及多租戶與許可權控制策略的實現；
3、研發基於大數據平台的數據倉庫平台產品；
4、參與大數據平台的容量規劃、持續交付、業務監控、應急響應，保證平台正常運行。
5、利用大數據相關技術實現對數據的加工、分析、挖掘、處理、及數據可視化等相關工作。
6、推動團隊內成員技術經驗分享，關注相關前沿技術研究，通過新技術服務團隊和業務。

大數據開發工程師需要具備大數據基礎知識、大數據平台知識和大數據場景知識三方面的知識結構。大數據基礎知識：數學基礎、統計學基礎和計算機基礎。數學基礎是大數據從業者重要的基礎，因為大數據的核心是演算法設計，而數學是演算法設計的基礎。統計學基礎知識也是大數據從業者必須掌握的內容，包括基本的統計方法、繪制方法、統計演算法等內容。計算機基礎則包括操作系統（Linux）、計算機網路、數據結構、演算法設計、資料庫等內容。

大數據工程師負責創建和維護分析基礎架構，該基礎架構幾乎可以支持數據世界中的所有其他功能。他們負責大數據架構的開發、構建、維護和測試，例如資料庫和大數據處理系統。大數據工程師還負責創建用於建模，挖掘，獲取和驗證數據集合等流程。基本上成為數據「構建者」是一個激動人心的時刻，如果你喜歡使用新工具並且可以跳出關系資料庫的框框思考，那麼你將處於幫助公司適應該行業需求的主要位置。

隨著國家戰略支持和大數據技術的快速發展，大數據的應用場景在不斷的深入，產生的影響也在不斷的加大。未來幾十年將由大數據驅動，大數據在促進各個領域發展的同時，也將需要更多的相關性人才。0基礎學習大數據的難度是有的，但並不代表你無法實現快速的轉型，選擇一個合適的學習路線圖學習也是可以的~

⑧ 大數據開發工程師是做什麼

大數據開發工程師做的是：
1、參與大數據平台的數據架構設計，完成從業務模型到數據模型的設計；
2、基於海量數據的數據倉庫，為業務搭建通用的查詢和分析解決方案；
3、根據工作安排高效、高質地完成代碼編寫，確保符合前端代碼規范。以上是大數據開發工程師目前在行業或公司中負責的工作內容。

⑨ 大數據工程師是做什麼的

大數據工程師抄主要是，分析歷史、預測未來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務：

找出過去事件的特徵：大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特徵。找出過去事件的特徵，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，並預測他的行為。

預測未來可能發生的事情：通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。

找出最優化的結果：根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。

(9)大數據建模工程師擴展閱讀

大數據工程師需要學習的知識

1、linux

大數據集群主要建立在linux操作系統上，Linux是一套免費使用和自由傳播的類Unix操作系統。而這部分的內容是大家在學習大數據中必須要學習的，只有學好Linux才能在工作中更加的得心應手。

2、Hadoop

我覺的大家聽過大數據就一定會聽過hadoop。Hadoop是一個能夠對大量數據進行離線分布式處理的軟體框架，運算時利用maprece對數據進行處理。

⑩ 大數據工程師是干什麼的

據統計，我國電子商務企業已達到1000多萬家，其中大中型企業就有10萬多家，初步估計，未來我國對電子商務人才的需求每年約80萬人，而我國目前包括高校和各類培訓機構每年輸出的人才數量不到10萬人。人才缺口巨大已成為制約我國電商行業發展的一大瓶頸。

選擇江西新華電腦學院雲電商工程師專業，你將學習：
電子商務概論與政策法規、Photoshop圖像處理、電子商務物流管理、HTML5+CSS3、WEB和移動界面商業案例、Windows Server2003伺服器操作系統、動態網頁設計PHPMYSQL、網路資料庫基礎(SQLServer）、JavaScript、電子商務安全與網上支付、網路SEM、SEO優化與推廣、網路營銷及綜合實踐等。