1. 大數據開發工程師 就業和發展前景
大數據就業前景
伴隨著大數據技術的成熟，大數據應用的普及和發展才剛剛開始，我們預計未來二十年，甚至更長一段時間都是大數據黃金發展階段，相關的行業將引來巨大的發展機遇。大部分行業都需要，市場、營銷、運營相關的需求很多。大數據不是職位，學完大數據認證後你可以從事大數據挖掘專家，高級行業分析師，大數據業務架構師，大數據架構師，大數據演算法工程師，大數據開發工程師，大數據運維工程師。不管是國內還是國外，大數據相關的人才都是供不應求的局面。目前市場急需運用大數據分析結果的大數據相關管理人才。
據數聯尋英發布《大數據人才報告》顯示，目前全國的大數據人才僅46萬，未來3-5年內大數據人才的缺口將高達150萬。
據職業社交平台LinkedIn發布的《2016年中國互聯網最熱職位人才報告》顯示，研發工程師、產品經理、人力資源、市場營銷、運營和數據分析是當下中國互聯網行業需求最旺盛的六類人才職位。其中研發工程師需求量最大，而數據分析人才最為稀缺。領英報告表明，數據分析人才的供給指數最低，僅為0.05，屬於高度稀缺。數據分析人才跳槽速度也最快，平均跳槽速度為19.8個月。根據中國商業聯合會數據分析專業委員會統計，未來中國基礎性數據分析人才缺口將達到1400萬，而在BAT企業招聘的職位里，60%以上都在招大數據人才。
大數據就業方向
1. Hadoop大數據開發方向
市場需求旺盛，大數據培訓的主體，目前IT培訓機構的重點。
對應崗位：大數據開發工程師、爬蟲工程師、數據分析師等。
2. 數據挖掘、數據分析&機器學習方向
學習起點高、難度大，市面上只有很少的培訓機構在做。
對應崗位：數據科學家、數據挖掘工程師、機器學習工程師等。
3. 大數據運維&雲計算方向
市場需求中等，更偏向於linux、雲計算學科。
對應崗位：大數據運維工程師
2. 雲計算大數據專業可以做什麼工作 主要有這些崗位
在當前的大數據時代背景下，選擇大數據專業是不錯的選擇，目前我國這方面人才緊缺，那麼大數據有哪些工作崗位呢？
從大的崗位劃分上來看，當前大數據崗位可以分為開發崗、演算法崗（數據分析）、運維崗等，開發崗的任務涉及到兩大方面，其一是完成業務實現，其二是完成數據生產，目前很多傳統軟體開發任務正在逐漸向大數據開發過渡，這也導致當前大數據開發崗的人才需求量更大一些。從事大數據開發崗，還需要重點學習雲計算相關的知識，尤其是PaaS（平台即服務）。
大數據開發崗位是當前人才需求量比較大的崗位之一，不論是本科生還是研究生，當前選擇大數據開發崗位會有相對較大的選擇空間。大數據開發崗位分為平台研發崗位和行業場景開發崗位兩大類，通常大數據平台研發崗位對於從業者的要求相對比較高，屬於研發級崗位，而大數據行業應用場景開發則相對要容易一些。
大數據專業是一個比較典型的交叉學科，涉及到的內容包括數學、統計學和計算機三大學科，所以學習的內容還是比較多的，如果不能做好一個系統的學習規劃，很容易導致學得雜而不精，這對於就業會產生一定的負面影響。所以，本科期間應該選擇一個主攻方向，圍繞這個主攻方向來組織知識結構和提升實踐能力。
眾所周知大數據的方向主要分三個：1、大數據開發方向：涉及的崗位諸如大數據工程師、大數據維護工程師、大數據研發工程師、大數據架構師等；2、數據挖掘、數據分析和機器學習方向：涉及的崗位諸如大數據分析師、大數據高級工程師、大數據分析師專家、大數據挖掘師、大數據演算法師等；3、大數據運維和雲計算方向：涉及的崗位諸如大數據運維工程師等。
由此可見，大數據的就業崗位是非常多的，而且只要能熟練掌握或者精通一門，就能取得非常不錯的成績。甚至在該方向能獨當一面的話，那個人價值就不言而喻了。
3. 大數據運維工程師具體做什麼
事件管理：目標是在服務出現異常時盡可能快速的恢復服務，從而保障服務的可用性;同時深入分析故障產生的原因，推動並修復服務存在的問題，同時設計並開發相關的預案以確保服務出現故障時可以高效的止損。
問題發現：設計並開發高效的監控平台和告警平台，使用機器學習、大數據分析等方法對系統中的大量監控數據進行匯總分析，以期在系統出現異常的時候可以快速的發現問題和判斷故障的影響。
問題處理：設計並開發高效的問題處理平台和工具，在系統出現異常的時候可以快速/自動決策並觸發相關止損預案，快速恢復服務。
問題跟蹤：通過分析問題發生時系統的各種表現(日誌、變更、監控)確定問題發生的根本原因，制定並開發預案工具。
變更管理：以可控的方式，盡可能高效的完成產品功能的迭代的變更工作。
配置管理：通過配置管理平台(自研、開源)管理服務涉及到的多個模塊、多個版本的關系以及配置的准確性。
發布管理：通過構建自動化的平台確保每一次版本變更可以安全可控地發布到生產環境。
容量管理：在服務運行維護階段，為了確保服務架構部署的合理性同時掌握服務整體的冗餘，需要不斷評估系統的承載能力，並不斷優化之。
容量評估：通過技術手段模擬實際的用戶請求，測試整個系統所能承擔的最大吞吐;通過建立容量評估模型分析壓力測試過程中的數據以評估整個服務的容量。
容量優化：基於容量評估數據，判斷系統的瓶頸並提供容量優化的解決方案。比如通過調整系統參數、優化服務部署架構等方法來高效的提升系統容量。
架構優化：為了支持產品的不斷迭代，需要不斷的進行架構優化調整。以確保整個產品能夠在功能不斷豐富和復雜的條件下，同時保持高可用性。
4. 大數據所從事什麼工作
大數據有各方面的工作，有需要用到高深的技術的，也有簡單的工作，主要你願回意並且有決心從事大數據相答關工作，不管你先前讀什麼專業，一定能找到適合你的切入點，進入大數據行業工作。
大數據相關的工作分為幾大類：大數據研發、大數據開發、大數據分析、大數據運維。
如果你想從事偏技術型的工作，至少要有開發語言作為支撐，比如Java或python，工作的選擇也更寬泛並且都是企業所要求的核心崗位，對以後的發展很有幫助。
5. 大數據運維的主要工作內容是什麼
大數據運維，這里指互聯網運維，通常屬於技術部門，與研發、測試、系統管理同為互專聯網產屬品技術支撐的4大部門，這個劃分在國內和國外以及大小公司間都會多少有一些不同。
一個互聯網產品的生成一般經歷的過程是：產品經理（proct manager，非技術部）需求分析、研發部門開發、測試部門測試、運維部門部署發布以及長期的運行維護。
一般來講國內的互聯網運維負責軟體測試交付後的發布和管理，其核心目標是將交付的業務軟體和硬體基礎設施高效合理的整合，轉換為可持續提供高質量服務的產品，同時最大限度降低服務運行的成本，保障服務運行的安全。
6. 尚矽谷的大數據和大數據運維有什麼區別
大數據運維和大數據開發是兩種不一樣的崗位，
大數據開發是對數據產品進行開發，需專要對這些大屬數據工具操作數據非常熟練。
而大數據運維是對子承載數據的那些組件進行維護，只需要監控那些組件是否在運轉機器的性能是否穩定
7. 大數據運維工程師的具體職責描述
大數據運維工程師需要負責公司大數據平台的運維管理工作，集群容量規劃、擴容及性能優化。下面是我為您精心整理的大數據運維工程師的具體職責描述。
大數據運維工程師的具體職責描述1
職責：
1、負責數據平台的運維管理工作(部署、監控、優化、故障處理);
2、負責Hadoop/Spark/Flink/Elasticsearch/Kafka等系統的架構審核、容量規劃、成本優化;
3、負責大數據平台的用戶管理、許可權分配、資源分配;
4、參與數據挖掘、機器學習的平台的設計、並給出可執行的運維方案;
5、參與數據平台的相關工具開發(包括自動化部署、監控、ETL等);
6、深入理解數據平台架構，發現並解決故障隱患及性能瓶頸;
7、ETL工具、調度工具、關系型資料庫的運維。
任職資格：
1、本科以上學歷，計算機軟體相關專業;
2、1年以上大數據相關組件運維經驗(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP維護經驗，3年以上系統運維相關經驗;
3、深入理解Linux系統，能獨立部署開源軟體，熟練掌握一門以上腳本語言(shell/perl/python等)，熟悉python開發語言優先;
4、邏輯思維能力強，做事有條理，責任心強，工作積極主動，執行力強，有良好的團隊協作意識。
大數據運維工程師的具體職責描述2
職責
1. 負責大數據ETL系統，運維及保障服務穩定可用;
2. 負責數據採集交換方案以及聯調測試;
3. 負責採集交換任務的評審和上線;
4. 負責及時排除ETL流程故障，形成知識庫，完善運維文檔;
5. 負責監控和優化ETL的性能,持續性地提出改進自動化運維平台建議
技能要求
1. 計算機科學或相關專業本科及以上學歷;
2. 熟悉Linux系統,熟練編寫shell/perl/python一種或多種腳本語言;
3. 熟悉Hive、Hadoop、MapRece集群原理，有hadoop大數據平台運維經驗者優先;
4. 熟悉資料庫的性能優化、SQL調優，有相應經驗;
5. 抗壓能力強，有強烈的責任心，良好的溝通能力、學習能力及團隊合作能力。
大數據運維工程師的具體職責描述3
職責：
1、負責分布式大數據平台產品的運維和運維開發，保證其高可用和穩定性;
2、負責大數據系統架構的可運維性設計、容量規劃、服務監控，持續優化服務架構、集群性能;
3、通過技術手段控制和優化成本，通過自動化工具及流程提升大數據平台運維效率;
4、為項目開發人員提供大數據技術指導及解決大數據平台應用中遇到的技術難題;
任職資格：
1、三年以上大數據運維相關工作經驗，有大型互聯網公司工作經驗者優先，全日制本科及以上學歷;
2、熟練掌握至少一門開發語言，有Java或Python語言開發經驗優先;
3、精通Hadoop生態及高性能緩存相關的各種工具並有實戰經驗，包括但不限於Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;
4、熟悉Mysql等常用關系資料庫，熟練編寫SQL語句，有分布式nosql資料庫應用、性能調優經驗優先;
5、熟悉Linux環境，能夠熟悉使用shell腳本;
6、對大數據技術有強烈興趣，有志於往大數據方向深層次發展;
7、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;
8、具備較好的溝通能力、主動性及責任感。
大數據運維工程師的具體職責描述4
職責：
1、負責大數據集群的日常維護、監控、異常處理等工作，保障集群穩定運行;
2、負責大數據批處理管理以及運維;
3、負責大數據集群的用戶管理、許可權管理、資源管理、性能優化等;
4、深入理解數據平台架構，發現並解決重大故障及性能瓶頸，打造一流的數據平台;
5、跟進大數據前沿技術，不斷優化數據集群;
6、有華為大數據平台運維經驗優先;
崗位要求：
1、1年以上大數據運維或開發經驗;
2、有良好的計算機和網路基礎，熟悉linux文件系統、內核、性能調優，TCP/IP、HTTP等協議;
3、熟悉大數據生態，有相關(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的運維及開發經驗;
4、熟練使用shell、python等腳本語言開發相關運維管理工具;
5、良好的文檔撰寫習慣;
大數據運維工程師的具體職責描述5
職責：
1、負責公司內部及項目中大數據集群的構建，任務調度、監控預警，持續完善大數據平台，保證穩定性、安全性;
2、負責集群容量規劃、擴容、集群性能優化及日常巡檢和應急值守，參與大數據基礎環境的架構設計與改進;
3、深入研究大數據業務相關運維技術，探索新的運維技術及發展方向。
任職要求：
1、熟悉Linux基礎命令操作，能夠獨立編寫Shell腳本開展日常伺服器的運維;
2、熟悉Hadoop生態圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調優;
3、熟悉軟硬體設備，網路原理，有豐富的大數據平台部署，性能優化和運維經驗;
4、工作認真負責，有較強的學習能力，動手能力和分析解決問題的能力;
5、能夠利用各種開源監控工具、運維工具，HA、負載均衡軟體完成工作任務;
6、熟悉JVM虛擬機調優;
8. 大數據工程師主要做什麼
當前大數據平台開發崗位的附加值還是比較高的，大數據平台開發崗位往往集中在大回型互聯網企業，隨著雲計算逐漸答從IaaS向PaaS過渡，大數據平台開發也會基於行業特點來開發針對性比較強的PaaS平台，這是整合行業資源並搭建技術生態的一個關鍵。搭建PaaS平台不僅需要掌握大數據知識，同時還需要掌握雲計算知識，實際上大數據和雲計算本身就有比較緊密的聯系，二者在技術體系結構上都是以分布式存儲和分布式計算為基礎，只不過關注點不同而已。
大數據運維工程師以搭建大數據平台為主，雖然這部分崗位的門檻相對比較低，但是需要學習的內容還是比較多的，而且內容也比較雜，網路知識、資料庫管理知識、操作系統(Linux)知識、大數據平台(含開源和商用平台)知識都需要掌握一些，對於實踐操作的要求會比較高。
最後，當前大數據工程師往往並不包含專業的數據分析崗位，一般數據分析崗位都會單獨列出來，這部分崗位涉及到演算法崗、開發崗(實現)和數據呈現崗等，數據分析崗位對於從業者的數學基礎要求比較高，同時還需要掌握大量的數據分析工具，當然也離不開Python、Sql等知識。