att大數據部門人員

⑴ 【科普】企業中，大數據部門的常見組成

在IT公司里，大數據部門的成員，一般可分為4種：（以房子為例）

先用一張圖，幫助大家理解一下～～
出道題目，我們公司的大數據部門，目前有這些崗位，你能一一推測出他們的所在位置嗎？
【數據應用工程師】、【數據可視化工程師】、【數據可視化設計師】、【數據平台工程師】、【演算法工程師】、【數據分析師】

建房子地基（埋在地下）的那群人
他們就是 平台組/架構組 的那群人，他們負責搭建一套大數據的平台架構體系。一般你肉眼看不到他們的產出，但是當某一堵牆壁歪了的時候，或者你進屋打水但水龍頭卻流不出來水的時候，你就會意識到他們工作的重要性。
平台組的常見發展路徑 ：
平台初期，很多公司會用自己的伺服器搭一個 私有集群 ，將數據維護起來，開始構建數據平台的第一步。這個，也是原始的大數據平台。（當然，現在有很多公司也是直接上雲伺服器）
當平台進入高速發展期，考慮到不斷擴充的數據量和伺服器的維護成本上升，很多公司會遷移平台到 雲服務 上，比如阿里雲，華為雲。雲服務的選擇要解決的是選擇平台所提供的服務，成本，數據通道的維護。【我們公司目前正處於這一階段，選擇了雲服務。當前，經過考量也正在由阿里雲遷移到華為雲】
還有一個階段，你發現雲服務的費用太高，雖然省了你很多事，或者是考慮到敏感數據的安全問題（當然，私有集群也不是百分百安全），然後又開始往 私有集群 遷移。這時候，鑒於數據規模，你大概需要一個靠譜的團隊，設計網路布局、設計運維規范、架設監控、建立機房，值班團隊走起7*24小時隨時准備出台。
至此，產生了平台組，真的大數據平台來了 。

建屋子（砌牆蓋瓦）的那群人 ：
應用組 的那群人，他們負責建設各類系統/應用。他們搬磚砌牆，建好房子，還要鋪設各類管道線路，把地基裡面的數據抽出來，放在房子里，讓用戶們推開門就可以享用。
應用組，有哪些應用？ ：
這塊不太好講。不過，為了盡量讓大家看懂，用 從大到小的思路 嘗試下：
在整個社會層面，大數據已應用於各行各業，比如：金融行業/地產行業/零售行業/醫療行業/農業/物流行業/城市管理等等……有哪一個行業，可以脫離數據而生存？有哪一個行業可以不依賴數據而發展？
那麼，在一個企業中，數據必然是無法避免的會應用到，不管是1個員工的皮包公司，還是10萬員工的跨國集團。so，我們來講講具體有哪些應用呢？
一般而言，數據應用分為3類：分別是面向企業內部， 面向企業外部以及面向用戶這三種。

這里，鑒於今天的主題，我們只講 面向企業內部 的大數據應用。
進入正題了：
企業內部產品中，可以從2個角度來看待具體有哪些應用：

策略類 的方向較多，常見的有：

這些有時候會有部分或全部不劃在大數據部門下面，但都需要比較規范的數據基礎，以及著重與利用數據分析調整產品策略。

做企業內部的大數據應用產品，常常有些心酸的地方：

屋子裡面的人 ：
產品組 的那群人，主要是一群產品經理（我們公司，目前就半個，由一個分析師兼職著，所以，我們公司沒有產品組哦），負責數據類的應用產品設計。他們和上面建房子的工程師們，是緊密的團隊關系。鑒於上面對數據應用產品已做了很多闡述，關於他們工作產出的應用具體有哪些，這里就不再贅述。
講一講， 數據產品經理 的從業人員得有幾個素質：

屋子外面的人 ：
分析組 的那群人，一般會有3類：數據分析師、演算法工程師 （類似數據挖掘） 、數據科學家 （我們公司沒有） 。他們工作的日常：為你提取一份EXCEL數據、製作一張報表數據、用演算法模型分析一個問題、訓練出一套演算法模型等等工作，但不局限於此。
他們常常需要與各個部門打交道，接待很多業務的數據需求，與業務關系緊密。在一些公司，分析組不一定都設置在大數據部門下，他們可能分散在不同的業務部門，為各自部門服務。但是，他們終究也是需要從大數據平台來獲取所需的業務數據，做分析處理，得到相關結論～
據我所知，我們公司的業務部門，（好像）也是有自己的分析人員。
簡單概括一下這些職位的特點：
【數據分析師】
業務線，負責通過數據分析手段發現和分析業務問題，為決策作支持。
【演算法工程師】/【數據挖掘工程師】
偏技術線，負責通過建立模型、演算法、預測等提供一些通用的解決方案，當然也有針對某業務的。
【數據科學家】
數據科學家是使用專業知識構建機器學習模型，再以此做出預測並對關鍵業務問題進行解答的專家。數據科學家仍然需要對數據進行清洗、分析以及可視化處理，這一點和數據分析師是一致的。不過數據科學家在專業技能方面有者更深的研究，涉獵范圍也更廣，同時他們也能夠對機器學習模型進行訓練與優化。

至此，整篇文章，已經講差不多了。
最後總結下，本質上，圍繞房子的這4撥人，做的是同一件事情： 提供數據服務 。

完結～

⑵ 大數據運維崗位是干什麼的

大數據運維指互聯網運維，通常是屬於技術部門。其職責：負責大數據平台的穩定性和性能優化；大數據項目的運維虧頌工作；針對業務的需求制定運悶空陵維解決方案；完善監控報警系統，對業務關鍵指標進行監控螞戚和報警通知；負責大數據的方案架構及方案的落地；負責集群網路架構及機器的管理等

⑶ 一個完整的大數據開發部門需要什麼人人員構成是怎麼樣的

大數據開發通常需要編程技能，根據我3年多的編程經驗，編程技能將帶來更好的版開發。大數據開權發一般有數據倉庫開發、數據分析、數據開發三大類，每一類都需要不同的技能。但他們都有很多共同點。一般技能: 除了基本的 sql 能力，包括使用傳統資料庫如 mysql 和 oracle，以及分布式資料庫如 hive 和 hbase 的能力，其他的，如 maprece 和 spark，會更好。可以使用聚類，聚類除了問題具有一定的解聚類問題的能力。數據倉庫開發: 能夠編號倉庫建模、維表、事實表、主題表、星型模型、雪花型模型等，熟悉業務、全局視圖，建立數據倉庫。數據開發: 數據開發有離線開發和實時開發，這種後端開發比較偏向於 java 按需開發，加上程序的日常維護。數據分析: 這需要很強的 sql 技能，如果你能在數據分析中使用 python 會更好。要掌握像 sqoop 和 kettle 這樣的常用 etl 工具，請使用報告系統。當然，如果你想學習，你可以學得更深入。畢竟，在通常的發展過程中，特別是小公司的分工不明確，這些技能或多或少都是我們需要掌握的。一個人可以成為幾個人，就像一個全能工程師。

⑷ 大數據開發人員到企業幹些什麼工作

應該看公司實際做的事情，每個公司也是叫法各不同。大數據現在相關的職位應該分為三種：開發（後台開發【後台開發又包括平台開發和數據應用開發】和可視化）、數據分析工程師和演算法工程師。

⑸ 大數據架構師崗位的主要職責概述

大數據架構師崗位的主要職責概述 篇1

職責：

1、負責大數據平台及BI系統框架設計、規劃、技術選型，架構設計並完成系統基礎服務的開發;

2、負責海量埋點規則、SDK標准化、埋點數據採集、處理及存儲，業務數據分布存儲、流式/實時計算等應用層架構搭建及核心代碼實現;

3、開發大數據平台的核心代碼，項目敏捷開發流程管理，完成系統調試、集成與實施，對每個項目周期技術難題的解決，保證大數據產品的上線運行;

4、負責大數據平台的架構優化，代碼評審，並根據業務需求持續優化數據架構，保證產品的可靠性、穩定性;

5、指導開發人員完成數據模型規劃建設，分析模型構建及分析呈現，分享技術經驗;

6、有效制定各種突發性研發技術故障的應對預案，有清晰的隱患意識;

7、深入研究大數據相關技術和產品，跟進業界先進技術;

任職要求

1、統計學、應用數學或計算機相關專業大學本科以上學歷;

2、熟悉互聯網移動端埋點方法(點擊和瀏覽等行為埋點)，無埋點方案等，有埋點SDK獨立開發經驗者優選;

3、熟悉Hadoop，MR/MapRece，Hdfs，Hbase，Redis，Storm，Python，zookeeper，kafka，flinkHadoop，hive，mahout，flume，ElasticSearch，KafkaPython等，具備實際項目設計及開發經驗;

4、熟悉數據採集、數據清洗、分析和建模工作相關技術細節及流程

5、熟悉Liunx/Unix操作系統，能熟練使用shell/perl等腳本語言，熟練掌握java/python/go/C++中一種或多種編程語言

6、具備一定的演算法能力，了解機器學習/深度學習演算法工具使用，有主流大數據計算組件開發和使用經驗者優先

7、熟悉大數據可視化工具Tableau/echarts

8、具有較強的執行力，高度的責任感、很強的學習、溝通能力，能夠在高壓下高效工作;

大數據架構師崗位的主要職責概述 篇2

職責：

根據大數據業務需求，設計大數據方案及架構，實現相關功能;

搭建和維護大數據集群，保證集群規模持續、穩定、高效平穩運行;

負責大數據業務的設計和指導具體開發工作;

負責公司產品研發過程中的數據及存儲設計;

針對數據分析工作，能夠完成和指導負責業務數據建模。

職位要求：

計算機、自動化或相關專業(如統計學、數學)本科以上學歷，3年以上大數據處理相關工作經驗;

精通大數據主流框架(如Hadoop、hive、Spark等);

熟悉MySQL、NoSQL(MongoDB、Redis)等主流資料庫，以及rabbit MQ等隊列技術;

熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;

熟悉常用的數據挖掘演算法優先。

大數據架構師崗位的主要職責概述 篇3

職責：

1、大數據平台架構規劃與設計;

2、負責大數據平台技術框架的選型與技術難點攻關;

3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作，根據系統的業務需求，能夠指導開發團隊完成實施工作;

4、負責數據基礎架構和數據處理體系的升級和優化，不斷提升系統的穩定性和效率，為相關的業務提供大數據底層平台的支持和保證;

5、培養和建立大數據團隊，對團隊進行技術指導。

任職要求：

1、計算機相關專業的背景專業一類院校畢業本科、碩士學位，8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);

2、精通Java，J2EE相關技術，精通常見開源框架的架構，精通關系資料庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;

3、精通SQL和Maprece、Spark處理方法;

4、精通大數據系統架構，熟悉業界數據倉庫建模方法及新的建模方法的發展，有DW，BI架構體系的專項建設經驗;

5、對大數據體系有深入認識，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術，並能設計相關數據模型;

6、很強的學習、分析和解決問題能力，可以迅速掌握業務邏輯並轉化為技術方案，能獨立撰寫項目解決方案、項目技術文檔;

7、具有較強的內外溝通能力，良好的團隊意識和協作精神;

8、機器學習技術、數據挖掘、人工智慧經驗豐富者優先考慮;

9、具有能源電力行業工作經驗者優先。

大數據架構師崗位的主要職責概述 篇4

職責：

1.參與公司數據平台系統規劃和架構工作，主導系統的架構設計和項目實施，確保項目質量和關鍵性能指標達成;

2.統籌和推進製造工廠內部數據系統的構建，搭建不同來源數據之間的邏輯關系，能夠為公司運營診斷、運營效率提升提供數據支持;

3.負責數據系統需求對接、各信息化系統數據對接、軟體供應商管理工作

5.根據現狀制定總體的數據治理方案及數據體系建立，包括數據採集、接入、分類、開發標准和規范，制定全鏈路數據治理方案;深入挖掘公司數據業務，超強的數據業務感知力，挖掘數據價值，推動數據變現場景的落地，為決策及業務賦能;

6.定義不同的數據應用場景，推動公司的數據可視化工作，提升公司數據分析效率和數據價值轉化。

任職要求：

1.本科以上學歷，8年以上軟體行業從業經驗，5年以上大數據架構設計經驗，熟悉BI平台、大數據系統相關技術架構及技術標准;

2.熟悉數據倉庫、熟悉數據集市，了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;

3.熟悉大數據相關技術：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉製造企業信息化系統及相關資料庫技術;

5.具備大數據平台、計算存儲平台、可視化開發平台經驗，具有製造企業大數據系統項目開發或實施經驗優先;

6.對數據敏感，具備優秀的業務需求分析和報告展示能力，具備製造企業數據分析和數據洞察、大數據系統的架構設計能力，了解主流的報表工具或新興的前端報表工具;

7.有較強的溝通和組織協調能力，具備結果導向思維，有相關項目管理經驗優先。

大數據架構師崗位的.主要職責概述 篇5

職責：

1.負責產品級業務系統架構(如業務數據對象識別，數據實體、數據屬性分析，數據標准、端到端數據流等)的設計與優化。協助推動跨領域重大數據問題的分析、定位、解決方案設計，從架構設計上保障系統高性能、高可用性、高安全性、高時效性、分布式擴展性，並對系統質量負責。

2.負責雲數據平台的架構設計和數據處理體系的優化，推動雲數據平台建設和持續升級，並制定雲數據平台調用約束和規范。

3.結合行業應用的需求負責數據流各環節上的方案選型，主導雲數據平台建設，參與核心代碼編寫、審查;數據的統計邏輯回歸演算法、實時交互分析;數據可視化方案等等的選型、部署、集成融合等等。

4.對雲數據平台的關注業內技術動態，持續推動平台技術架構升級，以滿足公司不同階段的數據需求。

任職要求：

1.熟悉雲計算基礎平台，包括linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎環境，熟悉控制、計算、存儲和網路;

2.掌握大型分布式系統的技術棧，如：CDN、負載均衡、服務化/非同步化、分布式緩存、NoSQL、資料庫垂直及水平擴容;熟悉大數據應用端到端的相關高性能產品。

3.精通Java，Python，Shell編程語言，精通SQL、NoSQL等資料庫增刪改查的操作優化;

4.PB級別實戰數據平台和生產環境的實施、開發和管理經驗;

5.熟悉Docker等容器的編排封裝，熟悉微服務的開發和日常調度;

6.計算機、軟體、電子信息及通信等相關專業本科以上學歷，5年以上軟體工程開發經驗，2年以上大數據架構師工作經驗。

大數據架構師崗位的主要職責概述 篇6

職責描述：

1、負責集團大數據資產庫的技術架構、核心設計方案，並推動落地；

2、帶領大數據技術團隊實現各項數據接入、數據挖掘分析及數據可視化；

3、新技術預研，解決團隊技術難題。

任職要求：

1、在技術領域有5年以上相關經驗，3年以上的架構設計或產品經理經驗；

2、具有2年以上大數據產品和數據分析相關項目經驗；

3、精通大數據分布式系統（hadoop、spark、hive等）的架構原理、技術設計；精通linux系統；精通一門主流編程語言，java優先。

大數據架構師崗位的主要職責概述 篇7

崗位職責：

1、基於公司大數據基礎和數據資產積累，負責大數據應用整體技術架構的設計、優化，建設大數據能力開放平台；負責大數據應用產品的架構設計、技術把控工作。

2、負責制定大數據應用系統的數據安全管控體系和數據使用規范。

3、作為大數據技術方案到產品實現的技術負責人，負責關鍵技術點攻堅工作，負責內部技術推廣、培訓及知識轉移工作。

4、負責大數據系統研發項目任務規劃、整體進度、風險把控，有效協同團隊成員並組織跨團隊技術協作，保證項目質量與進度。

5、負責提升產品技術團隊的技術影響力，針對新人、普通開發人員進行有效輔導，幫助其快速成長。

任職資格：

1、計算機、數學或相關專業本科以上學歷，5—20xx年工作經驗，具有大型系統的技術架構應用架構數據架構相關的實踐工作經驗。

2、有分布式系統分析及架構設計經驗，熟悉基於計算集群的軟體系統架構和實施經驗。

3、掌握Hadoop/Spark/Storm生態圈的主流技術及產品，深入了解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。

4、掌握Mysql/Oracle等常用關系型資料庫，能夠對SQL進行優化。

5、熟悉分布式系統基礎設施中常用的技術，如緩存（Varnish、Memcache、Redis）、消息中間件（Rabbit MQ、Active MQ、Kafka、NSQ）等；有實踐經驗者優先。

6、熟悉Linux，Java基礎扎實，至少3—5年以上Java應用開發經驗，熟悉常用的設計模式和開源框架。

大數據架構師崗位的主要職責概述 篇8

崗位職責：

1、負責公司大數據平台架構的技術選型和技術難點攻關工作；

2、依據行業數據現狀和客戶需求，完成行業大數據的特定技術方案設計與撰寫；

3、負責研究跟進大數據架構領域新興技術並在公司內部進行分享；

4、參與公司大數據項目的技術交流、解決方案定製以及項目的招投標工作；

5、參與公司大數據項目前期的架構設計工作；

任職要求：

1、計算機及相關專業本科以上，5年以上數據類項目（數據倉庫、商務智能）實施經驗，至少2年以上大數據架構設計和開發經驗，至少主導過一個大數據平台項目架構設計；

2、精通大數據生態圈的技術，包括但不限於MapRece、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先；

3、優秀的方案撰寫能力，思路清晰，邏輯思維強，能夠根據業務需求設計合理的解決方案；

4、精通ORACLE、DB2、mySql等主流關系型資料庫，熟悉數據倉庫建設思路和數據分層架構思想；

5。熟練掌握java、R、python等1—2門數據挖掘開發語言；

6。熟悉雲服務平台及微服務相關架構思想和技術路線，熟悉阿里雲或騰訊雲產品者優先；

7、有煙草或製造行業大數據解決方案售前經驗者優先；

8、能適應售前支持和項目實施需要的短期出差；

大數據架構師崗位的主要職責概述 篇9

崗位職責：

1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化；

2、負責解決項目上線後生產環境的各種實際問題，保障大數據平台在生產上的安全、平穩運行；

3、推動優化跨部門的業務流程，參與業務部門的技術方案設計、評審、指導；

4、負責技術團隊人員培訓、人員成長指導。

5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公，月底項目結束後在總部公司辦公

任職要求：

1、熟悉linux、JVM底層原理，能作為技術擔當，解決核心技術問題；

2、3年以上大數據平台項目架構或開發經驗，對大數據生態技術體系有全面了解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等；

3、掌握git、maven、gradle、junit等工具和實踐，注重文檔管理、注重工程規范優先；

4、熟悉Java後台開發體系，具備微服務架構的項目實施經驗，有Dubbo/Spring cloud微服務架構設計經驗優先；

5、性格開朗、善於溝通，有極強的技術敏感性和自我驅動學習能力，注重團隊意識。

大數據架構師崗位的主要職責概述 篇10

職責描述：

1、負責大數據平台框架的規劃設計、搭建、優化和運維；

2、負責架構持續優化及系統關鍵模塊的設計開發，協助團隊解決開發過程中的技術難題；

3、負責大數據相關新技術的調研，關注大數據技術發展趨勢、研究開源技術、將新技術應用到大數據平台，推動數據平台發展；

4、負責數據平台開發規范制定，數據建模及核心框架開發。

任職要求：

1、計算機、數學等專業本科及以上學歷；

2、具有5年及以上大數據相關工作經驗；

3、具有扎實的大數據和數據倉庫的理論功底，負責過大數據平台或數據倉庫設計；

4、基於hadoop的大數據體系有深入認識，具備相關產品（hadoop、hive、hbase、spark、storm、 flume、kafka、es等）項目應用研發經驗，有hadoop集群搭建和管理經驗；

5、熟悉傳統數據倉庫數據建模，etl架構和開發流程，使用過kettle、talend、informatic等至少一種工具；

6、自驅力強、優秀的團隊意識和溝通能力，對新技術有好奇心，學習能力和主動性強，有鑽研精神，充滿激情，樂於接受挑戰；

⑹ 大數據上班都干什麼

不同崗位工作內容不同：

1、大數據項目經理

工作內容：項目需求、進度、質量、成本管理。

2、大數據開發工程師

工作內容：主要是基於Hadoop、Spark等平台上面進行開發，各種開源技術框架平台很多，需要看企業實際的選擇是什麼，但目前Hadoop、Spark仍然占據廣大市場。

3、大數據產品經理

工作內容：大數據相關產品規劃設計，需要與需求部門及技術部門溝通協調。

4、數據分析師

工作內容：收集，處理和執行統計數據分析；運用工具，提取、分析、呈現數據，實現數據的商業意義，需要業務理解和工具應用能力。

大數據發展前景

根據數據顯示，大數據行業的崗位每年在以超過20%的速度遞增著，這樣來看的話很自然地就會產生大量的崗位機會，並且可以相信的是隨著行業快速發展，崗位也隨著企業的業務增長不斷增多，要知道現在各大高校都開設了新的與大數據相結合的課程，未來大數據發展肯定會越來越好。

⑺ 大數據需要哪些人才_大數據人才需要具備的能力有哪些

大數據需要以下六類人才含讓：

一、大數據系統研發工程師。

這一專業人才負責大數據系統研發，包括大規模非結構化數據業務模型構建、大數據存儲、資料庫構設、優化資料庫構架、解決資料庫中心設計等，同時，還要負責數據集群的日常運作和系統的監測等，這一類人才是任何構設大數據系統的機構都必須的。

二、大數據應用開發工程師。

此類人才負責搭建大數據應用平台以及開發分析應用程序，他們必須熟悉工具或演算法、編程、優化以及部署不同的MapRece，他們研發各種基於大數據技術的應用程序及行業解決方案。其中，ETL開發者是很搶手的人才，他們所做的是從不同的源頭抽取數據，轉換並導入數據倉庫以滿足企業的需要，將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫，成為聯機分析處理、數據挖掘的基礎，為提取各類型的需要數據創造條件。

三、大數據分析師。

此類人才主要從事數據挖掘工作，運用演算法來解決和分析問題，讓數據顯露出真相，同時，他們還推動數據解決方案的不斷更新。隨著數據集規模不斷增大，殲清企業對Hadoop及相關的廉價數據處理技術如Hive、HBase、MapRece、Pig等的需求將持續增長，具備Hadoop框架經驗的技術人員是最搶手的大數據人才，他們所從事的是熱門的分析師工作。

四、數據可視化工程師。

此類人才負責在收集到的高質量數據中，利用圖形化的工具及手段的應用，清楚地揭示數據中的復雜信息，幫助用戶更好地進行大數據應用開發，如果能使用新型數據可視化工具如Spotifre，Qlikview和Tableau，那麼，就成為很受歡迎的人才。

五、數據安全研發人才。

此類人才主要負氏老前責企業內部大型伺服器、存儲、數據安全管理工作，並對網路、信息安全項目進行規劃、設計和實施，而對於數據安全方面的具體技術的人才就更需要了，如果數據安全技術，同時又具有較強的管理經驗，能有效地保證大數據構設和應用單位的數據安全，那就是搶手的人才。

六、數據科學研究人才。

數據科學研究是一個全新的工作，夠將單位、企業的數據和技術轉化為有用的商業價值，隨著大數據時代的到來，越來越多的工作、事務直接涉及或針對數據，這就需要有數據科學方面的研究專家來進行研究，通過研究，他們能將數據分析結果解釋給IT部門和業務部門管理者聽，數據科學專家是聯通海量數據和管理者之間的橋梁，需要有數據專業、分析師能力和管理者的知識，這也是搶手的人才。

⑻ 大數據時代十大熱門IT崗位_大數據崗位有哪些

大數據時代十大熱門IT崗位

大數據時代十大熱門IT崗位,新的想法誕生新的技術，從而造出許多新詞，雲計算、大數據、BYOD、社交媒體、3D列印機、物聯網在互聯網時代，各種新詞層出不窮，令人應接不暇。這些新的技術、新興應用和對應的IT發展趨勢，使得IT人必須了解甚至掌握最新的IT技能。另一方面，雲計算和大數據乃至其他助推各個行業發展的IT基礎設施的新一輪部署與運維，都將帶來更多的IT職位和相關技能技術的要求。

毫無疑問，這些新趨勢的到來，會誕生一批新的工作崗位，比如數據挖掘專家、移動應用開發和測試、演算法工程師，商業智能分析師等，同時，也會強化原有崗位的新生命力，比如網路工程師、系統架構師、咨詢顧問、資料庫管理與開發等等。下面分別為大家介紹著十大IT技能所體現的工作崗位：

一、演算法工程師

何萬青博士曾經介紹把一件事做快做好的三種方法，其中就提到過「提高流水線效率、更好的演算法和更短的代碼關鍵路徑。」可以看出演算法在系統效率中的轎碰重要地位。演算法是讓機器按照人類設想的方式去解決問題，演算法很大程度上取決於問題類型和工程師對機器編程的理解，其效率的高低與演算法息息相關。

在數學和計算機科學之中，演算法(Algorithm)為一個計算的具體步驟，常用於計算、數據處理和自動推理。在大數據時代，演算法的功能和作用得到進一步凸顯。比如針對公司搜索業務，開發搜索相關性演算法、排序演算法。對公司海量用戶行為數據和用戶意圖，設計數據挖掘演算法。

演算法工程師，根據研究領域來分主要有音頻/視頻演算法處理、圖像技術方面的二維信息演算法處理和通信物理層、雷達信號處理、生物醫學信號處理等領域的一維信息演算法處理。另外數據挖掘、互聯網搜索演算法這些體現大數據發展方向的演算法，在近幾年越來越流行，而且演算法工程師也逐漸朝向人工智慧的方向發展。

二、商業智能分析師

演算法工程師延伸出來的商業智能，尤其是在大數據領域變得更加火熱。IT職業與咨詢服務公司Bluewolf曾經發布報告指出，IT職位需求增長最快的是移動、數據、雲服務和面向用戶的技術人員，其中具體的職位則包括有商業智能分析師一項。

商業智能分析師往往需要精通資料庫知識和統計分析的能力，能夠使用商業智能工具，識別或監控現有的和潛在的客戶。收集商業情報數據，提供行業報告，分析技術的發展趨勢，確定市場未來的產品開發策略或改進現有產品的銷售。

商業智能和邏輯分析技能在大數據時代顯得特別重要，擁有商業知識以及強大的數據和數學分析背景的IT人才，在將來的IT職場上更能獲得大型企業的青睞。不過這些技能並不是一般人都能掌握的，一些公司目前正在招聘統計學家並教授他們有關技術和商業的知識。

三、數據挖掘工程師

數據挖掘工程師，也可以叫做「數據挖掘專家」。數據挖掘是通過分析每個數據，從大量數據中尋找其規律的技術。數據挖掘是一種決策支持過程，它主要基於人工智慧、機器學習、模式識別、統計學、資料庫、可視化技術等，高度自動化地分析企業的數據，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調整市場策略，減少風險，做出正確的決策。

數據挖掘專家或者說數據挖掘工程師掌握的技能，能夠為其快速創造財富。當年亞馬遜的首位數據挖掘工程師大衛·賽林格(DavidSelinger)創辦的數據挖掘公司，將類似於亞馬遜的產品推薦引擎系統銷售給在線零售和廣告銷售商，而這種產品推薦引擎系統，也成為亞馬遜有史塌帆中以來最賺錢的工具。數據挖掘的價值由此可見一斑。

四、咨詢顧問(專家)

任何業務部門和任何行業企業，都有IT系統在背後默默無聞地支撐著。在雲計算大數據時代，業務面臨的挑戰和機遇也會給IT系統帶來更多要求。在這種情況下，IT系統的規劃部署和運維，都要有更為精通的專業人士才能勝任，並滿足面向未來大數據分析、雲計算服務應用的需要。

紐約蒙特法沃醫療中心(center)的副主席傑克-沃夫(JackWolf)曾經表示，他尋求不僅會建立和使用系統而且還會給予其他員工技術支持的新員工，他說："新的系統意味著你必須有更多的咨詢台來處理更多的咨詢量。"當然，這里體現的主要是某個系統的技術支持的功能，但管中規豹我們不難發現，無論是部署初期的物料采購還是運維過程中的金玉良言，都凸顯出這種技術咨詢顧問的重要性。

五、網路工程師

網路工程師可以說是一個「綠色長青」的職業，網路技術一直以來就處於團山急需之中，美國人力資源公司羅勃海佛國際(RobertHalf)第三季度IT招聘指數和技能報告指出，網路管理占總需求技能排名中的第二位。對於雲計算時代來說，網路在雲資源池中(計算、存儲、網路)更是扮演著更為重要的作用。

另一方面，IPv6標准、物聯網、移動互聯等蓬勃發展，使得對於網路工程師尤其是新型網路工程師(移動、IPv6、雲計算方向)的人才和技能要求也越來越多。網路工程師也因此而可以細分成多個發展方向，相應的技能要求其側重也有所不同。比如網路安全、網路存儲、架構設計、移動網路等等。

六、移動應用開發工程師

移動應用開發，會隨著移動互聯網時代的到來變得更受追捧。截至2012年底我國已經有10億手機用戶，移動智能終端用戶超過4億，在移動支付、移動購物、移動旅遊、移動社交等方面涌現了大量的移動互聯網游戲、應用和創業公司。

移動平台智能系統較多，但真正有影響力的也不外乎iOS、Android、WP、Blackberry等。大量原來PC和互聯網上的信息化應用、互聯網應用均已出現在手機平台上，一些前所未見的新奇應用也開始出現，並日漸增多。

移動應用開發，由於存有多個平台系統，因此不同的平台開發者其所面臨的機遇和挑戰也不盡相同。一個很明顯的例子就是，當初由Google公司和開放手機聯盟領導及開發的基於Linux的安卓系統，在開源之後就給廣大開發者(商)帶來巨大商機，而堅定選擇iOS平台的的開發工程師，也通過蘋果生態系統的不斷擴建和智能設備的高市場佔有，使得較早的一批開發者都賺得盆滿缽滿。不過在國內由於用戶習慣、產業環境和版權保護的問題，移動應用開發者並沒有因此而獲得相應的收益。

七、軟體工程設計師

近年IT業界逐漸涌現出一股軟體定義網路(SDN)、軟體定義數據中心、軟體定義存儲(SDS)和軟體定義伺服器(MoonShot)等浪潮，大有軟體定義未來一切IT基礎設施的趨勢。

PaaS、SaaS、數據挖掘和分析、數據管理和監控、虛擬化、應用開發等等，都是軟體工程師大展身手的好舞台。相應的，這些技術領域也對軟體工程師的要求會更高，尤其是虛擬化和面向BYOD、雲計算、大數據等應用的開發和管理，都需要有更高深的技術支撐。

和演算法工程師有點類似的地方在於，軟體工程師也需要注重設計模式的使用，一位優秀的工程師通常能識別並利用模式，而不是受制於模式。工程師不應讓系統去適應某種模式，而是需要發現在系統中使用模式的時機。

八、資料庫開發和管理

資料庫開發和管理在大數據時代顯得尤為重要，相關的資料庫管理、運維和開發技術，將成為廣大BI、大型企業和咨詢分析機構特別看重的技能體現。代表著更多類型(尤其是非結構化類型)的海量數據的涌現，要求我們實時採集、分析、傳輸這些數據集，在對基礎設施提出嚴峻挑戰的同時，也特別強調了資料庫開發和管理人員的挑戰。

比如分布式的、面向海量數據管理的資料庫系統之一NoSQL，就是面向大數據領域的非關系型資料庫的流行平台，高可用、大吞吐、低延遲、數據安全性高等應用特點成為了很多企業的看重的特點，並希望有足夠多的優秀IT開發人員深度開發NoSQL系統，解決對存儲的擴容、宕機時長、平滑擴容、故障自動切換等問題的困惱。

另外，更為知名的Hadoop分布式資料庫HBase的數據管理，需要藉助HRegion、HMaster、HClient組成的體系結構從整體上管理數據。這些也都需要有對Hadoop深刻理解和業務的精通才能勝任。而除此以外的大數據的存儲管理、內存計算、包括基於這些應用上的平台開發等等，也得會越來越受市場歡迎。

九、系統架構師

去年三星首席系統架構師吉姆·莫加德(JimMergard)跳槽至蘋果，屬於近期比較大的系統架構師人事變動，這種變動也說明了當今對於系統架構師的高度重視和認可。

眾所周知，雲計算和大數據的出現，使得傳統的數據中心基礎設施難以勝任;另一方面，日益激烈的市場競爭和移動互聯等商機的出現，勢必會給企業業務帶來深刻變革。這種變革和IT架構轉型，都會牽扯到IT系統架構這個核心問題。相比之前介紹的那些IT技能和所對應的崗位，系統架構師的規劃部署能力顯得尤為重要，它牽扯的是整個面而不是某個領域某個點的痛點。

十、系統安全師

同樣的，網路、計算、存儲還是系統架構，也都需要關注安全問題，而安全在現在的雲計算環境下，個人隱私和企業敏感數據的保護也不斷被強化。

在當前很多企業都收縮IT安全預算開支後，還不斷面臨著增強的合規要求等問題。企業們都在考慮是否應當將某些IT運營交給雲端服務提供商處理。實際上，每個人都深感壓力，預算不夠地情況下還要盡力防護數據地安全，特別是中小型企業，這也就意味著企業需要將部分IT運轉外包給第三方以減少資金和人力方面地投資。

即使不採用外包的形式，無論個人還是企業都會更加註重安全，因為「安全」本身是沒有行業限制和劃分的，尤其是企業在構建雲計算環境、提交或者收集海量數據進行處理分析、存儲和傳輸等等一系列環節，都會面臨新的挑戰。這種挑戰勢必會需要有更多更專業的技術人才幫助解決這些問題。相比傳統來說，系統安全師將更多的會結合具體的業務展開，而根植於系統平台和底層基礎設施的系統安全，則更多的會出現在運營