大數據構架師

1. 大數據的就業前景和就業方向

大數據的就業前景和就業方向如下：

前景：從近兩年大數據方向研究生的就業情況來看，大數據領域的崗位還是比較多的，尤其是大數據開發崗位，目前正逐漸從大數據平台開發向大數據應用開發領域覆蓋，這也是大數據開始全面落地應用的必然結果。

從近幾年招聘情況來看，大數據開發崗位的數量明顯比較多，而且不僅需銀渣要研發型人才，也需要應用型人才，所以本科生的就業機會也比較多。

大數據：

大數據，或稱巨量資料，鋒肆悄指的是所涉及的資料量規模巨大到無法透過主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。

在維克托邁爾舍恩伯格及肯尼斯庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。

大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）雹尺、Veracity（真實性）。

2. 大數據架構師崗位的主要職責概述

大數據架構師崗位的主要職責概述 篇1

職責：

1、負責大數據平台及BI系統框架設計、規劃、技術選型，架構設計並完成系統基礎服務的開發;

2、負責海量埋點規則、SDK標准化、埋點數據採集、處理及存儲，業務數據分布存儲、流式/實時計算等應用層架構搭建及核心代碼實現;

3、開發大數據平台的核心代碼，項目敏捷開發流程管理，完成系統調試、集成與實施，對每個項目周期技術難題的解決，保證大數據產品的上線運行;

4、負責大數據平台的架構優化，代碼評審，並根據業務需求持續優化數據架構，保證產品的可靠性、穩定性;

5、指導開發人員完成數據模型規劃建設，分析模型構建及分析呈現，分享技術經驗;

6、有效制定各種突發性研發技術故障的應對預案，有清晰的隱患意識;

7、深入研究大數據相關技術和產品，跟進業界先進技術;

任職要求

1、統計學、應用數學或計算機相關專業大學本科以上學歷;

2、熟悉互聯網移動端埋點方法(點擊和瀏覽等行為埋點)，無埋點方案等，有埋點SDK獨立開發經驗者優選;

3、熟悉Hadoop，MR/MapRece，Hdfs，Hbase，Redis，Storm，Python，zookeeper，kafka，flinkHadoop，hive，mahout，flume，ElasticSearch，KafkaPython等，具備實際項目設計及開發經驗;

4、熟悉數據採集、數據清洗、分析和建模工作相關技術細節及流程

5、熟悉Liunx/Unix操作系統，能熟練使用shell/perl等腳本語言，熟練掌握java/python/go/C++中一種或多種編程語言

6、具備一定的演算法能力，了解機器學習/深度學習演算法工具使用，有主流大數據計算組件開發和使用經驗者優先

7、熟悉大數據可視化工具Tableau/echarts

8、具有較強的執行力，高度的責任感、很強的學習、溝通能力，能夠在高壓下高效工作;

大數據架構師崗位的主要職責概述 篇2

職責：

根據大數據業務需求，設計大數據方案及架構，實現相關功能;

搭建和維護大數據集群，保證集群規模持續、穩定、高效平穩運行;

負責大數據業務的設計和指導具體開發工作;

負責公司產品研發過程中的數據及存儲設計;

針對數據分析工作，能夠完成和指導負責業務數據建模。

職位要求：

計算機、自動化或相關專業(如統計學、數學)本科以上學歷，3年以上大數據處理相關工作經驗;

精通大數據主流框架(如Hadoop、hive、Spark等);

熟悉MySQL、NoSQL(MongoDB、Redis)等主流資料庫，以及rabbit MQ等隊列技術;

熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;

熟悉常用的數據挖掘演算法優先。

大數據架構師崗位的主要職責概述 篇3

職責：

1、大數據平台架構規劃與設計;

2、負責大數據平台技術框架的選型與技術難點攻關;

3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作，根據系統的業務需求，能夠指導開發團隊完成實施工作;

4、負責數據基礎架構和數據處理體系的升級和優化，不斷提升系統的穩定性和效率，為相關的業務提供大數據底層平台的支持和保證;

5、培養和建立大數據團隊，對團隊進行技術指導。

任職要求：

1、計算機相關專業的背景專業一類院校畢業本科、碩士學位，8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);

2、精通Java，J2EE相關技術，精通常見開源框架的架構，精通關系資料庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;

3、精通SQL和Maprece、Spark處理方法;

4、精通大數據系統架構，熟悉業界數據倉庫建模方法及新的建模方法的發展，有DW，BI架構體系的專項建設經驗;

5、對大數據體系有深入認識，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術，並能設計相關數據模型;

6、很強的學習、分析和解決問題能力，可以迅速掌握業務邏輯並轉化為技術方案，能獨立撰寫項目解決方案、項目技術文檔;

7、具有較強的內外溝通能力，良好的團隊意識和協作精神;

8、機器學習技術、數據挖掘、人工智慧經驗豐富者優先考慮;

9、具有能源電力行業工作經驗者優先。

大數據架構師崗位的主要職責概述 篇4

職責：

1.參與公司數據平台系統規劃和架構工作，主導系統的架構設計和項目實施，確保項目質量和關鍵性能指標達成;

2.統籌和推進製造工廠內部數據系統的構建，搭建不同來源數據之間的邏輯關系，能夠為公司運營診斷、運營效率提升提供數據支持;

3.負責數據系統需求對接、各信息化系統數據對接、軟體供應商管理工作

5.根據現狀制定總體的數據治理方案及數據體系建立，包括數據採集、接入、分類、開發標准和規范，制定全鏈路數據治理方案;深入挖掘公司數據業務，超強的數據業務感知力，挖掘數據價值，推動數據變現場景的落地，為決策及業務賦能;

6.定義不同的數據應用場景，推動公司的數據可視化工作，提升公司數據分析效率和數據價值轉化。

任職要求：

1.本科以上學歷，8年以上軟體行業從業經驗，5年以上大數據架構設計經驗，熟悉BI平台、大數據系統相關技術架構及技術標准;

2.熟悉數據倉庫、熟悉數據集市，了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;

3.熟悉大數據相關技術：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉製造企業信息化系統及相關資料庫技術;

5.具備大數據平台、計算存儲平台、可視化開發平台經驗，具有製造企業大數據系統項目開發或實施經驗優先;

6.對數據敏感，具備優秀的業務需求分析和報告展示能力，具備製造企業數據分析和數據洞察、大數據系統的架構設計能力，了解主流的報表工具或新興的前端報表工具;

7.有較強的溝通和組織協調能力，具備結果導向思維，有相關項目管理經驗優先。

大數據架構師崗位的.主要職責概述 篇5

職責：

1.負責產品級業務系統架構(如業務數據對象識別，數據實體、數據屬性分析，數據標准、端到端數據流等)的設計與優化。協助推動跨領域重大數據問題的分析、定位、解決方案設計，從架構設計上保障系統高性能、高可用性、高安全性、高時效性、分布式擴展性，並對系統質量負責。

2.負責雲數據平台的架構設計和數據處理體系的優化，推動雲數據平台建設和持續升級，並制定雲數據平台調用約束和規范。

3.結合行業應用的需求負責數據流各環節上的方案選型，主導雲數據平台建設，參與核心代碼編寫、審查;數據的統計邏輯回歸演算法、實時交互分析;數據可視化方案等等的選型、部署、集成融合等等。

4.對雲數據平台的關注業內技術動態，持續推動平台技術架構升級，以滿足公司不同階段的數據需求。

任職要求：

1.熟悉雲計算基礎平台，包括linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎環境，熟悉控制、計算、存儲和網路;

2.掌握大型分布式系統的技術棧，如：CDN、負載均衡、服務化/非同步化、分布式緩存、NoSQL、資料庫垂直及水平擴容;熟悉大數據應用端到端的相關高性能產品。

3.精通Java，Python，Shell編程語言，精通SQL、NoSQL等資料庫增刪改查的操作優化;

4.PB級別實戰數據平台和生產環境的實施、開發和管理經驗;

5.熟悉Docker等容器的編排封裝，熟悉微服務的開發和日常調度;

6.計算機、軟體、電子信息及通信等相關專業本科以上學歷，5年以上軟體工程開發經驗，2年以上大數據架構師工作經驗。

大數據架構師崗位的主要職責概述 篇6

職責描述：

1、負責集團大數據資產庫的技術架構、核心設計方案，並推動落地；

2、帶領大數據技術團隊實現各項數據接入、數據挖掘分析及數據可視化；

3、新技術預研，解決團隊技術難題。

任職要求：

1、在技術領域有5年以上相關經驗，3年以上的架構設計或產品經理經驗；

2、具有2年以上大數據產品和數據分析相關項目經驗；

3、精通大數據分布式系統（hadoop、spark、hive等）的架構原理、技術設計；精通linux系統；精通一門主流編程語言，java優先。

大數據架構師崗位的主要職責概述 篇7

崗位職責：

1、基於公司大數據基礎和數據資產積累，負責大數據應用整體技術架構的設計、優化，建設大數據能力開放平台；負責大數據應用產品的架構設計、技術把控工作。

2、負責制定大數據應用系統的數據安全管控體系和數據使用規范。

3、作為大數據技術方案到產品實現的技術負責人，負責關鍵技術點攻堅工作，負責內部技術推廣、培訓及知識轉移工作。

4、負責大數據系統研發項目任務規劃、整體進度、風險把控，有效協同團隊成員並組織跨團隊技術協作，保證項目質量與進度。

5、負責提升產品技術團隊的技術影響力，針對新人、普通開發人員進行有效輔導，幫助其快速成長。

任職資格：

1、計算機、數學或相關專業本科以上學歷，5—20xx年工作經驗，具有大型系統的技術架構應用架構數據架構相關的實踐工作經驗。

2、有分布式系統分析及架構設計經驗，熟悉基於計算集群的軟體系統架構和實施經驗。

3、掌握Hadoop/Spark/Storm生態圈的主流技術及產品，深入了解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。

4、掌握Mysql/Oracle等常用關系型資料庫，能夠對SQL進行優化。

5、熟悉分布式系統基礎設施中常用的技術，如緩存（Varnish、Memcache、Redis）、消息中間件（Rabbit MQ、Active MQ、Kafka、NSQ）等；有實踐經驗者優先。

6、熟悉Linux，Java基礎扎實，至少3—5年以上Java應用開發經驗，熟悉常用的設計模式和開源框架。

大數據架構師崗位的主要職責概述 篇8

崗位職責：

1、負責公司大數據平台架構的技術選型和技術難點攻關工作；

2、依據行業數據現狀和客戶需求，完成行業大數據的特定技術方案設計與撰寫；

3、負責研究跟進大數據架構領域新興技術並在公司內部進行分享；

4、參與公司大數據項目的技術交流、解決方案定製以及項目的招投標工作；

5、參與公司大數據項目前期的架構設計工作；

任職要求：

1、計算機及相關專業本科以上，5年以上數據類項目（數據倉庫、商務智能）實施經驗，至少2年以上大數據架構設計和開發經驗，至少主導過一個大數據平台項目架構設計；

2、精通大數據生態圈的技術，包括但不限於MapRece、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先；

3、優秀的方案撰寫能力，思路清晰，邏輯思維強，能夠根據業務需求設計合理的解決方案；

4、精通ORACLE、DB2、mySql等主流關系型資料庫，熟悉數據倉庫建設思路和數據分層架構思想；

5。熟練掌握java、R、python等1—2門數據挖掘開發語言；

6。熟悉雲服務平台及微服務相關架構思想和技術路線，熟悉阿里雲或騰訊雲產品者優先；

7、有煙草或製造行業大數據解決方案售前經驗者優先；

8、能適應售前支持和項目實施需要的短期出差；

大數據架構師崗位的主要職責概述 篇9

崗位職責：

1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化；

2、負責解決項目上線後生產環境的各種實際問題，保障大數據平台在生產上的安全、平穩運行；

3、推動優化跨部門的業務流程，參與業務部門的技術方案設計、評審、指導；

4、負責技術團隊人員培訓、人員成長指導。

5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公，月底項目結束後在總部公司辦公

任職要求：

1、熟悉linux、JVM底層原理，能作為技術擔當，解決核心技術問題；

2、3年以上大數據平台項目架構或開發經驗，對大數據生態技術體系有全面了解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等；

3、掌握git、maven、gradle、junit等工具和實踐，注重文檔管理、注重工程規范優先；

4、熟悉Java後台開發體系，具備微服務架構的項目實施經驗，有Dubbo/Spring cloud微服務架構設計經驗優先；

5、性格開朗、善於溝通，有極強的技術敏感性和自我驅動學習能力，注重團隊意識。

大數據架構師崗位的主要職責概述 篇10

職責描述：

1、負責大數據平台框架的規劃設計、搭建、優化和運維；

2、負責架構持續優化及系統關鍵模塊的設計開發，協助團隊解決開發過程中的技術難題；

3、負責大數據相關新技術的調研，關注大數據技術發展趨勢、研究開源技術、將新技術應用到大數據平台，推動數據平台發展；

4、負責數據平台開發規范制定，數據建模及核心框架開發。

任職要求：

1、計算機、數學等專業本科及以上學歷；

2、具有5年及以上大數據相關工作經驗；

3、具有扎實的大數據和數據倉庫的理論功底，負責過大數據平台或數據倉庫設計；

4、基於hadoop的大數據體系有深入認識，具備相關產品（hadoop、hive、hbase、spark、storm、 flume、kafka、es等）項目應用研發經驗，有hadoop集群搭建和管理經驗；

5、熟悉傳統數據倉庫數據建模，etl架構和開發流程，使用過kettle、talend、informatic等至少一種工具；

6、自驅力強、優秀的團隊意識和溝通能力，對新技術有好奇心，學習能力和主動性強，有鑽研精神，充滿激情，樂於接受挑戰；

3. 大數據專業可以從事哪些工作

1. 大數據應用開發工程師。這是大多數據領域一個比較熱門的崗位，有大量的傳統應用需要進行大數據改造，因此大數據應用開發崗位有較多的人才需求。這個崗位需要掌握的知識結構包括大數據平台體系結構。

2. 數據架構師。數據架構師是負責平台的整體數據架構設計，完成從業務模型到數據模型的設計工作，根據業務功能、業務模型，進行資料庫建模設計，完成各種面向業務目標的數據分析模型的定義和應用開發，平台數據提取、數據挖掘及數據分析。

4. 與大數據相關的工作職位有哪些

與大數據相關的工作職位有數據科學家、數據分析師、大數據工程師、數據架構師、商業智能(BI)開發人員、統計員、機器學習工程師等。此外，隨著數據科學的發展，人們還在開發新的大數據技術，比如機器學習、自然語言處理、圖像處理等，也會提出新的職位要求，為企業帶來更多的數據分析能力。

1、數據科學家

數據科學家需要能夠應用數學、統計學和科學方法。使用多種工具和技術來清理和准備數據；進行預測分析和人工智慧；並解釋如何利用這些結果來為商業問題提供數據驅動的解決方案。數據科學家需要的技能比數據分析師多得多。

2、數據分析師

數據分析師收集、處理和執行統計數據分析，為組織得出有意義的結論。數據分析師將大型數據集轉化並處理成可用的形式，如報告或演示。他們還通過研究重要的模乎芹式來幫助決策過程，並從數據中收集洞察力，然後有效地傳達給組織領導，以幫助商業決策。

3、數據工程師

數據工程師負責准備、處理和管理收集和存儲的數據，用於分析或操作用途。像傳統的工程師一樣，數據工程師建歲圓畢立和維護數據 "管道"，將數據從一個系統連接到另一個系統，使數據科學家能夠獲得信息。正因為如此，數據工程師被要求了解數據科學中使用的幾種編程語言，如Python、R和SQL。

4、數據架構師

數據架構師主要是設計和創建數據管理系統的藍圖，然後由數據工程師建立。類似於傳統的建築師，數腔型據架構師是 "遠見者"，因為他們負責可視化和設計一個組織的數據管理框架。此外，數據架構師改善現有系統的性能，確保資料庫管理員和分析師能夠使用這些系統。

5、商業智能(BI)開發人員

商業智能開發者是專門的工程師，他們使用軟體工具將數據轉化為有用的見解，以幫助商業決策。負責簡化技術信息，讓公司里的其他人都能輕松理解。簡而言之，他們創建和運行包含他們使用商業智能工具找到的數據的報告，並將信息轉化為更通俗的術語。

6、統計員

鑒於統計學是數據科學的主要基礎之一，許多統計學家可以輕松地過渡到數據科學領域。統計學家主要負責數據的收集和處理。他們決定需要什麼數據以及如何收集數據。此外，他們設計實驗，分析和解釋數據，並報告結論。

7、機器學習工程師

機器學習工程師是另一組專業工程師，他們專注於研究、構建和設計人工智慧和機器學習系統，以實現預測模型的自動化。基本上開發的演算法使用輸入數據並利用統計模型預測輸出，同時在新數據可用時不斷更新輸出。

5. 哪裡培訓大數據架構師

無錫市新吳區菱湖大道。大數據架構師是負責企業級數據倉庫、數據挖掘、數據分析能力建設等開發的。而培訓大數據架構師的位置就在無錫市新吳區菱湖大道，魔樂科技大數據架構師訓練營中。魔樂科技軟體實訓中心堅持手把手培訓和講師面對面授課的特色課堂，教學質量非常好。