㈠ 大數據架構師的基本職責
大數據架構師需要參與規劃從數據源到數據應用的整體流程，並參與相關產品的決策。下面是我為您精心整理的大數據架構師的基本職責。
大數據架構師的基本職責1
職責：
1.負責整個大數據平台架構的設計和構建;
2.負責構建大數據平台的數據交換、任務調度等通用平台;
3.制定開發、測試、實施、維護的標准和規范，指導和培訓工程師，不斷提升團隊能力。
4.參與系統需求分析、架構設計、技術選型、應用設計與開發以及測試與部署，負責編寫核心部分代碼。
5.持續挑戰新的技術方向，攻克大數據量、高並發、高可用、可擴展等技術難點。
任職要求：
1.3年以上大數據架構經驗，豐富的數據倉庫、數據挖掘、機器學習項目經驗
2.大規模數據處理的架構和設計實戰經驗
3.精通Spark、MR，熟練HDFS、Yarn、Hbase、Hive、MongoDB，熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等，並具有豐富的大型數據平台工程經驗
4.深刻理解大數據處理(流計算，分布式計算，分布式文件系統，分布式存儲等)相關技術和實現方法
5.熟悉主數據、元數據、數據質量等企業數據管理相關的體系和方法，熟練linux/Unix平台上的開發環境
6.本科或以上學歷，計算機軟體或相關專業，豐富的java開發經驗和互聯網背景優先。
7.具有比較強的問題分析和處理能力，有比較優秀的動手能力，熱衷技術，精益求精
大數據架構師的基本職責2
職責：
1. 深刻理解政府行業業務模式，構建政府行業的數據模型，制定公司大數據技術發展路線;
2. 對接業務研究和技術部門，主動搜集和轉化需求，組織數據中心業務開發，進行數據相關產品需求分析和設計;
3. 搭建數據倉庫，研發資料庫管理系統，搜集、提取、處理業務積累的海量數據，開展數據分析和挖掘;
4. 根據公司戰略和發展需要，規劃數據中心重點工作和任務;落實部門人員、事務管理，開展跨部門、跨地區協作，協助對外交流與合作。
職位要求：
1. 5年以上相關工作經驗，有團隊管理和項目管理經驗者優先;
2.了解政府運作機制，掌握財政行業知識，有電子政務行業經驗者優先;
3. 熟練掌握使用Java或Python,精通資料庫查詢語言如SQL，Oracle等,在機器學習模型和演算法方向有應用經驗者優先;
4. 具備數據中心產品策劃整體思維，有大數據處理、分析、挖掘經驗者優先;
5. 邏輯思維嚴密，具備業務抽象、分解和標准化的能力，口頭和書面表達優秀;
6. 有較強的大局意識和良好的團隊合作意識，富有領導力，具備優秀的人際交往和溝通能力。
大數據架構師的基本職責3
職責:
1、從事電信行業大數據項目相關業務調研、產品標准建設、核心模型設計和優化、系統測試等相關工作
2、與數據專業委員會一起研究數據建模方案和建模工具，負責產品線產品的數據架構、數據模型設計
3、參與研究資料庫之間的數據轉換方式，參與項目中的數據移植工作，收集在項目中的數據移植經驗，優化產品的數據模型
4、負責培訓本部門隊伍的數據模型基礎理論工作，建立數據模型團隊
崗位要求：
1、統招本科學歷，3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗，具備大型數據倉庫邏輯模型和物理模型設計經驗，精通SQL，有較好的SQL性能調優經驗;
2、擁有Python，R等數學建模工具的使用經驗，並具備一定的數據處理和建模經驗，可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法並對其進行完整的解釋和說明;
3、熟悉統計學基本原理，做過實戰的數據建模項目;
4、有分布式數據倉庫建設相關經驗者優先，具備電信行業數據倉庫建設相關經驗者優先;
大數據架構師的基本職責4
職責：
1、負責大數據平台的架構設計、核心代碼開發等任務;根據項目要求編寫相關技術文檔;
2、負責大數據平台的架構評審，代碼評審，上線評審;參與數據應用需求、設計、審核和評審;
3、負責核心模塊研發，負責大數據平台的搭建，完成系統調試、集成與實施;
4、負責建立和維護大數據平台技術標准規范，指導開發人員編寫代碼;
任職要求：
1、本科及以上計算機相關專業畢業;
2、精通離線和實時數據處理流程，掌握離線數據處理框架hive、impala、spark-sql等，掌握實時數據處理常用技術工具，包括Storm、SparkStreaming等;
3、熟悉大數據技術生態圈，精通大數據技術架構，有大數據平台構建經驗;
4、掌握常見數據流接入工具，包括Flume、kafka等;
5、熟練掌握基本的Linux操作系統和某種腳本語言編程(如Shell等);
6、掌握一種或以上實時處理語言，如JAVA、SCALA、PYTHON等，有SCALA經驗者優先;
7、有實際大規模數據(TB級以上)處理經驗優先;
大數據架構師的基本職責5
職責：
1、負責公司的大數據處理框架的研發設計工作，梳理可實現方案和技術規范;
2、開發、完善公司大數據平台;參與公司離線、實時大數據處理系統的設計、開發、測試及多個業務模塊的自動化集成;
3、負責業務平台數據統計分析模塊的設計與規劃;
4、負責公司產品研發過程中的數據及存儲設計;
5、帶領和培養團隊完成組織分解的目標;
任職要求：
1、統招本科及以上學歷，計算機、軟體工程相關專業，至少8年以上工作經驗，5年以上大數據開發經驗;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的基礎架構
3、熟悉數據倉庫，數據演算法，分布式計算技術理論，具有大數據整體系統架構設計經驗;
4、熟悉Linux系統，熟練使用shell/perl/python腳本處理問題;
5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優先;
6、能夠組織項目開發組協同工作，包括團隊溝通、計劃、開發環境管理等
㈡ 什麼是大數據架構師
圍繞大數據系平台系統級的研發人員， 熟練Hadoop、Spark、Storm等主流大數據平台的核心框架。深入掌握如何編寫MapRece的作業及作業流的管理完成對數據的計算，並能夠使用Hadoop提供的通用演算法， 熟練掌握Hadoop整個生態系統的組件如： Yarn，HBase、Hive、Pig等重要組件，能夠實現對平台監控、輔助運維系統的開發。
通過學習一系列面向開發者的Hadoop、Spark等大數據平台開發技術，掌握設計開發大數據系統或平台的工具和技能，能夠從事分布式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作，如性能改進、功能擴展、故障分析等。
㈢ 大數據架構師崗位的主要職責概述
職責：
1、負責大數據平台及BI系統框架設計、規劃、技術選型，架構設計並完成系統基礎服務的開發;
2、負責海量埋點規則、SDK標准化、埋點數據採集、處理及存儲，業務數據分布存儲、流式/實時計算等應用層架構搭建及核心代碼實現;
3、開發大數據平台的核心代碼，項目敏捷開發流程管理，完成系統調試、集成與實施，對每個項目周期技術難題的解決，保證大數據產品的上線運行;
4、負責大數據平台的架構優化，代碼評審，並根據業務需求持續優化數據架構，保證產品的可靠性、穩定性;
5、指導開發人員完成數據模型規劃建設，分析模型構建及分析呈現，分享技術經驗;
6、有效制定各種突發性研發技術故障的應對預案，有清晰的隱患意識;
7、深入研究大數據相關技術和產品，跟進業界先進技術;
任職要求
1、統計學、應用數學或計算機相關專業大學本科以上學歷;
2、熟悉互聯網移動端埋點方法(點擊和瀏覽等行為埋點)，無埋點方案等，有埋點SDK獨立開發經驗者優選;
3、熟悉Hadoop，MR/MapRece，Hdfs，Hbase，Redis，Storm，Python，zookeeper，kafka，flinkHadoop，hive，mahout，flume，ElasticSearch，KafkaPython等，具備實際項目設計及開發經驗;
4、熟悉數據採集、數據清洗、分析和建模工作相關技術細節及流程
5、熟悉Liunx/Unix操作系統，能熟練使用shell/perl等腳本語言，熟練掌握java/python/go/C++中一種或多種編程語言
6、具備一定的演算法能力，了解機器學習/深度學習演算法工具使用，有主流大數據計算組件開發和使用經驗者優先
7、熟悉大數據可視化工具Tableau/echarts
8、具有較強的執行力，高度的責任感、很強的學習、溝通能力，能夠在高壓下高效工作;
職責：
根據大數據業務需求，設計大數據方案及架構，實現相關功能;
搭建和維護大數據集群，保證集群規模持續、穩定、高效平穩運行;
負責大數據業務的設計和指導具體開發工作;
負責公司產品研發過程中的數據及存儲設計;
針對數據分析工作，能夠完成和指導負責業務數據建模。
職位要求：
計算機、自動化或相關專業(如統計學、數學)本科以上學歷，3年以上大數據處理相關工作經驗;
精通大數據主流框架(如Hadoop、hive、Spark等);
熟悉MySQL、NoSQL(MongoDB、Redis)等主流資料庫，以及rabbit MQ等隊列技術;
熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;
熟悉常用的數據挖掘演算法優先。
職責：
1、大數據平台架構規劃與設計;
2、負責大數據平台技術框架的選型與技術難點攻關;
3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作，根據系統的業務需求，能夠指導開發團隊完成實施工作;
4、負責數據基礎架構和數據處理體系的升級和優化，不斷提升系統的穩定性和效率，為相關的業務提供大數據底層平台的支持和保證;
5、培養和建立大數據團隊，對團隊進行技術指導。
任職要求：
1、計算機相關專業的背景專業一類院校畢業本科、碩士學位，8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);
2、精通Java，J2EE相關技術，精通常見開源框架的架構，精通關系資料庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;
3、精通SQL和Maprece、Spark處理方法;
4、精通大數據系統架構，熟悉業界數據倉庫建模方法及新的建模方法的發展，有DW，BI架構體系的專項建設經驗;
5、對大數據體系有深入認識，熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術，並能設計相關數據模型;
6、很強的學習、分析和解決問題能力，可以迅速掌握業務邏輯並轉化為技術方案，能獨立撰寫項目解決方案、項目技術文檔;
7、具有較強的內外溝通能力，良好的團隊意識和協作精神;
8、機器學習技術、數據挖掘、人工智慧經驗豐富者優先考慮;
9、具有能源電力行業工作經驗者優先。
職責：
1.參與公司數據平台系統規劃和架構工作，主導系統的架構設計和項目實施，確保項目質量和關鍵性能指標達成;
2.統籌和推進製造工廠內部數據系統的構建，搭建不同來源數據之間的邏輯關系，能夠為公司運營診斷、運營效率提升提供數據支持;
3.負責數據系統需求對接、各信息化系統數據對接、軟體供應商管理工作
5.根據現狀制定總體的數據治理方案及數據體系建立，包括數據採集、接入、分類、開發標准和規范，制定全鏈路數據治理方案;深入挖掘公司數據業務，超強的數據業務感知力，挖掘數據價值，推動數據變現場景的落地，為決策及業務賦能;
6.定義不同的數據應用場景，推動公司的數據可視化工作，提升公司數據分析效率和數據價值轉化。
任職要求：
1.本科以上學歷，8年以上軟體行業從業經驗，5年以上大數據架構設計經驗，熟悉BI平台、大數據系統相關技術架構及技術標准;
2.熟悉數據倉庫、熟悉數據集市，了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;
3.熟悉大數據相關技術：Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉製造企業信息化系統及相關資料庫技術;
5.具備大數據平台、計算存儲平台、可視化開發平台經驗，具有製造企業大數據系統項目開發或實施經驗優先;
6.對數據敏感，具備優秀的業務需求分析和報告展示能力，具備製造企業數據分析和數據洞察、大數據系統的架構設計能力，了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協調能力，具備結果導向思維，有相關項目管理經驗優先。
職責：
1.負責產品級業務系統架構(如業務數據對象識別，數據實體、數據屬性分析，數據標准、端到端數據流等)的設計與優化。協助推動跨領域重大數據問題的分析、定位、解決方案設計，從架構設計上保障系統高性能、高可用性、高安全性、高時效性、分布式擴展性，並對系統質量負責。
2.負責雲數據平台的架構設計和數據處理體系的優化，推動雲數據平台建設和持續升級，並制定雲數據平台調用約束和規范。
3.結合行業應用的需求負責數據流各環節上的方案選型，主導雲數據平台建設，參與核心代碼編寫、審查;數據的統計邏輯回歸演算法、實時交互分析;數據可視化方案等等的選型、部署、集成融合等等。
4.對雲數據平台的關注業內技術動態，持續推動平台技術架構升級，以滿足公司不同階段的數據需求。
任職要求：
1.熟悉雲計算基礎平台，包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎環境，熟悉控制、計算、存儲和網路;
2.掌握大型分布式系統的技術棧，如：CDN、負載均衡、服務化/非同步化、分布式緩存、NoSQL、資料庫垂直及水平擴容;熟悉大數據應用端到端的相關高性能產品。
3.精通Java，Python，Shell編程語言，精通SQL、NoSQL等資料庫增刪改查的操作優化;
4.PB級別實戰數據平台和生產環境的實施、開發和管理經驗;
5.熟悉Docker等容器的編排封裝，熟悉微服務的開發和日常調度;
6.計算機、軟體、電子信息及通信等相關專業本科以上學歷，5年以上軟體工程開發經驗，2年以上大數據架構師工作經驗。
職責描述：
1、負責集團大數據資產庫的技術架構、核心設計方案，並推動落地；
2、帶領大數據技術團隊實現各項數據接入、數據挖掘分析及數據可視化；
3、新技術預研，解決團隊技術難題。
任職要求：
1、在技術領域有5年以上相關經驗，3年以上的架構設計或產品經理經驗；
2、具有2年以上大數據產品和數據分析相關項目經驗；
3、精通大數據分布式系統（hadoop、spark、hive等）的架構原理、技術設計；精通linux系統；精通一門主流編程語言，java優先。
崗位職責：
1、基於公司大數據基礎和數據資產積累，負責大數據應用整體技術架構的設計、優化，建設大數據能力開放平台；負責大數據應用產品的架構設計、技術把控工作。
2、負責制定大數據應用系統的數據安全管控體系和數據使用規范。
3、作為大數據技術方案到產品實現的技術負責人，負責關鍵技術點攻堅工作，負責內部技術推廣、培訓及知識轉移工作。
4、負責大數據系統研發項目任務規劃、整體進度、風險把控，有效協同團隊成員並組織跨團隊技術協作，保證項目質量與進度。
5、負責提升產品技術團隊的技術影響力，針對新人、普通開發人員進行有效輔導，幫助其快速成長。
任職資格：
1、計算機、數學或相關專業本科以上學歷，5—20xx年工作經驗，具有大型系統的技術架構應用架構數據架構相關的實踐工作經驗。
2、有分布式系統分析及架構設計經驗，熟悉基於計算集群的軟體系統架構和實施經驗。
3、掌握Hadoop/Spark/Storm生態圈的主流技術及產品，深入了解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。
4、掌握Mysql/Oracle等常用關系型資料庫，能夠對SQL進行優化。
5、熟悉分布式系統基礎設施中常用的技術，如緩存（Varnish、Memcache、Redis）、消息中間件（Rabbit MQ、Active MQ、Kafka、NSQ）等；有實踐經驗者優先。
6、熟悉Linux，Java基礎扎實，至少3—5年以上Java應用開發經驗，熟悉常用的設計模式和開源框架。
崗位職責：
1、負責公司大數據平台架構的技術選型和技術難點攻關工作；
2、依據行業數據現狀和客戶需求，完成行業大數據的特定技術方案設計與撰寫；
3、負責研究跟進大數據架構領域新興技術並在公司內部進行分享；
4、參與公司大數據項目的技術交流、解決方案定製以及項目的招投標工作；
5、參與公司大數據項目前期的架構設計工作；
任職要求：
1、計算機及相關專業本科以上，5年以上數據類項目（數據倉庫、商務智能）實施經驗，至少2年以上大數據架構設計和開發經驗，至少主導過一個大數據平台項目架構設計；
2、精通大數據生態圈的技術，包括但不限於MapRece、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先；
3、優秀的方案撰寫能力，思路清晰，邏輯思維強，能夠根據業務需求設計合理的解決方案；
4、精通ORACLE、DB2、mySql等主流關系型資料庫，熟悉數據倉庫建設思路和數據分層架構思想；
5。熟練掌握java、R、python等1—2門數據挖掘開發語言；
6。熟悉雲服務平台及微服務相關架構思想和技術路線，熟悉阿里雲或騰訊雲產品者優先；
7、有煙草或製造行業大數據解決方案售前經驗者優先；
8、能適應售前支持和項目實施需要的短期出差；
崗位職責：
1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化；
2、負責解決項目上線後生產環境的各種實際問題，保障大數據平台在生產上的安全、平穩運行；
3、推動優化跨部門的業務流程，參與業務部門的技術方案設計、評審、指導；
4、負責技術團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公，月底項目結束後在總部公司辦公
任職要求：
1、熟悉linux、JVM底層原理，能作為技術擔當，解決核心技術問題；
2、3年以上大數據平台項目架構或開發經驗，對大數據生態技術體系有全面了解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等；
3、掌握git、maven、gradle、junit等工具和實踐，注重文檔管理、注重工程規范優先；
4、熟悉Java後台開發體系，具備微服務架構的項目實施經驗，有Dubbo/Spring cloud微服務架構設計經驗優先；
5、性格開朗、善於溝通，有極強的技術敏感性和自我驅動學習能力，注重團隊意識。
職責描述：
1、負責大數據平台框架的規劃設計、搭建、優化和運維；
2、負責架構持續優化及系統關鍵模塊的設計開發，協助團隊解決開發過程中的技術難題；
3、負責大數據相關新技術的調研，關注大數據技術發展趨勢、研究開源技術、將新技術應用到大數據平台，推動數據平台發展；
4、負責數據平台開發規范制定，數據建模及核心框架開發。
任職要求：
1、計算機、數學等專業本科及以上學歷；
2、具有5年及以上大數據相關工作經驗；
3、具有扎實的大數據和數據倉庫的理論功底，負責過大數據平台或數據倉庫設計；
4、基於hadoop的大數據體系有深入認識，具備相關產品（hadoop、hive、hbase、spark、storm、 flume、kafka、es等）項目應用研發經驗，有hadoop集群搭建和管理經驗；
5、熟悉傳統數據倉庫數據建模，etl架構和開發流程，使用過kettle、talend、informatic等至少一種工具；
6、自驅力強、優秀的團隊意識和溝通能力，對新技術有好奇心，學習能力和主動性強，有鑽研精神，充滿激情，樂於接受挑戰；
㈣ 面試想吊打面試官阿里架構師教你吃透Spring(Boot、Cloud、MVC)
作為一名Java程序員，我想沒人敢小覷 Spring的重要性，現在出去面試，無論多小的公司 or 項目，都要跟你扯一扯 Spring，扯一扯微服務，如果啃不下來，很可能就與大廠失之交臂。
精通Spring的原理實現的話，可以幫助你更好地職業進階，學習前輩優秀的架構設計思想，總結出最優使用方案，繞過工作中遇到的很多坑。
一個框架的源碼也是最大的知識庫，源碼是一層一層嵌套的，光靠文字說明會比較難以理解，最好是在IDE環境下跟著一步一步跟著點下去。
如果要學習源碼，最合適的就是Spring，理由如下：
面試常問Spring、Spring Boot、Spring Cloud、Spring MVC面試題解析
針對Spring、Spring Boot、Spring Cloud、Spring MVC，筆者這邊整理了幾份學習PDF，這些PDF是可以免費分享的！
收集整理不易有需要的朋友幫忙轉發一下，然後 【點擊這里】 獲取免費領取方式！
需要此PDF文檔的朋友們記得轉發一下；然後 【點擊這里】 獲取免費領取方式！
㈤ 如何成為真正的數據架構師
基礎大概有兩大塊
1.是要有較強的資料庫管理系統的使用能力（比如你要學會Oracle），以及較強的資料庫理論知識背景。
2.大數據分析你要掌握概率統計學的知識，學會數據分析工具的使用。比如MATLAB，這個工具非常強大，掌握起來有些難度。但不是說你掌握了這個工具就能勝任數據分析師的工作了。你還需要，有較強的邏輯分析能力，對各種各樣的數據進行建模，然後根據統計分析結果進行最終判定。
建議：
入門的時候先從資料庫開始，因為這是數據的生存環境，大數據或者稱為海量數據都是存儲在這其中的。
熟悉數據建模，這是個系統性很強的學科，主要是高等數學范疇內的只是，偏統計分析。
最後是勤加練習對各種數據建模分析，當你的結論越來越靠近最優解的時候，你的經驗也在不斷增長，那麼離你的目標就很近了。
這是個很有挑戰，也是非常復雜的工作。需要你堅持，大概三年能有小成。但前途一片光明。
㈥ 你要面試一個程序員，應該問他什麼問題
首先面試程序員分有沒有經驗
面試沒有經驗的程序員就隨便問問點ssm，ssh五大框架問題內，多線程什麼的，再容問問是否會點前端技術
有經驗就看看他的簡歷，問他簡歷項目上的問題，可以圍繞著簡歷上的項目問，通過他的回答涉及到的技術點之類的，拓展出去問其他的