A. 大數據架構師崗位的主要職責概述
職責:
1、負責大數據平台及BI系統框架設計、規劃、技術選型,架構設計並完成系統基礎服務的開發;
2、負責海量埋點規則、SDK標准化、埋點數據採集、處理及存儲,業務數據分布存儲、流式/實時計算等應用層架構搭建及核心代碼實現;
3、開發大數據平台的核心代碼,項目敏捷開發流程管理,完成系統調試、集成與實施,對每個項目周期技術難題的解決,保證大數據產品的上線運行;
4、負責大數據平台的架構優化,代碼評審,並根據業務需求持續優化數據架構,保證產品的可靠性、穩定性;
5、指導開發人員完成數據模型規劃建設,分析模型構建及分析呈現,分享技術經驗;
6、有效制定各種突發性研發技術故障的應對預案,有清晰的隱患意識;
7、深入研究大數據相關技術和產品,跟進業界先進技術;
任職要求
1、統計學、應用數學或計算機相關專業大學本科以上學歷;
2、熟悉互聯網移動端埋點方法(點擊和瀏覽等行為埋點),無埋點方案等,有埋點SDK獨立開發經驗者優選;
3、熟悉Hadoop,MR/MapRece,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具備實際項目設計及開發經驗;
4、熟悉數據採集、數據清洗、分析和建模工作相關技術細節及流程
5、熟悉Liunx/Unix操作系統,能熟練使用shell/perl等腳本語言,熟練掌握java/python/go/C++中一種或多種編程語言
6、具備一定的演算法能力,了解機器學習/深度學習演算法工具使用,有主流大數據計算組件開發和使用經驗者優先
7、熟悉大數據可視化工具Tableau/echarts
8、具有較強的執行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;
職責:
根據大數據業務需求,設計大數據方案及架構,實現相關功能;
搭建和維護大數據集群,保證集群規模持續、穩定、高效平穩運行;
負責大數據業務的設計和指導具體開發工作;
負責公司產品研發過程中的數據及存儲設計;
針對數據分析工作,能夠完成和指導負責業務數據建模。
職位要求:
計算機、自動化或相關專業(如統計學、數學)本科以上學歷,3年以上大數據處理相關工作經驗;
精通大數據主流框架(如Hadoop、hive、Spark等);
熟悉MySQL、NoSQL(MongoDB、Redis)等主流資料庫,以及rabbit MQ等隊列技術;
熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;
熟悉常用的數據挖掘演算法優先。
職責:
1、大數據平台架構規劃與設計;
2、負責大數據平台技術框架的選型與技術難點攻關;
3、能夠獨立進行行業大數據應用的整體技術框架、業務框架和系統架構設計和調優等工作,根據系統的業務需求,能夠指導開發團隊完成實施工作;
4、負責數據基礎架構和數據處理體系的升級和優化,不斷提升系統的穩定性和效率,為相關的業務提供大數據底層平台的支持和保證;
5、培養和建立大數據團隊,對團隊進行技術指導。
任職要求:
1、計算機相關專業的背景專業一類院校畢業本科、碩士學位,8年(碩士5年)以上工作經驗(至少擁有3年以上大數據項目或產品架構經驗);
2、精通Java,J2EE相關技術,精通常見開源框架的架構,精通關系資料庫系統(Oracle MySQL等)和noSQL數據存儲系統的原理和架構;
3、精通SQL和Maprece、Spark處理方法;
4、精通大數據系統架構,熟悉業界數據倉庫建模方法及新的建模方法的發展,有DW,BI架構體系的專項建設經驗;
5、對大數據體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大數據技術,並能設計相關數據模型;
6、很強的學習、分析和解決問題能力,可以迅速掌握業務邏輯並轉化為技術方案,能獨立撰寫項目解決方案、項目技術文檔;
7、具有較強的內外溝通能力,良好的團隊意識和協作精神;
8、機器學習技術、數據挖掘、人工智慧經驗豐富者優先考慮;
9、具有能源電力行業工作經驗者優先。
職責:
1.參與公司數據平台系統規劃和架構工作,主導系統的架構設計和項目實施,確保項目質量和關鍵性能指標達成;
2.統籌和推進製造工廠內部數據系統的構建,搭建不同來源數據之間的邏輯關系,能夠為公司運營診斷、運營效率提升提供數據支持;
3.負責數據系統需求對接、各信息化系統數據對接、軟體供應商管理工作
5.根據現狀制定總體的數據治理方案及數據體系建立,包括數據採集、接入、分類、開發標准和規范,制定全鏈路數據治理方案;深入挖掘公司數據業務,超強的數據業務感知力,挖掘數據價值,推動數據變現場景的落地,為決策及業務賦能;
6.定義不同的數據應用場景,推動公司的數據可視化工作,提升公司數據分析效率和數據價值轉化。
任職要求:
1.本科以上學歷,8年以上軟體行業從業經驗,5年以上大數據架構設計經驗,熟悉BI平台、大數據系統相關技術架構及技術標准;
2.熟悉數據倉庫、熟悉數據集市,了解數據挖掘、數據抽取、數據清洗、數據建模相關技術;
3.熟悉大數據相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;
4.熟悉製造企業信息化系統及相關資料庫技術;
5.具備大數據平台、計算存儲平台、可視化開發平台經驗,具有製造企業大數據系統項目開發或實施經驗優先;
6.對數據敏感,具備優秀的業務需求分析和報告展示能力,具備製造企業數據分析和數據洞察、大數據系統的架構設計能力,了解主流的報表工具或新興的前端報表工具;
7.有較強的溝通和組織協調能力,具備結果導向思維,有相關項目管理經驗優先。
職責:
1.負責產品級業務系統架構(如業務數據對象識別,數據實體、數據屬性分析,數據標准、端到端數據流等)的設計與優化。協助推動跨領域重大數據問題的分析、定位、解決方案設計,從架構設計上保障系統高性能、高可用性、高安全性、高時效性、分布式擴展性,並對系統質量負責。
2.負責雲數據平台的架構設計和數據處理體系的優化,推動雲數據平台建設和持續升級,並制定雲數據平台調用約束和規范。
3.結合行業應用的需求負責數據流各環節上的方案選型,主導雲數據平台建設,參與核心代碼編寫、審查;數據的統計邏輯回歸演算法、實時交互分析;數據可視化方案等等的選型、部署、集成融合等等。
4.對雲數據平台的關注業內技術動態,持續推動平台技術架構升級,以滿足公司不同階段的數據需求。
任職要求:
1.熟悉雲計算基礎平台,包括linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎環境,熟悉控制、計算、存儲和網路;
2.掌握大型分布式系統的技術棧,如:CDN、負載均衡、服務化/非同步化、分布式緩存、NoSQL、資料庫垂直及水平擴容;熟悉大數據應用端到端的相關高性能產品。
3.精通Java,Python,Shell編程語言,精通SQL、NoSQL等資料庫增刪改查的操作優化;
4.PB級別實戰數據平台和生產環境的實施、開發和管理經驗;
5.熟悉Docker等容器的編排封裝,熟悉微服務的開發和日常調度;
6.計算機、軟體、電子信息及通信等相關專業本科以上學歷,5年以上軟體工程開發經驗,2年以上大數據架構師工作經驗。
職責描述:
1、負責集團大數據資產庫的技術架構、核心設計方案,並推動落地;
2、帶領大數據技術團隊實現各項數據接入、數據挖掘分析及數據可視化;
3、新技術預研,解決團隊技術難題。
任職要求:
1、在技術領域有5年以上相關經驗,3年以上的架構設計或產品經理經驗;
2、具有2年以上大數據產品和數據分析相關項目經驗;
3、精通大數據分布式系統(hadoop、spark、hive等)的架構原理、技術設計;精通linux系統;精通一門主流編程語言,java優先。
崗位職責:
1、基於公司大數據基礎和數據資產積累,負責大數據應用整體技術架構的設計、優化,建設大數據能力開放平台;負責大數據應用產品的架構設計、技術把控工作。
2、負責制定大數據應用系統的數據安全管控體系和數據使用規范。
3、作為大數據技術方案到產品實現的技術負責人,負責關鍵技術點攻堅工作,負責內部技術推廣、培訓及知識轉移工作。
4、負責大數據系統研發項目任務規劃、整體進度、風險把控,有效協同團隊成員並組織跨團隊技術協作,保證項目質量與進度。
5、負責提升產品技術團隊的技術影響力,針對新人、普通開發人員進行有效輔導,幫助其快速成長。
任職資格:
1、計算機、數學或相關專業本科以上學歷,5—20xx年工作經驗,具有大型系統的技術架構應用架構數據架構相關的實踐工作經驗。
2、有分布式系統分析及架構設計經驗,熟悉基於計算集群的軟體系統架構和實施經驗。
3、掌握Hadoop/Spark/Storm生態圈的主流技術及產品,深入了解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。
4、掌握Mysql/Oracle等常用關系型資料庫,能夠對SQL進行優化。
5、熟悉分布式系統基礎設施中常用的技術,如緩存(Varnish、Memcache、Redis)、消息中間件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實踐經驗者優先。
6、熟悉Linux,Java基礎扎實,至少3—5年以上Java應用開發經驗,熟悉常用的設計模式和開源框架。
崗位職責:
1、負責公司大數據平台架構的技術選型和技術難點攻關工作;
2、依據行業數據現狀和客戶需求,完成行業大數據的特定技術方案設計與撰寫;
3、負責研究跟進大數據架構領域新興技術並在公司內部進行分享;
4、參與公司大數據項目的技術交流、解決方案定製以及項目的招投標工作;
5、參與公司大數據項目前期的架構設計工作;
任職要求:
1、計算機及相關專業本科以上,5年以上數據類項目(數據倉庫、商務智能)實施經驗,至少2年以上大數據架構設計和開發經驗,至少主導過一個大數據平台項目架構設計;
2、精通大數據生態圈的技術,包括但不限於MapRece、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備數據統計查詢性能優化能力。熟悉星環大數據產品線及有過產品項目實施經驗者優先;
3、優秀的方案撰寫能力,思路清晰,邏輯思維強,能夠根據業務需求設計合理的解決方案;
4、精通ORACLE、DB2、mySql等主流關系型資料庫,熟悉數據倉庫建設思路和數據分層架構思想;
5。熟練掌握java、R、python等1—2門數據挖掘開發語言;
6。熟悉雲服務平台及微服務相關架構思想和技術路線,熟悉阿里雲或騰訊雲產品者優先;
7、有煙草或製造行業大數據解決方案售前經驗者優先;
8、能適應售前支持和項目實施需要的短期出差;
崗位職責:
1、負責相關開源系統/組件的性能、穩定性、可靠性等方面的深度優化;
2、負責解決項目上線後生產環境的各種實際問題,保障大數據平台在生產上的安全、平穩運行;
3、推動優化跨部門的業務流程,參與業務部門的技術方案設計、評審、指導;
4、負責技術團隊人員培訓、人員成長指導。
5、應項目要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公,月底項目結束後在總部公司辦公
任職要求:
1、熟悉linux、JVM底層原理,能作為技術擔當,解決核心技術問題;
2、3年以上大數據平台項目架構或開發經驗,對大數據生態技術體系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;
3、掌握git、maven、gradle、junit等工具和實踐,注重文檔管理、注重工程規范優先;
4、熟悉Java後台開發體系,具備微服務架構的項目實施經驗,有Dubbo/Spring cloud微服務架構設計經驗優先;
5、性格開朗、善於溝通,有極強的技術敏感性和自我驅動學習能力,注重團隊意識。
職責描述:
1、負責大數據平台框架的規劃設計、搭建、優化和運維;
2、負責架構持續優化及系統關鍵模塊的設計開發,協助團隊解決開發過程中的技術難題;
3、負責大數據相關新技術的調研,關注大數據技術發展趨勢、研究開源技術、將新技術應用到大數據平台,推動數據平台發展;
4、負責數據平台開發規范制定,數據建模及核心框架開發。
任職要求:
1、計算機、數學等專業本科及以上學歷;
2、具有5年及以上大數據相關工作經驗;
3、具有扎實的大數據和數據倉庫的理論功底,負責過大數據平台或數據倉庫設計;
4、基於hadoop的大數據體系有深入認識,具備相關產品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)項目應用研發經驗,有hadoop集群搭建和管理經驗;
5、熟悉傳統數據倉庫數據建模,etl架構和開發流程,使用過kettle、talend、informatic等至少一種工具;
6、自驅力強、優秀的團隊意識和溝通能力,對新技術有好奇心,學習能力和主動性強,有鑽研精神,充滿激情,樂於接受挑戰;
B. 國內做大數據解決方案的公司有哪些
大數據解決方案公司主要是提供數據管理、數據挖掘、數據採集、以及大數據可視化方面的服務,更多可參考達-普-信服務方案。
C. 大數據架構師的基本職責
大數據架構師需要參與規劃從數據源到數據應用的整體流程,並參與相關產品的決策。下面是我為您精心整理的大數據架構師的基本職責。
大數據架構師的基本職責1
職責:
1.負責整個大數據平台架構的設計和構建;
2.負責構建大數據平台的數據交換、任務調度等通用平台;
3.制定開發、測試、實施、維護的標准和規范,指導和培訓工程師,不斷提升團隊能力。
4.參與系統需求分析、架構設計、技術選型、應用設計與開發以及測試與部署,負責編寫核心部分代碼。
5.持續挑戰新的技術方向,攻克大數據量、高並發、高可用、可擴展等技術難點。
任職要求:
1.3年以上大數據架構經驗,豐富的數據倉庫、數據挖掘、機器學習項目經驗
2.大規模數據處理的架構和設計實戰經驗
3.精通Spark、MR,熟練HDFS、Yarn、Hbase、Hive、MongoDB,熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等,並具有豐富的大型數據平台工程經驗
4.深刻理解大數據處理(流計算,分布式計算,分布式文件系統,分布式存儲等)相關技術和實現方法
5.熟悉主數據、元數據、數據質量等企業數據管理相關的體系和方法,熟練Linux/Unix平台上的開發環境
6.本科或以上學歷,計算機軟體或相關專業,豐富的java開發經驗和互聯網背景優先。
7.具有比較強的問題分析和處理能力,有比較優秀的動手能力,熱衷技術,精益求精
大數據架構師的基本職責2
職責:
1. 深刻理解政府行業業務模式,構建政府行業的數據模型,制定公司大數據技術發展路線;
2. 對接業務研究和技術部門,主動搜集和轉化需求,組織數據中心業務開發,進行數據相關產品需求分析和設計;
3. 搭建數據倉庫,研發資料庫管理系統,搜集、提取、處理業務積累的海量數據,開展數據分析和挖掘;
4. 根據公司戰略和發展需要,規劃數據中心重點工作和任務;落實部門人員、事務管理,開展跨部門、跨地區協作,協助對外交流與合作。
職位要求:
1. 5年以上相關工作經驗,有團隊管理和項目管理經驗者優先;
2.了解政府運作機制,掌握財政行業知識,有電子政務行業經驗者優先;
3. 熟練掌握使用Java或Python,精通資料庫查詢語言如SQL,Oracle等,在機器學習模型和演算法方向有應用經驗者優先;
4. 具備數據中心產品策劃整體思維,有大數據處理、分析、挖掘經驗者優先;
5. 邏輯思維嚴密,具備業務抽象、分解和標准化的能力,口頭和書面表達優秀;
6. 有較強的大局意識和良好的團隊合作意識,富有領導力,具備優秀的人際交往和溝通能力。
大數據架構師的基本職責3
職責:
1、從事電信行業大數據項目相關業務調研、產品標准建設、核心模型設計和優化、系統測試等相關工作
2、與數據專業委員會一起研究數據建模方案和建模工具,負責產品線產品的數據架構、數據模型設計
3、參與研究資料庫之間的數據轉換方式,參與項目中的數據移植工作,收集在項目中的數據移植經驗,優化產品的數據模型
4、負責培訓本部門隊伍的數據模型基礎理論工作,建立數據模型團隊
崗位要求:
1、統招本科學歷,3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗,具備大型數據倉庫邏輯模型和物理模型設計經驗,精通SQL,有較好的SQL性能調優經驗;
2、擁有Python,R等數學建模工具的使用經驗,並具備一定的數據處理和建模經驗,可以輸出相應的模型分析結果、模型比較、模型效率以及對模型的理論和判斷依據方法並對其進行完整的解釋和說明;
3、熟悉統計學基本原理,做過實戰的數據建模項目;
4、有分布式數據倉庫建設相關經驗者優先,具備電信行業數據倉庫建設相關經驗者優先;
大數據架構師的基本職責4
職責:
1、負責大數據平台的架構設計、核心代碼開發等任務;根據項目要求編寫相關技術文檔;
2、負責大數據平台的架構評審,代碼評審,上線評審;參與數據應用需求、設計、審核和評審;
3、負責核心模塊研發,負責大數據平台的搭建,完成系統調試、集成與實施;
4、負責建立和維護大數據平台技術標准規范,指導開發人員編寫代碼;
任職要求:
1、本科及以上計算機相關專業畢業;
2、精通離線和實時數據處理流程,掌握離線數據處理框架hive、impala、spark-sql等,掌握實時數據處理常用技術工具,包括Storm、SparkStreaming等;
3、熟悉大數據技術生態圈,精通大數據技術架構,有大數據平台構建經驗;
4、掌握常見數據流接入工具,包括Flume、kafka等;
5、熟練掌握基本的Linux操作系統和某種腳本語言編程(如Shell等);
6、掌握一種或以上實時處理語言,如JAVA、SCALA、PYTHON等,有SCALA經驗者優先;
7、有實際大規模數據(TB級以上)處理經驗優先;
大數據架構師的基本職責5
職責:
1、負責公司的大數據處理框架的研發設計工作,梳理可實現方案和技術規范;
2、開發、完善公司大數據平台;參與公司離線、實時大數據處理系統的設計、開發、測試及多個業務模塊的自動化集成;
3、負責業務平台數據統計分析模塊的設計與規劃;
4、負責公司產品研發過程中的數據及存儲設計;
5、帶領和培養團隊完成組織分解的目標;
任職要求:
1、統招本科及以上學歷,計算機、軟體工程相關專業,至少8年以上工作經驗,5年以上大數據開發經驗;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相關技術的基礎架構
3、熟悉數據倉庫,數據演算法,分布式計算技術理論,具有大數據整體系統架構設計經驗;
4、熟悉Linux系統,熟練使用shell/perl/python腳本處理問題;
5、對深度學習框架(Tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優先;
6、能夠組織項目開發組協同工作,包括團隊溝通、計劃、開發環境管理等
D. 學過的有誰可以推薦一家靠譜的大數據培訓機構
這個要看你在哪個城市了,每個城市所存在的機構都不一樣。最好選擇覆蓋地區廣的,比較權威的培訓機構。大數據的專業要求很高。目前敢培訓大數據的學校都是具備一定專業性的,主要看看是否能提供真實的案例來供學生們分析來進行專業性的判斷。多看看網路上的口碑。找到真正適合自己的培訓機構。
需要掌握的專業技術:
堅實的Java技術作為基礎支持,之後學習:Hadoop,大數據存儲,大數據架構設計,大數據實時計算,大數據數據採集,大數據商業實戰等。
技術人員就業方向:大數據系統研發人才,大數據應用開發人才和大數據分析人才。
E. 國內有哪些大數據公司
「大數據」這一概念最早在國外被提及。之後國內外興起了一系列大數據技術,包括大數據硬體類、大數據分析類、大數據數據處理類等等,也因此誕生了一批大數據廠商。
分析解決方案類廠商除去IBM、SAP、Oracle、微軟、惠普國外代表廠商,在國內有星環科技、帆軟、用友、等等。
星環信息科技主要從事大數據時代核心平台資料庫軟體的研發與服務,被Gartner列為國際主流Hadoop發行版廠商。其產品Transwarp Data Hub提供高速SQL引擎Transwarp Inceptor, NoSQL搜索引擎Transwarp Hyperbase、流處理引擎Transwarp Stream和數據挖掘組件Transwarp Discover。
帆軟公司由報表軟體FineReport起家,目前已成為報表領域的權威者,擁有10年企業數據分析的行業經驗。後發布的商業智能自助式BI工具FineBI,提供包括Hadoop、分布式資料庫、多維資料庫的大數據可視化分析;提供PC端、移動端、大屏的可視化方案,廣泛應用於銀行、電商、地產、醫葯、製造、電信、製造、化工等行業,擁有成熟的行業化解決方案。
數據可視化類廠商有海雲數據、星途數據、帆軟、數字冰雹等。
用戶行為/精準營銷分析類,大數據技術使得用戶在互聯網的行為,得到精準定位,從而細化營銷方案、快速迭代產品。這方面的廠商有GrowingIO、神策數據等。
F. 國內目前有幾家做大數據BI的公司都有什麼不同
國外BI:SAS BI、的cognos、Oracle BIEE、SAP BO、Power-BI、Informatica、Arcplan、QlikView、Tableau等等;
國內BI:海致BDP、smartbi、用友華表、帆軟、潤乾報表,永洪科技等。
國內BI比較熟悉的有這3款
1、BDP商業數據平台
1)這兩年很熱,行業都比較贊賞。BDP旨在幫助企業快速完成多數據整合,建立統一數據口徑,支持自助式數據准備(ETL),並提供靈活、易用、高效可視化探索式分析能力,幫助企業構建貼合自身業務的企業洞察。BDP可以靈活接入與同步多種數據源,包括各類資料庫連接、OpenAPI以及各種SaaS平台API,滿足企業多種多樣的業務場景、億行數據秒反應,快速實現數據清洗、整合、載入,通過拖拽即可可視化分析,支持近數據地圖、漏斗圖、旭日圖、餅圖、柱狀圖、折線圖、詞雲、雷達等30種圖表類型,讓數據更加直觀、美觀。
2)BDP商業數據平台為企業提供的核心價值在於用直觀、多維、實時的方式展示和分析數據,並可在APP實時查看和分享,全面激活企業內部數據,用數據驅動業績,適應快速變化的市場。目前他們服務的客戶也很多,涵蓋互聯網、零售快消、物流、O2O、教育SEM等多個行業。
3)跟他們公司的人接觸過,服務態度很好,也很專業,價格不貴。
3、永洪
1)永洪利用sql處理數據,不支持程序介面,實施交由第三方外包。永洪的技術主要分為大數據和可視化兩點。在大數據方面,通過列存儲、分布式計算、內存計算、分布式通訊等技術,永洪自主研發了高性能的大數據計算引擎,作為分析用的數據集市,可實現百億級數據在秒級時間內完成計算。
2)在可視化方面,永洪將復雜的多維分析功能隱藏在背後,在前端通過點擊和拖拽的簡單可視化操作實現各種復雜的分析過程。
3)需要一定的技術門檻,交互比較復雜點
G. 日華科技用大數據構建智慧應急完整業務架構
公司成功研發抄以大數據及人工智慧為技術核心的監控預警、資源統籌、預案管理、輔助決策、疏散指揮等智慧應急多業務協同系統及平台,通過設計感知層、網路層、平台層、應用層、表現層構建智慧應急完整業務架構,實施信息的無障礙採集及實時監測、數據的存儲及傳輸、有效數據的挖掘及分析、資源統籌和優化配置以及解決方案的綜合計算與解析等一系列功能;最終實現針對災害發生的時空規律對應急資源進行優化配置,對危機情景下應急物資的調運,人員的急速撤離進行最優的線路設計並提供給指揮人員進行決策。