Ⅰ 大專生學大數據,以後能就業么
可以的,還有很多適合的崗位
Ⅱ 想成為大數據開發工程師有哪些要求
大數據所需技能要求
Python語言:編寫一些腳本時會用到。
Scala語言:編寫Spark程序的最佳語言,當然也可以選擇用Python。
Ozie,azkaban:定時任務調度的工具。
Hue,Zepplin:圖形化任務執行管理,結果查看工具。
Allluxio,Kylin等:通過對存儲的數據進行預處理,加快運算速度的工具。
必須掌握的技能:
Java高級(虛擬機、並發)、Linux 基本操作、hadoop(HDFS+MapRece+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)
高階技能6條:
機器學習演算法以及mahout庫加MLlib、 R語言、Lambda 架構、Kappa架構、Kylin、Alluxio
大數據開發工程師除具備專業的技能外,還要有學歷(至少大專學歷),學歷是敲門磚。
Ⅲ 大數據行業有哪些工作機會,招聘的崗位技能有哪些
想要學習大數據開發,第一件事並不是要找書籍或者是找視頻教程,而是要了解一下大數據行業前景,了解一下成為大數據工程師需要具備什麼樣的能力,掌握哪些技能我當初學習大數據之前也有過這樣的問題,作為一個過來人,今天就跟大家聊下大數據人才應該具備的技能。
首先我們要知道對於大數據開發工程師需要具備的技能,下面我們分別來說明:
用人單位對於大數據開發人才的能力要求有
技能要求:
1.精通JAVA開發語言,同時熟悉Python、Scala開發語言者優先;
2.熟悉Spark或Hadoop生態圈技術,具有源碼閱讀及二次開發工作經驗;精通Hadoop生態及高性能緩存相關的各種工具,有源碼開發實戰經驗者優先;
3.熟練使用SQL,熟悉資料庫原理,熟悉至少一種主流關系型資料庫;熟悉Linux操作系統,熟練使用常用命令,熟練使用shell腳本;熟悉ETL開發,能熟練至少一種ETL(talend、kettle、ogg等)轉化開源工具者優先;
4.具有清晰的系統思維邏輯,對解決行業實際問題有濃厚興趣,具備良好的溝通協調能力及學習能力。
以上就是想要成為大數據人才需要具備的技能
那麼如何具備這些能力,怎麼學習了,對於大多數人來說,目前只有通過參加大數據的學習,才能夠系統的掌握以上的大數據技能,從而勝任大數據工程師的工作。
Ⅳ 大數據就業崗位有哪些
大數據方面的就業主要有三大方向:
一是數據分析類大數據人才,二是系統研發類大數據人才,三是應用開發類大數據人才。他們的基礎崗位分別是大數據系統研發工程師、大數據應用開發工程師、大數據分析師。
2大數據熱門專業
1、Hadoop開發 隨著數據規模不斷增大,傳統BI的數據處理成本過高企業負擔加重。而Hadoop廉價的數據處理能力被重新挖掘,企業需求持續增長。並成為大數據人才必須掌握的一種技術。
2、信息架構開發 大數據重新激發了主數據管理的熱潮。充分開發利用企業數據並支持決策需要非常專業的技能。信息架構師必須了解如何定義和存檔關鍵元素,確保以十分有效的方式進行數據管理和利用。信息架構師的關鍵技能包括主數據管理、業務知識和數據建模等。
3、數據安全研究 數據安全這一職位,主要負責企業內部大型伺服器、存儲、數據安全管理工作,並對網路、信息安全項目進行規劃、設計和實施。
4、ETL研發 企業數據種類與來源的不斷增加,對數據進行整合與處理變得越來越困難,企業迫切需要一種有數據整合能力的人才。ETL開發者這是在此需求基礎下而誕生的一個職業崗位。ETL人才在大數據時代炙手可熱的原因之一是:在企業大數據應用的早期階段,Hadoop只是窮人的ETL。
Ⅳ 想成為大數據開發工程師有哪些要求
想要成為大數據開發工程師的要求,首先我覺得你必須數學要學得相當的好,有一定的知識,不然的話,我們小數據都無法開發,還算是什麼大數據開發工程師?
Ⅵ 大數據就業方向
大數據系統研發類人才;
大數據應用開發類人才;
大數據分析類人才。
一、ETL研發
隨著數據種類的不斷增加,企業對數據整合專業人才的需求越來越旺盛。ETL開發者與不同的數據來源和組織打交道,從不同的源頭抽取數據,轉換並導入數據倉庫以滿足企業的需要。
ETL研發,主要負責將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。
目前,ETL行業相對成熟,相關崗位的工作生命周期比較長,通常由內部員工和外包合同商之間通力完成。ETL人才在大數據時代炙手可熱的原因之一是:在企業大數據應用的早期階段,Hadoop只是窮人的ETL。
二、Hadoop開發
Hadoop的核心是HDFS和MapRece.HDFS提供了海量數據的存儲,MapRece提供了對數據的計算。隨著數據集規模不斷增大,而傳統BI的數據處理成本過高,企業對Hadoop及相關的廉價數據處理技術如Hive、HBase、MapRece、Pig等的需求將持續增長。如今具備Hadoop框架經驗的技術人員是最搶手的大數據人才。
三、可視化(前端展現)工具開發
海量數據的分析是個大挑戰,而新型數據可視化工具如Spotifre,Qlikview和Tableau可以直觀高效地展示數據。
可視化開發就是在可視開發工具提供的圖形用戶界面上,通過操作界面元素,由可視開發工具自動生成應用軟體。還可輕松跨越多個資源和層次連接您的所有數據,經過時間考驗,完全可擴展的,功能豐富全面的可視化組件庫為開發人員提供了功能完整並且簡單易用的組件集合,以用來構建極其豐富的用戶界面。
過去,數據可視化屬於商業智能開發者類別,但是隨著Hadoop的崛起,數據可視化已經成了一項獨立的專業技能和崗位。
四、信息架構開發
大數據重新激發了主數據管理的熱潮。充分開發利用企業數據並支持決策需要非常專業的技能。信息架構師必須了解如何定義和存檔關鍵元素,確保以最有效的方式進行數據管理和利用。信息架構師的關鍵技能包括主數據管理、業務知識和數據建模等。
五、數據倉庫研究
數據倉庫是為企業所有級別的決策制定過程提供支持的所有類型數據的戰略集合。它是單個數據存儲,出於分析性報告和決策支持的目的而創建。為企業提供需要業務智能來指導業務流程改進和監視時間、成本、質量和控制。
數據倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大數據一體機。能夠在這些一體機上完成數據集成、管理和性能優化等工作。
六、OLAP開發
隨著資料庫技術的發展和應用,資料庫存儲的數據量從20世紀80年代的兆(M)位元組及千兆(G)位元組過渡到現在的兆兆(T)位元組和千兆兆(P)位元組,同時,用戶的查詢需求也越來越復雜,涉及的已不僅是查詢或操縱一張關系表中的一條或幾條記錄,而且要對多張表中千萬條記錄的數據進行數據分析和信息綜合。聯機分析處理(OLAP)系統就負責解決此類海量數據處理的問題。
OLAP在線聯機分析開發者,負責將數據從關系型或非關系型數據源中抽取出來建立模型,然後創建數據訪問的用戶界面,提供高性能的預定義查詢功能。
七、數據科學研究
這一職位過去也被稱為數據架構研究,數據科學家是一個全新的工種,能夠將企業的數據和技術轉化為企業的商業價值。隨著數據學的進展,越來越多的實際工作將會直接針對數據進行,這將使人類認識數據,從而認識自然和行為。因此,數據科學家首先應當具備優秀的溝通技能,能夠同時將數據分析結果解釋給IT部門和業務部門領導。
總的來說,數據科學家是分析師、藝術家的合體,需要具備多種交叉科學和商業技能。
八、數據預測(數據挖掘)分析
營銷部門經常使用預測分析預測用戶行為或鎖定目標用戶。預測分析開發者有些場景看上有有些類似數據科學家,即在企業歷史數據的基礎上通過假設來測試閾值並預測未來的表現。
九、企業數據管理
企業要提高數據質量必須考慮進行數據管理,並需要為此設立數據管家職位,這一職位的人員需要能夠利用各種技術工具匯集企業周圍的大量數據,並將數據清洗和規范化,將數據導入數據倉庫中,成為一個可用的版本。然後,通過報表和分析技術,數據被切片、切塊,並交付給成千上萬的人。擔當數據管家的人,需要保證市場數據的完整性,准確性,唯一性,真實性和不冗餘。
十、數據安全研究
數據安全這一職位,主要負責企業內部大型伺服器、存儲、數據安全管理工作,並對網路、信息安全項目進行規劃、設計和實施。數據安全研究員還需要具有較強的管理經驗,具備運維管理方面的知識和能力,對企業傳統業務有較深刻的理解,才能確保企業數據安全做到一絲不漏。
Ⅶ 招聘數據分析師的職位要求有哪些
職位要求:
統計學、應用數學、計算機等相關專業,本科及以上學歷;
熟練使用SPSS、SAS等相關數據分析軟體;
較強的數據敏感度,邏輯分析能力和文檔寫作能力;
有責任心,良好的溝通能力和組織管理能力以及心理承受能力,勇於接受挑戰;
有相關經驗優先。
工作內容:
通過數據分析支持產品改進及新模式的探索;
構建用戶行為建模,支持個性化項目;
構建數據評估體系;
構建業務數據分析體系,幫助確定各項業務數據指標;
負責用戶行為數據分析,通過監控及分析,推動產品改進,運營調整;
負責構建用戶數據模型,挖掘用戶屬性及用戶喜好等需求,為個性化產品推薦提供支持;
負責構建產品、運營及活動用戶行為評估體系,通過數據分析對產品、運營、市場提出建議並推動實施;
負責用戶行為調研,通過海量數據的挖掘和分析,形成報告,匯報給決策層,支持戰略規劃 。
Ⅷ 大數據行業對學歷有什麼要求呢
大數據時代的到來,簡單的說是海量數據同完美計算能力結合的結果。確切的說是移動互聯網、物聯網產生了海量的數據,大數據計算技術完美地解決了海量數據的收集、存儲、計算、分析的問題。大數據時代開啟人類社會利用數據價值的另一個時代。
相信很多同學有這樣的提問:學習大數據對學歷有要求嗎?
回答這個問題之前還是讓我們看一段真實對話:
Q:請問從事大數據這行,碩士學歷有必要麼?
A:如果有條件,最好可以上到碩士,但不是說必須如此,大數據相關職位對行業知識和項目經驗也比較看重,如果家庭經濟情況允許,自己學習意願比較強可以選擇讀研。
Q:我以前是別的專業,想做這行,准備讀個碩士,請問可以選擇的專業有哪些?
A:應用數學、統計學、計算機、金融專業都可以
正如這段對話,許多同學在進入這個行業的時候都會疑惑:大數據相關的職位看上去有點高大上,是否需要研究生以上的學歷?
對國內就業市場而言,本科學歷是大數據相關職位的一個基本要求,從各個職位上看需求量都是最大的。高端人才要求碩士以上的學歷也很普遍,顯示出這個行業的進入的確是有一定門檻的。
對於學歷這個問題,一般來說,當你沒有任何基礎的時候,能拿的出手的只有學歷,本科生當然競爭不過研究生。但是隨著工作時間久了,你的能力達到了這個職位的要求,學歷就不重要了。尤其是對業務能力要求比較高的數據分析師、數據挖掘師這些職位,你的行業知識和業務理解能力在很多情況下比學歷更加重要。
當然,高端人才(如演算法工程師、數據科學家)對學歷也比較高,如果各方面條件允許,選擇計算數學/概率論/模式識別/計算機方面的研究生深造也是有必要的,一些大公司的確會在初篩的時候根據學歷篩選人,這個也很正常。當然,你也可以在工作幾年後,當覺得到基礎瓶頸的時候,可以再去讀書,這個時候可能你更清楚自己需要的是什麼。
海闊憑魚躍,天高任鳥飛。對於進入這個行業的同學而言,你可以選擇提升學歷後再進入這個行業,也可以先就業,用你的工作經驗彌補你的學歷不足。大數據是一個實踐性很強的學科,從實際工作中獲取的知識和能力是你在學校裡面無法學習到的,企業最終也是看重你的實際工作能力。
學歷只能代表過去,學歷不高只能說明在之前的學習階段沒有發揮好,但並不代表在後天環境中不能提高自己。如果我們沒有高學歷,那就在後天環境中淬煉自己,付出不亞於任何人的努力,提高自己的能力。對於大數據這項專業性特別強的技術而言,能力遠比一紙文憑實用的多。
不管你有沒有一個好專業,好學歷,最重要的一點,請別忘了,要堅持學習和進化,努力奮斗,相信天道終將酬勤!
Ⅸ 大數據可視化工程師有哪些要求
數據可視化的本質就是視覺對話。數據可視化將技術與藝術完美結合,藉助圖形化的手段,清晰有效地傳達與溝通信息。
可視化的意義是幫助人更好的分析數據,信息的質量很大程度上依賴於其表達方式。對數字羅列所組成的數據中所包含的意義進行分析,使分析結果可視化。
數據可視化的主要作用,在於通過圖形和色彩將關鍵數據和特徵直觀地傳達出來,從而實現對於相當稀疏而又復雜的數據集的深入洞察。而單純說"數據呈現"並不確切,因為數據可視化並非無差異地涵蓋所有數據,可視化的過程本身就已經加入了製作人的對問題的思考、理解、甚至是一些假設,而數據可視化則是通過一目瞭然的方式,幫助製作人獲得客觀數據層面的引導或者驗證。
大數據可視化工程師的崗位要求如下:
第一,需要是統計、應用數學、計算機科學等專業的本科及以上學歷。
第二,需要有實習經驗或者參加過大數據比賽者的經驗。
第三,要熟練掌握至少一種大數據工具,PYTHON/R或其他數據挖掘和數據展示軟體。
第四,要有良好的編寫數據分析報告的能力,對圖形效果的可視化,科學化,美觀化的具備一定能力。
關於大數據可視化工程師有哪些要求,青藤小編就和您分享到這里了。如果你對大數據工程有濃厚的興趣,希望這篇文章能夠對你有所幫助。如果您還想了解更多數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。
Ⅹ 小米2年半大數據經驗,到手工資11400,大數據真有這么低
最近,號主在論壇上看到一位小哥曬工資簡訊,並且附言 「猴廠2年半大數據,心態崩了」 ,顯示的月工資到手為11443.55元。
小哥之所以心態崩潰,是因為工資 太太太太太低 啦。
我們都知道,大數據新人的起薪一般是12-20K不等。如果是技術過硬面試談的又好的,年薪三十萬也有很多。
而這位小哥在著名的猴場「小米」工作2年半,如果稅後工資是11400左右,那麼稅前有極大可能性在15K左右。
當然,這位小哥大概率是通過校招進入小米,而在兩年多的時間里,薪資一直沒有得到提升。
對於這種情況,有網友表示:
出去隨便就可以double,運氣好可以三倍。
如果這位小哥正常跳槽,以他的經驗和大廠經歷,那麼25K左右是沒什麼問題的。
其實,號主想說,大數據新人起薪在14-20之間都是正常薪資,畢竟這也是積累經驗和能力的階段。一般新人在3-5年內跳槽的話,工資都會翻倍甚至幾倍提升。所以不用看一時的薪資,還是要多提升自己的技術實力。
今天,我們就來看看現在大數據行業的就業薪資具體怎麼樣,是什麼水平。
大數據的就業職位
大數據專業的職業發展主要分為3個方向:
1、大數據開發方向; 所涉及的職業崗位為:大數據工程師、大數據維護工程師、大數據研發工程師、大數據架構師等;
2、數據挖掘、數據分析和機器學習方向; 所涉及的職業崗位為:大數據分析師、大數據高級工程師、大數據分析師專家、大數據挖掘師、大數據演算法師等;
3、大數據運維和雲計算方向; 對應崗位:大數據運維工程師;
大數據的薪資
以最基礎的大數據開發為例,入門最低薪資可達12K-20K,且該行業的薪資增長率極高。
有著3-5年工作經驗的大數據工程師薪資可達年薪30萬以上。
我們搜索了大數據工程師在全網的招聘薪資,發現最低大多數要求1年以上經驗,薪資都在20K以上。3年以上經驗的工程師至少都是年薪30萬起。
而據了解,在國內頂尖互聯網類公司,同一個級別大數據工程師的薪酬可能要比其他技術職位高20%至30%,且頗受企業重視。
大數據培訓後薪資
因為大數據是一個新興技術,很多高校還沒有開設大數據專業,所以想入行,最好的辦法就是參加培訓。
因為我接觸到的學生畢業後一般在北京、廣東、上海、南京地區就業的居多:下面說一下薪資情況。
1、目前培訓畢業後的就業周期一般在2周-4周之間, 一般在2周的時候就會拿到1-3份OFFER
2、2017年畢業學生從10-25K都有,15K居多。和入職企業及地區有很大關系
3、2018年學生15-25K,15K為最低入職薪資,17-18K居多
4、以上薪資待遇不含13薪等其他福利,綜合收入會更高一些
如果你對大數據開發感興趣,想系統學習大數據的話,可以加入大數據技術學習交流扣扣群458345782,私信管理員即可免費領取開發工具以及入門學習資料