如何自學大數據編程

⑴ 新手如何學習大數據

新手學習大數據可以通過自學或是培訓兩種方式。

想要自學那麼個人的學歷不能低於本科，若是計算機行業的話比較好。非本專業也可以，只要學歷夠，個人的邏輯思維能力以及個人的約束能力較好，就可以去網上找找免費的教程，選擇適合自己的自學試試看。

自學大數據路線圖👇👇

嘗試自學若覺得自己的約束能力一般，但是能學到進去也想盡快掌握技術，那可以考慮參加大數據培訓班，老師指導效率也會比較高。

無論是自學還是參加培訓班都需要自己付出較多的努力哦。

⑵ 怎麼自學大數據

自學大數據學習路線：（前提：以Java語言為基礎）

總共分為四個模塊：

• 大數據基礎

• 大數據框架

• 大數據項目

• 其他

第一模塊：大數據基礎

• Java基礎：集合，IO流

• JVM：重點是項目調優

• 多線程：理論和項目應用

• Linux：最基本的操作

這一個模塊的重點是為了面試做准備，個人根據自己的情況去復習，復習的時候理論部分建議看書和博客資料，應用部分建議看視頻和Demo調試。

下面分別去詳細的介紹一下：

• Java基礎：集合，IO流

主要是理論部分，可以看書或者博客總結，這一塊沒什麼推薦的，網上很多資料可以找到。

• JVM：重點是項目調優

• 多線程：理論和項目應用

這兩塊重點要結合到項目中，通過項目中的實際使用，然後反饋到對應的理論基礎，這一塊建議在B站上看對應的視頻。B站」尚矽谷「官網上的視頻很詳細。

• Linux：最基本的操作

這一塊有時間，先把《鳥哥的Linux私房菜》這本書看一遍，然後裝個Linux系統自己玩玩，對應的最常使用的命令自己敲敲。

如果沒時間，就把最常用的命令自己敲敲，網上有對應的總結，自己很容易搜到。一定要自己敲敲。

第二模塊：大數據框架

Hadoop：重點學，畢竟大數據是以Hadoop起家的，裡面就HDFS，MapReces，YARN三個模塊。

Hive：先學會怎麼用，當作一個工具來學習。

Spark：重點學，用來替代Hadoop的MapReces的，裡面重點有三塊：Spark Core，Spark SQL，Spark Streaming。

Flink：我還沒學。

Hbase：當作一個工具來學習，先學習怎麼用。

Kafka：先學怎麼用，其實裡面的模塊可以先理解成兩部分：生產者和消費者。所有的核心都是圍繞這兩個展開的。

Flume：當作一個工具來學習，先學習怎麼用。

Sqoop：當作一個工具來學習，先學習怎麼用。

Azkaban：當作一個工具來學習，先學習怎麼用。

Scala：這個是一門編程語句，基於Java 而來的，可以工作後在學習。

Zookeeper：當作一個工具來學習，先學習怎麼用。

以上的學習視頻和資料可以在B站的」尚矽谷「和」若澤大數據「里找到，很詳細。資料目前最詳細的資料就是各個框架對應的官網。視頻里也是對著官網一步一步講的。官網都是英文的，可以用Google瀏覽器的翻譯插件，翻譯成中文後在看。

第三模塊：大數據項目

B站的」尚矽谷「和」若澤大數據「。

第四模塊：其他

分布式：知道最基本的概念，有個分布式項目的經驗。分布式項目可以在B站的」尚矽谷「里找到。

演算法：網上有詳細的總結，書：推薦《劍指Offer》和《演算法4》，看演算法的目的是先掌握實現演算法的思路然後才是實現方式。

SQL：主要是調優，網上有很詳細的總結。

除此之外：Storm框架不要學了。

很多准備前期都是為了面試，例如：JVM和多線程，SQL調優和演算法。這些東西真正使用的過程中千差萬別，但核心知識不變，所以面試的時候總是會問，這一塊的前期以通過面試為主要點。

學習了差不多了，例如：Hadoop，Hive 和Spark學完了，就去面試面試，通過面試的情況在來調整自己的學習。

⑶ 想要學習大數據，應該怎麼入門

記住學到這里可以作為你學大數據的一個節點。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

⑷ 0基礎如何學習大數據

第一階段：Java語言基礎，只需要學習Java的標准版JavaSE就可以了，做大數據不需要很深的Java 技術，當然Java怎麼連接資料庫還是要知道。

第二階段：Linux精講(因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑)。

第三階段：Hadoop生態系統，這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

第四階段:strom實時開發，torm是一個免費並開源的分布式實時計算系統。利用Storm可以很容易做到可靠地處理無限的數據流，像Hadoop批量處理大數據一樣，Storm可以實時處理數據。Storm簡單，可以使用任何編程語言。

第五階段：Spark生態體系，它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。

第六階段：大數據項目實戰，大數據實戰項目可以幫助大家對大數據所學知識更加深刻的了解、認識，提高大數據實踐技術。

⑸ 初學者如何高效學習大數據技術

目前想要轉型做大數據的人群當中，零基礎的學習者不在少數，對於零基礎學習者，比較中肯的建議是不要自學。大數據作為一門新興技術，市面上能夠找到的學習資料非常有限，並且大數據技術不斷在更新迭代，自學很難跟上最新技術趨勢。

對於大部分零基礎學習者來說，想要學大數據，通過大數據培訓是效率最高的方式。而市面上的大數據培訓，可以分為線上培訓和線下培訓兩種模式，不管是這些機構課程如何宣傳，作為初學者，應該重視的是，如果能夠達到高效的學習。

大數據線上培訓，有直接賣錄制好的視頻的，也有視頻直播課程，相對來說，視頻直播課程具有更好的課堂互動性，如果能堅持下來，那麼應當也能有一定的收獲。

而大數據線下培訓，應該說是各種培訓模式下，學習效率和學習效果都最好的方式了。大數據線下培訓有完備的教學體系，系統化的大數據課程，資深的專業講師，三管齊下，能夠幫助學習者更快地入門，打下良好的基礎。

在大數據的學習中，除了基礎技術知識的學習，更重要的是理論與實踐的結合，畢竟我們最終還是要將技術知識運用到工作實際中，這也是就業當中的核心競爭力來源。

大數據線下培訓，擁有良好的硬體環境支持，在不同的學習階段，還有相應的實戰項目來做聯系，大大提升學習者的技術實戰能力。

關於初學者如何高效學習大數據技術，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

⑹ 想自學大數據，要從哪方面入手呢

自學大數據很難
因為你的數據不知道從哪裡來
如果用模擬， 那就學hadoop生態
單機部署偽分布式環境， 然後編寫MapRece程序，
搭建hive hbase
走一套數據收集、處理流程
這就是自學

⑺ 大數據可以自學嗎 怎麼學

大數據是可以自學的，但是完全零基礎自學大數據是非常困難的，現在大屬數據崗位薪資福利處於IT行業的前列，如果想要入行，就要選對方法，大數據開發的基礎是JAVA，python等編程語言，建議先從基礎學起。

大數據能自學嗎

一、如果是計算機專業的，不管畢業與否，自學這個，比較好入門，並且以後找工作也算知洞是專業對口。

二、如果不是計算機專業，並且已經大學畢業了，自學就很費勁了，也更費時間，你沒有一個詳細的學習規劃簡直太浪費時間精力，最好是能報豎猛咐個班，有個系統的學習規劃要比一個人在家裡啃書自學強的多。

大數據前景很好，目前國大數據人才缺乏，大數據的應用十分廣泛，大數據不僅包括企業內部應用系統的數據分析，還包括與行業、產業的深度融合。

大數據自學的建議

對於零基礎想要學習的大數據的同學，最好的方案是：先關注一些大數據領域的動態，讓自己融入大數據這樣一個大的環境中。然後找一些編程語言的資料（大數據的基礎必備技能）和大數據入門的視頻和書籍，基本的技術知識還是要了解的。

要余純針對不同階段、不同基礎的同學制定不同的學習方案。對於零基礎想要自學大數據，不是說不可能，但是很多以失敗告終，客觀原因：學習環境不好；主觀原因：基礎不好，看不懂，學不會，枯燥無味直接放棄。

在學習了一段時間之後，如果覺得自己還能應付的來，就繼續尋找大數據基礎視頻和書籍，一步一個腳印的來；如果覺得覺得自己入門都很難，要麼放棄，要麼捨得為自己投資一把，去選擇一家靠譜的培訓機構。