從零開始學大數據演算法

1. 想從零開始自學大數據，請問有哪些書籍推薦

在人人高呼的大數據時代，你是想繼續做一個月薪6K+的碼農，還是想要翻身學習成為炙手可熱名企瘋搶的大數據工程師呢？
隨著互聯網技術的發展，大數據行業前景非常被看好，有很多朋友對大數據行業心嚮往之，卻苦於不知道該如何下手，或者說學習大數據不知道應該看些什麼書。作為一個零基礎大數據入門學習者該看哪些書?今天就給大家分享幾本那些不容錯過的大數據書籍。

1、《數據挖掘》
這是一本關於數據挖掘領域的綜合概述，本書前版曾被KDnuggets的讀者評選為最受歡迎的數據挖掘專著，是一本可讀性極佳的教材。它從資料庫角度全面系統地介紹數據挖掘的概念、方法和技術以及技術研究進展，並重點關注近年來該領域重要和最新的課題——數據倉庫和數據立方體技術，流數據挖掘，社會化網路挖掘，空間、多媒體和其他復雜數據挖掘。
2、《Big Data》
這是一本在大數據的背景下，描述關於數據建模，數據層，數據處理需求分析以及數據架構和存儲實現問題的書。這本書提供了令人耳目一新的全面解決方案。但不可忽略的是，它也引入了大多數開發者並不熟悉的、困擾傳統架構的復雜性問題。本書將教你充分利用集群硬體優勢的Lambda架構，以及專門用來捕獲和分析網路規模數據的新工具，來創建這些系統。
3、《Mining of Massive Datasets》
這是一本書是關於數據挖掘的。但是本書主要關注極大規模數據的挖掘，也就是說這些數據大到無法在內存中存放。由於重點強調數據的規模，所以本書的例子大都來自Web本身或者Web上導出的數據。另外，本書從演算法的角度來看待數據挖掘，即數據挖掘是將演算法應用於數據，而不是使用數據來「訓練」某種類型的機器學習引擎。

2. 大數據適合零基礎的人學習嗎

一般來說大數據的學習基礎是java也就是說如果你有java的基礎，學習起來就會很輕松。不過現在有很多的培訓機構都說是可以0基礎學習大數據，個人覺得還是有基礎比較好。

3. 想學大數據，不知道如何入門

零基礎學習大數據一般有以下幾步：
1、了解大數據理論
2、計算機編程語言學習
3、大數據相關課程學習
4、實戰項目
（1）了解大數據理論
要學習大數據你至少應該知道什麼是大數據，大數據一般運用在什麼領域。對大數據有一個大概的了解，你才能清楚自己對大數據究竟是否有興趣，如果對大數據一無所知就開始學習，有可能學著學著發現自己其實不喜歡，這樣浪費了時間精力，可能還浪費了金錢。所以如果想要學習大數據，需要先對大數據有一個大概的了解。
（2）計算機編程語言的學習
對於零基礎的朋友，一開始入門可能不會太簡單，大數據學習是需要java基礎的，而對於從來沒有接觸過編程的朋友來說，要從零開始學習，是需要一定的時間和耐心的。
（3）大數據相關課程的學習
一般來說，大數據課程，包括大數據技術入門，海量數據高級分析語言，海量數據存儲分布式存儲，以及海量數據分析分布式計算等部分，Linux，Hadoop，Scala, HBase, Hive, Spark等專業課程。如果要完整的學習大數據的話，這些課程都是必不可少的。
（4）實戰項目
不用多說，學習完任何一門技術，最後的實戰訓練是最重要的，進行一些實際項目的操作練手，可以幫助我們更好的理解所學的內容，同時對於相關知識也能加強記憶，在今後的運用中，也可以更快的上手，對於相關知識該怎麼用也有了經驗。

4. 大數據學習入門規劃

大數據方向的工作目前分為三個主要方向:
01.大數據工程師
02.數據分析師
03.大數據科學家
04.其他（數據挖掘本質算是機器學習，不過和數據相關，也可以理解為大數據的一個方向吧）
一、大數據工程師的技能要求
二、大數據學習路徑
三、學習資源推薦（書籍、博客、網站）
一、大數據工程師的技能要求總結如下:
必須技能10條:01.Java高級編程(虛擬機、並發)02.Linux 基本操作03.Hadoop（此處指HDFS+MapRece+Yarn ）04.HBase（JavaAPI操作+Phoenix ）05.Hive06.Kafka 、07.Storm08.Scala09.Python10.Spark (Core+sparksql+Spark streaming ）進階技能6條:11.機器學習演算法以及mahout庫加MLlib12.R語言13.Lambda 架構14.Kappa架構15.Kylin16.Aluxio
二、學習路徑
第一階段:
01.Linux學習（跟鳥哥學就ok了）
02.Java 高級學習（《深入理解Java虛擬機》、《Java高並發實戰》
第二階段:
03.Hadoop （董西成的書）04.HBase（《HBase權威指南》）05.Hive（《Hive開發指南》）06.Scala（《快學Scala》）07.Spark （《Spark 快速大數據分析》）08.Python （跟著廖雪峰的博客學習就ok了）
第三階段:對應技能需求，到網上多搜集一些資料就ok了，我把最重要的事情(要學什麼告訴你了)，剩下的就是你去搜集對應的資料學習就ok了當然如果你覺得自己看書效率太慢，你可以網上搜集一些課程，跟著課程走也OK 。這個完全根據自己情況決定,如果看書效率不高就上網課，相反的話就自己看書。
三，學習資源推薦:01.Apache 官網02.Stackoverflow04.github03.Cloudra官網04.Databrick官網05.過往的記憶（技術博客）06.CSDN，51CTO 07.至於書籍當當、京東一搜會有很多，其實內容都差不多
那麼如何從零開始規劃大數據學習之路！
大數據的領域非常廣泛，往往使想要開始學習大數據及相關技術的人望而生畏。大數據技術的種類眾多，這同樣使得初學者難以選擇從何處下手。本文將為你開始學習大數據的征程以及在大數據產業領域找到工作指明道路，提供幫助。

5. 怎麼自學大數據

自學大數據學習路線：（前提：以Java語言為基礎）

總共分為四個模塊：

• 大數據基礎

• 大數據框架

• 大數據項目

• 其他

第一模塊：大數據基礎

• Java基礎：集合，IO流

• JVM：重點是項目調優

• 多線程：理論和項目應用

• Linux：最基本的操作

這一個模塊的重點是為了面試做准備，個人根據自己的情況去復習，復習的時候理論部分建議看書和博客資料，應用部分建議看視頻和Demo調試。

下面分別去詳細的介紹一下：

• Java基礎：集合，IO流

主要是理論部分，可以看書或者博客總結，這一塊沒什麼推薦的，網上很多資料可以找到。

• JVM：重點是項目調優

• 多線程：理論和項目應用

這兩塊重點要結合到項目中，通過項目中的實際使用，然後反饋到對應的理論基礎，這一塊建議在B站上看對應的視頻。B站」尚矽谷「官網上的視頻很詳細。

• Linux：最基本的操作

這一塊有時間，先把《鳥哥的Linux私房菜》這本書看一遍，然後裝個Linux系統自己玩玩，對應的最常使用的命令自己敲敲。

如果沒時間，就把最常用的命令自己敲敲，網上有對應的總結，自己很容易搜到。一定要自己敲敲。

第二模塊：大數據框架

Hadoop：重點學，畢竟大數據是以Hadoop起家的，裡面就HDFS，MapReces，YARN三個模塊。

Hive：先學會怎麼用，當作一個工具來學習。

Spark：重點學，用來替代Hadoop的MapReces的，裡面重點有三塊：Spark Core，Spark SQL，Spark Streaming。

Flink：我還沒學。

Hbase：當作一個工具來學習，先學習怎麼用。

Kafka：先學怎麼用，其實裡面的模塊可以先理解成兩部分：生產者和消費者。所有的核心都是圍繞這兩個展開的。

Flume：當作一個工具來學習，先學習怎麼用。

Sqoop：當作一個工具來學習，先學習怎麼用。

Azkaban：當作一個工具來學習，先學習怎麼用。

Scala：這個是一門編程語句，基於Java 而來的，可以工作後在學習。

Zookeeper：當作一個工具來學習，先學習怎麼用。

以上的學習視頻和資料可以在B站的」尚矽谷「和」若澤大數據「里找到，很詳細。資料目前最詳細的資料就是各個框架對應的官網。視頻里也是對著官網一步一步講的。官網都是英文的，可以用Google瀏覽器的翻譯插件，翻譯成中文後在看。

第三模塊：大數據項目

B站的」尚矽谷「和」若澤大數據「。

第四模塊：其他

分布式：知道最基本的概念，有個分布式項目的經驗。分布式項目可以在B站的」尚矽谷「里找到。

演算法：網上有詳細的總結，書：推薦《劍指Offer》和《演算法4》，看演算法的目的是先掌握實現演算法的思路然後才是實現方式。

SQL：主要是調優，網上有很詳細的總結。

除此之外：Storm框架不要學了。

很多准備前期都是為了面試，例如：JVM和多線程，SQL調優和演算法。這些東西真正使用的過程中千差萬別，但核心知識不變，所以面試的時候總是會問，這一塊的前期以通過面試為主要點。

學習了差不多了，例如：Hadoop，Hive 和Spark學完了，就去面試面試，通過面試的情況在來調整自己的學習。

6. 學大數據需要什麼基礎

說到大數據，肯定少不了分析軟體，這應該是大數據工作的根基，但市面上很多各種分析軟體，如果不是過來人，真的很難找到適合自己或符合企業要求的。小編通過各大企業對大數據相關行業的崗位要求，總結了以下幾點：
（1）SQL資料庫的基本操作，會基本的數據管理
（2）會用Excel/SQL做基本的數據分析和展示
（3）會用腳本語言進行數據分析，Python or R
（4）有獲取外部數據的能力，如爬蟲
（5）會基本的數據可視化技能，能撰寫數據報告
（6）熟悉常用的數據挖掘演算法：回歸分析、決策樹、隨機森林、支持向量機等
對於學習大數據，總體來說，先學基礎，再學理論，最後是工具。基本上，每一門語言的學習都是要按照這個順序來的。
1、學習數據分析基礎知識，包括概率論、數理統計。基礎這種東西還是要掌握好的啊，基礎都還沒扎實，知識大廈是很容易倒的哈。
2、你的目標行業的相關理論知識。比如金融類的，要學習證券、銀行、財務等各種知識，不然到了公司就一臉懵逼啦。
3、學習數據分析工具，軟體結合案列的實際應用，關於數據分析主流軟體有(從上手度從易到難)：Excel，SPSS，stata，R，Python，SAS等。
4、學會怎樣操作這些軟體，然後是利用軟體從數據的清洗開始一步步進行處理，分析，最後輸出結果，檢驗及解讀數據。
當然，學習數學與應用數學、統計學、計算機科學與技術等理工科專業的人確實比文科生有著客觀的優勢，但能力大於專業，興趣才會決定你走得有多遠。畢竟數據分析不像編程那樣，需要你天天敲代碼，要學習好多的編程語言，數據分析更注重的是你的實操和業務能力。如今的軟體學習都是非常簡單便捷的，我們真正需要提升的是自己的邏輯思維能力，以及敏銳的洞察能力，還得有良好的溝通表述能力。這些都是和自身的努力有關，而不是單純憑借理工科背景就可以啃得下來的。相反這些能力更加傾向於文科生，畢竟好奇心、創造力也是一個人不可或缺的。

7. 如何開始學習大數據

首先我們要了解Java語言和操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

8. 零基礎能學大數據嗎大數據分析好不好學

0基礎可以學習大數據的，只要你的學歷在大專及以上
大數據分析師，回分兩類：
一種偏向產品和運營答，更加註重業務，主要工作包括日常業務的異常監控、客戶和市場研究、參與產品開發、建立數據模型提升運營效率等；
另一種則更注重數據挖掘技術，門檻較高，需要扎實的演算法能力和代碼能力。同時薪資待遇也更好。
第一種門檻低些，入門比較容易，第二類難度大些，對數學基礎和演算法等要求更高。如果是說第一類的話，認真一點是很好掌握的。

9. 入門大數據需要學習什麼內容

作為一名零基礎學習者，請不要將大數據開發看做一門與Java、python等相似的IT語言，大數據更像是一門技術，其所包含的內容相對比較多。在正式開始學習之前，可以買一些大數據相關書籍或者找一些網上的學習資料，先建立對行業以及對大數據相關職位的了解。

比如，大數據分為哪些發展方向，不同的發展方向對應哪些發展職位，各個職位的發展所要求的核心技能點是什麼，企業對於大數據人才的需求是什麼樣的，了解清楚了這些，才能真正考慮清楚，學什麼怎麼學。

以大數據開發來說，其中涉及到的主要是大數據應用開發，要求一定的編程能力，在學習階段，主要需要學習掌握大數據技術框架，包括hadoop、hive、oozie、flume、hbase、kafka、scala、spark等等……

以大數據分析來說，有主攻業務運營方面的數據分析師，也有主攻機器學習、深度學習等的數據挖掘師，具體到其中的各個職位，更是有著更加具體的技能要求，那麼在學習階段就要先做好相關的准備了。

關於入門大數據需要學習什麼內容，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

10. 0基礎如何學習大數據

第一階段：Java語言基礎，只需要學習Java的標准版JavaSE就可以了，做大數據不需要很深的Java 技術，當然Java怎麼連接資料庫還是要知道。

第二階段：Linux精講(因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑)。

第三階段：Hadoop生態系統，這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

第四階段:strom實時開發，torm是一個免費並開源的分布式實時計算系統。利用Storm可以很容易做到可靠地處理無限的數據流，像Hadoop批量處理大數據一樣，Storm可以實時處理數據。Storm簡單，可以使用任何編程語言。

第五階段：Spark生態體系，它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。

第六階段：大數據項目實戰，大數據實戰項目可以幫助大家對大數據所學知識更加深刻的了解、認識，提高大數據實踐技術。