學習大數據的基礎

『壹』 大數據的基礎是什麼

大數據的基礎是存儲和計算。大數據的特點就是數據量的規模較大，因此首要問題就是存儲問題。然後核心問題就是大數據量的計算問題。這兩個部分組成了大數據的根基。

『貳』 想要學習大數據，應該怎麼入門

記住學到這里可以作為你學大數據的一個節點。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。java語言或者Scala都可以操作它，因為它們都是用JVM的。

『叄』 學習大數據要什麼基礎

大數據開發學習要掌握java、linux、hadoop、storm、flume、hive、Hbase、spark等基礎知識。

學會這兩項基礎後，接下來就需要學習大數據相關的技術了。首先學習Hadoop，需要學習它的HDFS、MapRece和YARN的組件，學會了這些，接下來就按順序學習Zookeeper，Mysql，Sqoop，Hive，Oozie，Hbase，Kafka，Spark。當我們把這些技術都學會了，基本上就能成為一個專業的大數據開發工程師了。

之後再進階提高一下，學習一下python、機器學習、數據分析等知識，能讓自己在今後的工作中更好的配合演算法工程師、數據分析師，讓自己變得更進步更優秀。

『肆』 學習大數據需要哪些基礎

第一：計算機基礎知識。計算機基礎知識涉及到三大塊內容，包括操作系統、編程語言和計算機網路，其中操作系統要重點學習一下Linux操作系統，編程語言可以選擇Java或者Python。如果要從事大數據開發，應該重點關注一下Java語言，而如果要從事大數據分析，可以重點關注一下Python語言。計算機網路知識對於大數據從業者來說也比較重要，要了解基本的網路通信過程，涉及到網路通信層次結構和安全的相關內容。
第二：資料庫知識。資料庫知識是學習大數據相關技術的重要基礎，大數據的技術體系有兩大基礎，一部分是分布式存儲，另一部分是分布式計算，所以存儲對於大數據技術體系有重要的意義。初學者可以從Sql語言開始學起，掌握關系型資料庫知識對於學習大數據存儲依然有比較重要的意義。另外，在大數據時代，關系型資料庫依然有大量的應用場景。
第三：數學和統計學知識。從學科的角度來看，大數據涉及到三大學科基礎，分別是數學、統計學和計算機，所以數學和統計學知識對於大數據從業者還是比較重要的。從大數據崗位的要求來看，大數據分析崗位（演算法）對於數學和統計學知識的要求程度比較高，大數據開發和大數據運維則稍微差一些，所以對於數學基礎比較薄弱的初學者來說，可以考慮向大數據開發和大數據運維方向發展。

『伍』 學習大數據需要什麼基礎

一、計算機編碼能力

實際開發能力和大規模的數據處理能力是作為大數據工程師的一些必備要素。舉例來說，現在人們在社交網路上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中拾取有意義的信息就需要大數據工程師親自挖掘。

二、數學及統計學相關的背景

國內BAT為代表的大公司，對於大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。缺乏理論背景的數據工作者，按照不同的數據模型和演算法總能捯飭出一些結果來，但如果你不知道那代表什麼，就並不是真正有意義的結果，並且那樣的結果還容易誤導你。只有具備一定的理論知識，才能理解模型、復用模型甚至創新模型，來解決實際問題。

三、特定應用領域或行業的知識

大數據工程師這個角色很重要的一點是，不能脫離市場，因為大數據只有和特定領域的應用結合起來才能產生價值。所以，在某個或多個垂直行業的經歷能為應聘者積累對行業的認知，對於之後成為大數據工程師有很大幫助。

『陸』 大數據需要什麼基礎

學習大數據要有一定的編程基礎，這是大數據大部分崗位都需要的。目前從事大數據方向的程序員比較普遍使用的語言有四種，分別是Python、Java、Scala和R，這四種語言都有一定的應用場景，不同崗位的程序員使用的語言也稍有不同。

『柒』 學習大數據需要什麼基礎

學習大數據需要的基礎：

學習大數據開發技術相關的開發技術知識體系是比較龐大的，對於大數據的學習來說學，確實邏輯思維能力是更重要的。基礎知識是可以通過學習進行彌補的，大數據培訓則成為小夥伴比較靠譜的學習方式。在大數據培訓班第一階段就是基礎內容的學習。

不同的大數據培訓機構在課程內容上側重點可能會有所不同，所以在培訓周期上也會有所差異。矽谷大數據培訓班，學習課程內容除了第一階段學習Java語言基礎之外，還要學習HTML、CSS、Java、JavaWeb和資料庫、Linux基礎、Hadoop生態體系、Spark生態體系等課程內容。

項目實戰對學習大數據的同學來說是一個必須經過的過程。學習大數據的同學只有經過項目實戰訓練，才能在面試和後期工作中從容應對，這是一個很重要的過程。

當然了，項目實戰訓練時間與項目的難度、項目的數量相關，項目難度較大、項目較多，當然學習的時間會更長。

大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。

對於「大數據」（Big data）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

麥肯錫全球研究所給出的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。

大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。

『捌』 大數據需要什麼基礎

學習大數據需要以下幾個方面的基礎： 新手學大數據，首先要具備的是編程語言基礎，如Java、C++等，要初步掌握面向對象、抽象類、介面、繼承、多態和數據流及對象流等基礎，編程語言在大數據中占據了不可逾越的地位，掌握一門編程語言再學習大數據會輕松很多，甚至編程語言要比大數據學習的時間更長。 Linux系統的基本操作是大數據不可分割的一部分，大數據的組件都是在這個系統中跑的

『玖』 學習大數據需要掌握哪些基礎

數學分析
高等數學
概率
統計
演算法
優化
編程語言（python C++ java等）
以上課程學完，然後再學編程和技巧。