初學大數據統計學

㈠ 怎樣進行大數據的入門級學習

一、整體了解數據分析——5小時
新人們被」大數據「、」人工智慧「、」21世紀是數據分析師的時代「等等信息吸引過來，立志成為一名數據分析師，於是問題來了，數據分析到底是干什麼的?數據分析都包含什麼內容?
市面上有很多講數據分析內容的書籍，在此我推薦《深入淺出數據分析》，此書對有基礎人士可稱消遣讀物， 但對新人們還是有一定的作用。閱讀時可不求甚解，重點了解數據分析的流程、應用場景、以及書中提到的若干數據分析工具，無需糾結分析模型的實現。5個小時，足夠你對數據分析工作建立初步的印象，消除陌生感。
二、了解統計學知識——10小時
15個小時只夠你了解一下統計學知識，作為入門足夠，但你要知道，今後隨著工作內容的深入，需要學習更多的統計知識。
本階段推薦書籍有二：《深入淺出統計學》《統計學：從數據到結論》，要了解常用數理統計模型(描述統計指標、聚類、決策樹、貝葉斯分類、回歸等)，重點放在學習模型的工作原理、輸入內容和輸出內容，至於具體的數學推導，學不會可暫放一邊，需要用的時候再回來看。
三、學習初級工具——20小時
對於非技術類數據分析人員，初級工具只推薦一個：EXCEL。推薦書籍為《誰說菜鳥不會數據分析》，基礎篇必須學習，提高篇不一定學(可用其他EXCEL進階書籍)，也可以學習網上的各種公開課。
本階段重點要學習的是EXCEL中級功能使用(數據透視表，函數，各類圖表適用場景及如何製作)，如有餘力可學習VBA。
四、提升PPT能力——10小時
作為數據分析人員，PPT製作能力是極其重要的一項能力，因此需要花一點時間來了解如何做重點突出，信息明確的PPT，以及如何把各類圖表插入到PPT中而又便於更新數據。10個小時並不算多，但已經足夠(你從來沒做過PPT的話，需要再增加一些時間)。具體書籍和課程就不推薦了，網上一抓一大把，請自行搜索。
五、了解資料庫和編程語言——10小時
這個階段有兩個目標：學習基礎的資料庫和編程知識以提升你將來的工作效率，以及測試一下你適合學習哪一種高級數據分析工具。對於前者，資料庫建議學MySQL(雖然Hadoop很有用但你不是技術職位，初期用不到)，編程語言建議學Python(繼續安利《深入淺出Python》，我真沒收他們錢……)。資料庫學到聯合查詢就好，性能優化、備份那些內容用不到;Python則是能學多少學多少。
六、學習高級工具——10小時
雖然EXCEL可以解決70%以上的問題，但剩下30%還是需要高級工具來做(不信用EXCEL做個聚類)。高級分析工具有兩個選擇：SPSS和R。雖然R有各種各樣的好處，但我給的建議是根據你在上一步中的學習感覺來定學哪一個工具，要是學編程語言學的很痛苦，就學SPSS，要是學的很快樂，就學R。不管用哪一種工具，都要把你學統計學時候學會的重點模型跑一遍，學會建立模型和小幅優化模型即可。
七、了解你想去的行業和職位——10+小時
這里我在時間上寫了個」+「號，因為這一步並不一定要用整塊時間來學習，它是貫穿在你整個學習過程中的。數據分析師最需要不斷提升的能力就是行業和業務知識，沒有之一。你將來想投入哪個行業和哪個職位的方向，就要去學習相關的知識(比如你想做網站運營，那就要了解互聯網背景知識、網站運營指標體系、用戶運營知識等內容)。
八、做個報告——25小時
你學習了那麼多內容，但現在出去的話你還是找不到好工作。所有的招聘人員都會問你一句話：你做過哪些實際項目?(即使你是應屆生也一樣) 如果你有相關的項目經驗或者實習經驗，當然可以拿出來，但是如果沒有，怎麼辦?答案很簡單，做個報告給他們看，告訴招聘者：我已經有了數據分析入門級(甚至進階級)職位的能力。同時，做報告也會是你將來工作的主要內容，因此也有可能出現另外一種情況：你費盡心血做了一個報告，然後發現這不是你想要的生活，決定去干別的工作了……這也是件好事，有數據分析能力的人做其他工作也算有一項優勢。

㈡ # 大數據的統計學基礎

概率論是統計學的基礎，統計學沖鋒在應用第一線，概率論提供武器。

我們在學習R的時候，會做過假設檢驗。做假設檢驗的時候會有一個基本的技術就是構造出統計量，這些統計量要滿足一定的概率密度分布，然後我算這個統計量的值，來判定它在這個密度分布裡面，分布在哪個區域，出現在這個區域內的可能性有多高，如果可能性太低，我們就判定我們的假設檢驗是不成立的。 那麼如何構造這個統計量，這是一個很有技術的東西，同時也是由數學家來完成的，那這個工作就是概率論所作的事情。

古典概率論： 扔硬幣，正面1/2反面1/2，扔的次數之間是相互獨立的。 但是這個等概率事件確實是一個不是很嚴謹的事情。仔細想一想其實是很有趣的。 柯爾莫哥洛夫創建現代概率論 他將概率論提出了許多公理，因此將概率論變成了非常嚴謹的一門學科。

學會和運用概率，會使人變得聰明，決策更准確。

統計學 ： 統計學可以分為：描述統計學與推斷統計學 描述統計學 ：使用特定的數字或者圖表來體現數據的集中程度和離散程度。比如：每次考試算的平均分，最高分，各個分數段的人數分布等，也是屬於描述統計學的范圍。 推斷統計學 ：根據樣本數據推斷總體數據特徵。比如：產品質量檢查，一般採用抽樣檢測，根據所抽樣本的質量合格率作為總體的質量合格率的一個估計。 統計學的應用十分廣泛，可以說，只要有數據，就有統計學的用武之地。目前比較熱門的應用：經濟學，醫學，心理學，IT行業大數據方面等。

例如：對於 1 2 3 4 5 這組數據，你會使用哪個數字作為代表呢？ 答案是3。 因為3是這組數據的中心。 對於一組數據，如果只容許使用一個數字去代表這組數據，那麼這個數字應該如何選擇？？？-----選擇數據的中心，即反映數據集中趨勢的統計量。 集中趨勢：在統計學裡面的意思是任意種數據向 中心值靠攏 的程度。它可以反映出數據中心點所在的位置。 我們經常用到的能夠反映出集中趨勢的統計量： 均值：算數平均數，描述 平均水平 。 中位數：將數據按大小排列後位於正中間的數描述，描述 中等水平 。 眾數：數據種出現最多的數，描述 一般水平 。

均值：算數平均數 例如：某次數學考試種，小組A與小組B的成員成績分別如下： A：70，85，62，98，92 B：82，87，95，80，83 分別求出兩組的平均數，並比較兩組的成績。

組B的平均分比組A的高，就是組B的總體成績比組A高。

中位數：將數據按大小順序（從大到小或者從小到大）排列後處於 中間位置 的數。 例如：58，32，46，92，73，88，23 1.先排序：23，32，46，58，73，88，92 2.找出中間位置的數23，32，46， 58 ，73，88，92 如果數據中是偶數個數，那麼結果會發生什麼改變？ 例如：58，32，46，92，73，88，23，63 1.先排序：23，32，46，58，63，73，88，92 2.找出處於中間位置的數：23，32，46， 58 ， 63 ，73，88，92 3.若處於中間位置的數據有兩個（也就是數據的總個數為偶數時），中位數為中間兩個數的算數平均數：（58+63）/2=60.5 在原數據中，四個數字比60.5小，四個數字比60.5大。

眾數：數據中出現次數最多的數（所佔比例最大的數） 一組數據中，可能會存在多個眾數，也可能不存在眾數。 1 2 2 3 3 中，眾數是2 和 3 1 2 3 4 5 中，沒有眾數 1 1 2 2 3 3 4 4 中，也沒有眾數 只要出現的頻率是一樣的，那麼就不存在眾數 眾數不僅適用於數值型數據，對於非數值型數據也同樣適合 {蘋果，蘋果，香蕉，橙子，橙子，橙子，橙子，桃子}這一組數據，沒有什麼均值中位數科研，但是存在眾數---橙子。 但是在R語言裡面沒有直接計算眾數的內置函數，不過可以通過統計數據出現的頻率變相的去求眾數。

下面比較一下均值，中位數，眾數三個統計量有什麼優點和缺點 [圖片上傳失敗...(image-57f18-1586015539906)]

例子： 兩個公司的員工及薪資構成如下： A：經理1名，月薪100000；高級員工15名，月薪10000；普通員工20名，月薪7500 B：經理1名，月薪20000；高級員工20名，月薪11000；普通員工15名，月薪9000 請比較兩家公司的薪資水平。若只考慮薪資，你會選擇哪一家公司？

A 7500 B 11000

A 7500 B 11000</pre>

若從均值的角度考慮，明顯地A公司的平均月薪比B公司的高，但是A公司存在一個極端值，大大地拉高了A公司的均值，這時只從均值考慮明顯不太科學。從中位數和眾數來看，B公司的薪資水平比較高，若是一般員工，選擇B公司顯得更加合理。

比較下面兩組數據： A： 1 2 5 8 9 B： 3 4 5 6 7 兩組數據的均值都是5，但是你可以看出B組的數據與5更加接近。但是有描述集中趨勢的統計量不夠，需要有描述數據的離散程度的統計量。

極差 ：最大值 - 最小值，簡單地描述數據的范圍大小。 A： 9 - 1 = 8 B： 7 - 3 = 4 同樣的5個數，A的極差比B的極差要大，所以也比B的要分散 但是只用極差這個衡量離散程度也存在不足 比如： A： 1 2 5 8 9 B： 1 4 5 6 9 兩組數據雖然極差都是相同的，但是B組數據整體分布上更加靠近5。

方差 ：在統計學上，更常地是使用方差來描述數據的 離散程度 ：數據離中心越遠，越離散。 方差越大，就代表這組數據越離散。

對於前面的數據 1 2 5 8 9，前面求的一組數據的方差是12.5。 將12.5於原始數據進行比較，可以看出12.5比原數據都大，這是否就能說明這一組數據十分離散呢？ 其實方差與元數據的單位是不一樣的，這樣比較也是毫無意義的。如果原始數據的單位是m的話，那麼方差的單位就是m^2 為了保持單位的一致性，我們引入一個新的統計量：標准差 標准差：sqrt(var())， 有效地避免了因為單位的平方而引起的度量問題。 與方差一樣，標准差的值越大，表示數據越分散。 A： 1 2 5 8 9 B： 3 4 5 6 7

某班40個學生某次數學檢測的成績如下：

63，84，91，53，69，81，61，69，78，75，81，67，76，81，79，94，61，69，89，70，70，87，81，86，90，88，85，67，71，82，87，75，87，95，53，65，74，77 對於這一組數字，你能看出什麼呢？ 或許先算一算平均值，中位數，或者眾數

或許算一算這組數據的方差或者標准差

但是即便是統計了上述的數據，我們還是對全班同學的分數分布，沒有一個全面的了解。 原始數據太雜亂無章，難以看出規律性，只依賴數字來描述集中趨勢與離散程度讓人難以對數據產生直觀地印象，這是我們就需要用到圖標來展示這些數字。

1.找出上面數據中的最大值和最小是，確定數據的范圍。

將成績排序後很容易得到最大值是95，最小值是53

2.整理數據，將數據按照成績分為幾個組。成績按照一般50-60，60-70，70-80，80-90，90-100這幾個分段來劃分(一般都分為5-10組)，然後統計這幾個分段內部的頻數。 可以看到80-90這個分段的人數是最多的。 注意在繪制直方圖的時候，一定要知道是左閉右開還是左開右閉。 因為這個可能會直接影響到頻數的統計。

上圖就是：頻數直方圖。頻數作為縱坐標，成績作為橫坐標。通過直方圖我們可以對成績有一個非常直觀的印象。 除了頻數直方圖，還有一種直方圖：頻率直方圖。與頻數直方圖相比，頻率直方圖的縱坐標有所改變，使用了頻率/組距。 頻率=頻數/總數；組距就是分組的極差，這里的組距是10.

除了直方圖外，畫一個簡單的箱線圖也可以大致看出數據的分布。

​
想要看懂箱線圖，必須要學習一些箱線圖專業的名詞： 下四分位數：Q1，將所有的數據按照從小到大的順序排序，排在第25%位置的數字。 上四分位數：Q3，將所有的數據按照從小到大的順序排序，排在第75%位置的數字。 四分距：IQR，等於Q3-Q1，衡量數據離散程度的一個統計量。 異常點：小於Q1-1.5IQR或者大於Q3+1.5IQR的值。 （注意是1.5倍的IQR） 上邊緣：除異常點以外的數據中的最大值 下邊緣：除異常點以外的數據種的最小值

​

莖葉圖可以在保留全部數據信息的情況下，直觀地顯示出數據的分布情況。 左邊是莖，右邊是葉。 若將莖葉圖旋轉90度，則可以得到一個類似於直方圖的圖。跟直方圖一樣，也可以直觀地知道數據的分布情況。 並且可以保留所有的數據信息。 莖葉圖的畫法也非常的簡單： 將數據分為莖和葉兩部分，這里的莖是指十位上的數字，葉是指給上的數字。 將莖部份（十位）從小到大，從上到下寫出來 相對於各自的莖，將同一莖（十位）從小到大，從左往右寫出來。

但是莖葉圖也有缺陷，因為百位和十位同時畫在莖葉圖的時候，容易區分不開。同時也可能出現卻葉的情況。

以時間作為橫坐標，變數作為縱坐標，反映變數隨時間推移的變化趨勢。

顯示一段時間內的數據變化或者顯示各項之間的比較情況。

根據各項所佔百分比決定在餅圖中扇形的面積。簡單易懂，通俗明了。可以更加形象地看出各個項目所佔的比例大小。 適當的運用一些統計圖表，可以更生動形象的說明，不再只是純數字的枯燥描述。

學習鏈接： https://www.bilibili.com/video/BV1Ut411r7RG

㈢ 學大數據需要具備什麼基礎

第一、計算機基礎知識。計算機基礎知識涉及到三大塊內容，包括操作系統、編程語言和計算機網路，其中操作系統要重點學習一下Linux操作系統，編程語言可以選擇java或者Python。

如果要從事大數據開發，應該重點關注一下Java語言，而如果要從事大數據分析，可以重點關注一下Python語言。計算機網路知識對於大數據從業者來說也比較重要，要了解基本的網路通信過程，涉及到網路通信層次結構和安全的相關內容。

第二、資料庫知識。資料庫知識是學習大數據相關技術的重要基礎，大數據的技術體系有兩大基礎，一部分是分布式存儲，另一部分是分布式計算，所以存儲對於大數據技術體系有重要的意義。

初學者可以從Sql語言開始學起，掌握關系型資料庫知識對於學習大數據存儲依然有比較重要的意義。另外，在大數據時代，關系型資料庫依然有大量的應用場景。

第三、數學和統計學知識。從學科的角度來看，大數據涉及到三大學科基礎，分別是數學、統計學和計算機，所以數學和統計學知識對於大數據從業者還是比較重要的。

從大數據崗位的要求來看，大數據分析崗位（演算法）對於數學和統計學知識的要求程度比較高，大數據開發和大數據運維則稍微差一些，所以對於數學基礎比較薄弱的初學者來說，可以考慮向大數據開發和大數據運維方向發展。

大數據的價值體現在以下幾個方面：

（1）對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷；

（2）做小而美模式的中小微企業可以利用大數據做服務轉型；

（3）面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。

㈣ 零基礎自學大數據要學哪些內容

1. EXCEL、PPT(必須精通)

數據工作者的基本姿態，話說本人技術並不是很好，但是起碼會操作;要會大膽秀自己，和業務部門交流需求，展示分析結果。技術上回VBA和數據透視就到頂了。

2. 資料庫類(必須學)

初級只要會RDBMS就行了，看公司用哪個，用哪個學哪個。沒進公司就學MySQL吧。

NoSQL可以在之後和統計學啥的一起學。基本的NoSQL血MongoDB和Redis(緩存，嚴格意義上不算資料庫)，然後(選學)可以了解各類NoSQL，基於圖的資料庫Neo4j，基於Column的資料庫BigTable，基於key-value的資料庫redis/cassendra，基於collection的資料庫MongoDB。

3. 統計學(必須學)

如果要學統計學，重要概念是會描述性統計、假設檢驗、貝葉斯、極大似然法、回歸(特別是廣義線性回歸)、主成分分析。這些個用的比較多。也有學時間序列、bootstrap、非參之類的，這個看自己的意願。

其他數學知識：線性代數常用(是很多後面的基礎)，微積分不常用，動力系統、傅里葉分析看自己想進的行業了。

4. 機器學習(數據分析師要求會選、用、調)

常用的是幾個線性分類器、聚類、回歸、隨機森林、貝葉斯;不常用的也稍微了解一下;深度學習視情況學習。

5. 大數據(選學，有公司要求的話會用即可，不要求會搭環境)

hadoop基礎，包括hdfs、map-rece、hive之類;後面接觸spark和storm再說了。

6. 工具類

語言：非大數據類R、Python最多;大數據可能還會用到scala和java。

其他框架、類庫(選學)：爬蟲(requests、beautifulsoup、scrapy)，日誌分析(常見elk)。

㈤ 大數據學習入門都需要學什麼求大神解答一下

大數據學習入門都需要學習和具備的基礎知虧春識：

1. 數學知識：數學知識是數據分析師的基礎知識。

   ①對於初級數據分析師，了解一些描述統計相關的基礎內容，有一定的公式計算能力即可，了解常用統計模型演算法則是加分。

   ②對於高級數據分析師，統計模型相關知識是必備能力，線性代數（主要是矩陣計算相關知識）最好也有一定的了解。

   ③而對於數據挖掘工程師，除了統計學以外，各類演算法也需要熟練使用，對數學的要求是最高的。

2. 分析工具

   ①對於初級數據分析師，玩轉Excel是必須的，數據透視表和公式使用必須熟練，VBA是加分。另外，還要學會一個統計分析工具，SPSS作為入門是比較好的。

   ②對於高級數據分析師，使用分析工具是核心能力，VBA基本必備，SPSS/SAS/R至少要熟練使用其中之一，其他分析工具（如Matlab）視情況而定。

   ③對於數據挖掘工程師……嗯，會用用Excel就行了，主要工作要靠寫代碼來解決呢。

3. 編程語言

   ①對於初級數據分析師，會寫SQL查詢，有需要的話寫寫Hadoop和Hive查詢，基本就OK了。

   ②對於高級數據分析師，除了SQL以外，學習Python是很有必要的，用來獲取和處理數據都是事半功倍。當然其他編程語言也是可以的。

   ③對於數據挖掘工程師，Hadoop得熟悉，Python/Java/C++至少得熟悉一門，Shell得會用……總之編程語言絕對是數據挖掘工程師的最核心能力了。

4. 業務理解

   業務理解說是數據分析師所有工作的基礎也不為過，數據的獲取方案、指標的選取、乃至最終結論的洞察，都依賴於數據分析師對業務本身的理解。

   ①對於初級數據分析師，主要工作是提取數據和做一些簡單圖表，以及少量的洞察結論，擁有對業務的基本了解就可以。

   ②對於高級數據分析師，需要對業務有較為深入的了解，能夠基於數據，提煉出有效觀點，對實際業務能有所幫助。

   ③對於數據挖掘工程師，對業務有基本了解就可以，重點還是需要放在發揮自己的技術能力上。

5. 邏輯思維

   ①對於初級數據分析師，邏輯思維主要體現在數據分析過程中每一步都有目的性，知道自己需要用什麼樣的手段，達到什麼樣的目標。

   ②對於高級數據分析師，邏輯思維主要體現在搭建完整有效的分析框架，了解分析對象之間的關聯關系，清楚每一個指標變化的前因後果，會給業務帶來的影響。

   ③對於數據挖掘工程師，邏輯思維除了體現在和業務相關的分析工作上，還包括演算法邏輯，程序邏輯等，所以對邏輯思維的要求也是最高的。

6. 數據可視化

   數據可視化說起來很高大上，其實包括的范圍很廣，做個PPT里邊沖皮放上數據圖表也可以算是數據可視化，所以我認為這是一項普遍需要的能力。

   ①對於初級數據分析師，能用Excel和PPT做出基本的圖表和報告，能清楚的展示數據，就達到目標了。

   ②對於高級數據分析師，需要探尋更好的數據可視化方法，使用更有效的數據可視化工具，根據實際需求做出或簡單或復雜，但適合受眾觀看的數據可視化內容。

   ③對於數據挖掘工程師，了解一些數據可視化工具是有必要的，也要根據需求做一些復雜的可視化圖表，但通常不需要考慮太多美化的問題。

7. 協調溝通

   ①對於初級數據分析師，了解業務、尋找數據、講解報告，都需要和不同部門的人打交道，因此溝通能力很重要。

   ②對於高級數據分析師，需要開始獨立帶項目散空差，或者和產品做一些合作，因此除了溝通能力以外，還需要一些項目協調能力。

   ③對於數據挖掘工程師，和人溝通技術方面內容偏多，業務方面相對少一些，對溝通協調的要求也相對低一些。

8. 快速學習

   無論做數據分析的哪個方向，初級還是高級，都需要有快速學習的能力，學業務邏輯、學行業知識、學技術工具、學分析框架……數據分析領域中有學不完的內容，需要大家有一顆時刻不忘學習的心。

㈥ 新手如何學習大數據

新手學習大數據可以通過自學或是培訓兩種方式。

想要自學那麼個人的學歷不能低於本科，若是計算機行業的話比較好。非本專業也可以，只要學歷夠，個人的邏輯思維能力以及個人的約束能力較好，就可以去網上找找免費的教程，選擇適合自己的自學試試看。

自學大數據路線圖👇👇

嘗試自學若覺得自己的約束能力一般，但是能學到進去也想盡快掌握技術，那可以考慮參加大數據培訓班，老師指導效率也會比較高。

無論是自學還是參加培訓班都需要自己付出較多的努力哦。