大數據統計基礎

A. 大數據分析應該掌握哪些基礎知識

大數據分析師應該要學的知識有，統計概率理論基礎，軟體操作結合分析模型進行實際運用，數據挖掘或者數據分析方向性選擇，數據分析業務應用。
1、統計概率理論基礎
這是重中之重，千里之台，起於壘土，最重要的就是最下面的那幾層。統計思維，統計方法，這里首先是市場調研數據的獲取與整理，然後是最簡單的描述性分析，其次是常用的推斷性分析，方差分析，到高級的相關，回歸等多元統計分析，掌握了這些原理，才能進行下一步。
2、軟體操作結合分析模型進行實際運用
關於數據分析主流軟體有（從上手度從易到難）：Excel，SPSS，Stata，R，SAS等。首先是學會怎樣操作這些軟體，然後是利用軟體從數據的清洗開始一步步進行處理，分析，最後輸出結果，檢驗及解讀數據。
3、數據挖掘或者數據分析方向性選擇
其實數據分析也包含數據挖掘，但在工作中做到後面會細分到分析方向和挖掘方向，兩者已有區別，關於數據挖掘也涉及到許多模型演算法，如：關聯法則、神經網路、決策樹、遺傳演算法、可視技術等。
4、數據分析業務應用
這一步也是最難學習的一步，行業有別，業務不同，業務的不同所運用的分析方法亦有區分，實際工作是解決業務問題，因此對業務的洞察能力非常重要。(1)大數據統計基礎擴展閱讀
分析工作內容
1、搜索引擎分析師(Search Engine Optimization Strategy Analyst，簡稱SEO分析師)是一項新興信息技術職業，主要關注搜索引擎動態，修建網站，拓展網路營銷渠道，網站內部優化，流量數據分析，策劃外鏈執行方案，負責競價推廣。
2、SEO分析師需要精通商業搜索引擎相關知識與市場運作。通過編程，HTML，CSS，javaScript，MicrosoftASP.NET，Perl，PHP，Python等建立網站進行各種以用戶體驗為主同時帶給公司盈利但可能失敗的項目嘗試。

B. 大數據與統計學的關系

大數據與統計學的關系：統計學是大數據的三大基礎學科之一，所以統計學與大數據之間的關系還是非常密切的，但是這也導致一部分人產生了一定的誤解，認為大數據就是統計學，統計學就是大數據。

實際上，雖然在大數據時代背景下，統計學的知識體系產生了一定程度的調整，但是統計學本身的理念與大數據還是具有一定區別的，統計學注重的是方式方法，而大數據則更關注於整個數據價值化的過程，大數據不僅需要統計學知識，還需要具備數學知識和計算機知識。從另一個角度來說，統計學為大數據進行數據價值化奠定了一定的基礎。

其實對於很多職場人來說，平時大部分的數據分析任務都是基於統計學理論進行的，包括採用的數據分析工具也都屬於統計學領域的范疇。

從未來的發展趨勢來看，一方面統計學會進一步向大數據傾斜，包括目前不少統計學專業的研究生課題，都逐漸開始向大數據方向拓展，另一方面大數據會在發展的初期大量採用統計學相關理論和技術，這也能夠提升大數據相關技術的落地應用能力。

C. 學習大數據需要掌握哪些基礎

學習大數據需要掌握以下基礎：
數據結構和演算法：學習大數據需要具備扎實的數據結構和演算法基礎，包括數組、鏈表、棧、隊列、樹、圖等數據結構，以及排序、查找、圖演算法等常用演算法。
資料庫和圓搏SQL：熟悉常用資料庫和SQL語言的使用，包括MySQL、Oracle、SQL Server等關系型資料庫，以及NoSQL資料庫（如MongoDB、Redis）的使用。
編程語言：需要掌握至少一門編程語言，如Java、Python、C++等。特別是Python語言在大數據領域的應用越來越廣泛。
linux操作系統和Shell腳本：大數據處理通常在分布式環境下進行，需要熟悉Linux操作系統的使用和Shell腳本的編寫，以便於在Linux環境下進行數據處理和分析。
統計學和機器學習：大數據分析離不開統計學和機器學習的基礎，需要掌握相關的理橘絕祥論知識和應用技能。
大數據技術和工具：掌握常用的大數據技術和工具，如Hadoop、Spark、Hive、Pig、Kafka、Flink等，了解它們的原理和使用方法。
數據可視化和報表分析：掌握數據可視化和報表分析的基礎知識和技能，能夠通過圖表和報表展示數據分析的結果，使得分析結果更加直觀、清晰。
總之，學習大數據需要掌握多方宏滾面的基礎知識和技能，這些基礎將為大數據的處理和分析提供堅實的基礎，並為日後的學習和發展奠定基礎。

D. 大數據分析應該掌握哪些基礎知識呢

前言，學大數據要先換電腦：

保證電腦4核8G內存64位操作系統，盡量有ssd做系統盤，否則卡到你喪失信心。硬碟越大越好。
1，語言要求

java剛入門的時候要求javase。

scala是學習spark要用的基本使用即可。

後期深入要求：
java NIO，netty，多線程，ClassLoader，jvm底層及調優等，rpc。
2，操作系統要求
linux 基本的shell腳本的使用。

crontab的使用，最多。

cpu，內存，網路，磁碟等瓶頸分析及狀態查看的工具。

scp，ssh，hosts的配置使用。

telnet，ping等網路排查命令的使用
3，sql基本使用
sql是基礎，hive，sparksql等都需要用到，況且大部分企業也還是以數據倉庫為中心，少不了sql。

sql統計，排序，join，group等，然後就是sql語句調優，表設計等。

4，大數據基本了解
Zookeeper，hadoop，hbase，hive，sqoop，flume，kafka，spark，storm等這些框架的作用及基本環境的搭建，要熟練，要會運維，瓶頸分析。

5，maprece及相關框架hive，sqoop
深入了解maprece的核心思想。尤其是shuffle，join，文件輸入格式，map數目，rece數目，調優等。
6，hive和hbase等倉庫
hive和hbase基本是大數據倉庫的標配。要回用，懂調優，故障排查。

hbase看浪尖hbase系列文章。hive後期更新。

7，消息隊列的使用
kafka基本概念，使用，瓶頸分析。看浪尖kafka系列文章。

8，實時處理系統
storm和spark Streaming

9，spark core和sparksql
spark用於離線分析的兩個重要功能。

10，最終方向決策
a),運維。（精通整套系統及故障排查，會寫運維腳本啥的。）

b),數據分析。（演算法精通）

c),平台開發。（源碼精通）

自學還是培訓？
無基礎的同學，培訓之前先搞到視頻通學一遍，防止盲目培訓跟不上講師節奏，浪費時間，精力，金錢。
有基礎的盡量搞點視頻學基礎，然後跟群里大牛交流，前提是人家願意，
想辦法跟大牛做朋友才是王道。

E. 學大數據需要具備什麼基礎

第一、計算機基礎知識。計算機基礎知識涉及到三大塊內容，包括操作系統、編程語言和計算機網路，其中操作系統要重點學習一下Linux操作系統，編程語言可以選擇Java或者Python。

如果要從事大數據開發，應該重點關注一下Java語言，而如果要從事大數據分析，可以重點關注一下Python語言。計算機網路知識對於大數據從業者來說也比較重要，要了解基本的網路通信過程，涉及到網路通信層次結構和安全的相關內容。

第二、資料庫知識。資料庫知識是學習大數據相關技術的重要基礎，大數據的技術體系有兩大基礎，一部分是分布式存儲，另一部分是分布式計算，所以存儲對於大數據技術體系有重要的意義。

初學者可以從Sql語言開始學起，掌握關系型資料庫知識對於學習大數據存儲依然有比較重要的意義。另外，在大數據時代，關系型資料庫依然有大量的應用場景。

第三、數學和統計學知識。從學科的角度來看，大數據涉及到三大學科基礎，分別是數學、統計學和計算機，所以數學和統計學知識對於大數據從業者還是比較重要的。

從大數據崗位的要求來看，大數據分析崗位（演算法）對於數學和統計學知識的要求程度比較高，大數據開發和大數據運維則稍微差一些，所以對於數學基礎比較薄弱的初學者來說，可以考慮向大數據開發和大數據運維方向發展。

大數據的價值體現在以下幾個方面：

（1）對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷；

（2）做小而美模式的中小微企業可以利用大數據做服務轉型；

（3）面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。

F. # 大數據的統計學基礎

概率論是統計學的基礎，統計學沖鋒在應用第一線，概率論提供武器。

我們在學習R的時候，會做過假設檢驗。做假設檢驗的時候會有一個基本的技術就是構造出統計量，這些統計量要滿足一定的概率密度分布，然後我算這個統計量的值，來判定它在這個密度分布裡面，分布在哪個區域，出現在這個區域內的可能性有多高，如果可能性太低，我們就判定我們的假設檢驗是不成立的。 那麼如何構造這個統計量，這是一個很有技術的東西，同時也是由數學家來完成的，那這個工作就是概率論所作的事情。

古典概率論： 扔硬幣，正面1/2反面1/2，扔的次數之間是相互獨立的。 但是這個等概率事件確實是一個不是很嚴謹的事情。仔細想一想其實是很有趣的。 柯爾莫哥洛夫創建現代概率論 他將概率論提出了許多公理，因此將概率論變成了非常嚴謹的一門學科。

學會和運用概率，會使人變得聰明，決策更准確。

統計學 ： 統計學可以分為：描述統計學與推斷統計學 描述統計學 ：使用特定的數字或者圖表來體現數據的集中程度和離散程度。比如：每次考試算的平均分，最高分，各個分數段的人數分布等，也是屬於描述統計學的范圍。 推斷統計學 ：根據樣本數據推斷總體數據特徵。比如：產品質量檢查，一般採用抽樣檢測，根據所抽樣本的質量合格率作為總體的質量合格率的一個估計。 統計學的應用十分廣泛，可以說，只要有數據，就有統計學的用武之地。目前比較熱門的應用：經濟學，醫學，心理學，IT行業大數據方面等。

例如：對於 1 2 3 4 5 這組數據，你會使用哪個數字作為代表呢？ 答案是3。 因為3是這組數據的中心。 對於一組數據，如果只容許使用一個數字去代表這組數據，那麼這個數字應該如何選擇？？？-----選擇數據的中心，即反映數據集中趨勢的統計量。 集中趨勢：在統計學裡面的意思是任意種數據向 中心值靠攏 的程度。它可以反映出數據中心點所在的位置。 我們經常用到的能夠反映出集中趨勢的統計量： 均值：算數平均數，描述 平均水平 。 中位數：將數據按大小排列後位於正中間的數描述，描述 中等水平 。 眾數：數據種出現最多的數，描述 一般水平 。

均值：算數平均數 例如：某次數學考試種，小組A與小組B的成員成績分別如下： A：70，85，62，98，92 B：82，87，95，80，83 分別求出兩組的平均數，並比較兩組的成績。

組B的平均分比組A的高，就是組B的總體成績比組A高。

中位數：將數據按大小順序（從大到小或者從小到大）排列後處於 中間位置 的數。 例如：58，32，46，92，73，88，23 1.先排序：23，32，46，58，73，88，92 2.找出中間位置的數23，32，46， 58 ，73，88，92 如果數據中是偶數個數，那麼結果會發生什麼改變？ 例如：58，32，46，92，73，88，23，63 1.先排序：23，32，46，58，63，73，88，92 2.找出處於中間位置的數：23，32，46， 58 ， 63 ，73，88，92 3.若處於中間位置的數據有兩個（也就是數據的總個數為偶數時），中位數為中間兩個數的算數平均數：（58+63）/2=60.5 在原數據中，四個數字比60.5小，四個數字比60.5大。

眾數：數據中出現次數最多的數（所佔比例最大的數） 一組數據中，可能會存在多個眾數，也可能不存在眾數。 1 2 2 3 3 中，眾數是2 和 3 1 2 3 4 5 中，沒有眾數 1 1 2 2 3 3 4 4 中，也沒有眾數 只要出現的頻率是一樣的，那麼就不存在眾數 眾數不僅適用於數值型數據，對於非數值型數據也同樣適合 {蘋果，蘋果，香蕉，橙子，橙子，橙子，橙子，桃子}這一組數據，沒有什麼均值中位數科研，但是存在眾數---橙子。 但是在R語言裡面沒有直接計算眾數的內置函數，不過可以通過統計數據出現的頻率變相的去求眾數。

下面比較一下均值，中位數，眾數三個統計量有什麼優點和缺點 [圖片上傳失敗...(image-57f18-1586015539906)]

例子： 兩個公司的員工及薪資構成如下： A：經理1名，月薪100000；高級員工15名，月薪10000；普通員工20名，月薪7500 B：經理1名，月薪20000；高級員工20名，月薪11000；普通員工15名，月薪9000 請比較兩家公司的薪資水平。若只考慮薪資，你會選擇哪一家公司？

A 7500 B 11000

A 7500 B 11000</pre>

若從均值的角度考慮，明顯地A公司的平均月薪比B公司的高，但是A公司存在一個極端值，大大地拉高了A公司的均值，這時只從均值考慮明顯不太科學。從中位數和眾數來看，B公司的薪資水平比較高，若是一般員工，選擇B公司顯得更加合理。

比較下面兩組數據： A： 1 2 5 8 9 B： 3 4 5 6 7 兩組數據的均值都是5，但是你可以看出B組的數據與5更加接近。但是有描述集中趨勢的統計量不夠，需要有描述數據的離散程度的統計量。

極差 ：最大值 - 最小值，簡單地描述數據的范圍大小。 A： 9 - 1 = 8 B： 7 - 3 = 4 同樣的5個數，A的極差比B的極差要大，所以也比B的要分散 但是只用極差這個衡量離散程度也存在不足 比如： A： 1 2 5 8 9 B： 1 4 5 6 9 兩組數據雖然極差都是相同的，但是B組數據整體分布上更加靠近5。

方差 ：在統計學上，更常地是使用方差來描述數據的 離散程度 ：數據離中心越遠，越離散。 方差越大，就代表這組數據越離散。

對於前面的數據 1 2 5 8 9，前面求的一組數據的方差是12.5。 將12.5於原始數據進行比較，可以看出12.5比原數據都大，這是否就能說明這一組數據十分離散呢？ 其實方差與元數據的單位是不一樣的，這樣比較也是毫無意義的。如果原始數據的單位是m的話，那麼方差的單位就是m^2 為了保持單位的一致性，我們引入一個新的統計量：標准差 標准差：sqrt(var())， 有效地避免了因為單位的平方而引起的度量問題。 與方差一樣，標准差的值越大，表示數據越分散。 A： 1 2 5 8 9 B： 3 4 5 6 7

某班40個學生某次數學檢測的成績如下：

63，84，91，53，69，81，61，69，78，75，81，67，76，81，79，94，61，69，89，70，70，87，81，86，90，88，85，67，71，82，87，75，87，95，53，65，74，77 對於這一組數字，你能看出什麼呢？ 或許先算一算平均值，中位數，或者眾數

或許算一算這組數據的方差或者標准差

但是即便是統計了上述的數據，我們還是對全班同學的分數分布，沒有一個全面的了解。 原始數據太雜亂無章，難以看出規律性，只依賴數字來描述集中趨勢與離散程度讓人難以對數據產生直觀地印象，這是我們就需要用到圖標來展示這些數字。

1.找出上面數據中的最大值和最小是，確定數據的范圍。

將成績排序後很容易得到最大值是95，最小值是53

2.整理數據，將數據按照成績分為幾個組。成績按照一般50-60，60-70，70-80，80-90，90-100這幾個分段來劃分(一般都分為5-10組)，然後統計這幾個分段內部的頻數。 可以看到80-90這個分段的人數是最多的。 注意在繪制直方圖的時候，一定要知道是左閉右開還是左開右閉。 因為這個可能會直接影響到頻數的統計。

上圖就是：頻數直方圖。頻數作為縱坐標，成績作為橫坐標。通過直方圖我們可以對成績有一個非常直觀的印象。 除了頻數直方圖，還有一種直方圖：頻率直方圖。與頻數直方圖相比，頻率直方圖的縱坐標有所改變，使用了頻率/組距。 頻率=頻數/總數；組距就是分組的極差，這里的組距是10.

除了直方圖外，畫一個簡單的箱線圖也可以大致看出數據的分布。

​
想要看懂箱線圖，必須要學習一些箱線圖專業的名詞： 下四分位數：Q1，將所有的數據按照從小到大的順序排序，排在第25%位置的數字。 上四分位數：Q3，將所有的數據按照從小到大的順序排序，排在第75%位置的數字。 四分距：IQR，等於Q3-Q1，衡量數據離散程度的一個統計量。 異常點：小於Q1-1.5IQR或者大於Q3+1.5IQR的值。 （注意是1.5倍的IQR） 上邊緣：除異常點以外的數據中的最大值 下邊緣：除異常點以外的數據種的最小值

​

莖葉圖可以在保留全部數據信息的情況下，直觀地顯示出數據的分布情況。 左邊是莖，右邊是葉。 若將莖葉圖旋轉90度，則可以得到一個類似於直方圖的圖。跟直方圖一樣，也可以直觀地知道數據的分布情況。 並且可以保留所有的數據信息。 莖葉圖的畫法也非常的簡單： 將數據分為莖和葉兩部分，這里的莖是指十位上的數字，葉是指給上的數字。 將莖部份（十位）從小到大，從上到下寫出來 相對於各自的莖，將同一莖（十位）從小到大，從左往右寫出來。

但是莖葉圖也有缺陷，因為百位和十位同時畫在莖葉圖的時候，容易區分不開。同時也可能出現卻葉的情況。

以時間作為橫坐標，變數作為縱坐標，反映變數隨時間推移的變化趨勢。

顯示一段時間內的數據變化或者顯示各項之間的比較情況。

根據各項所佔百分比決定在餅圖中扇形的面積。簡單易懂，通俗明了。可以更加形象地看出各個項目所佔的比例大小。 適當的運用一些統計圖表，可以更生動形象的說明，不再只是純數字的枯燥描述。

學習鏈接： https://www.bilibili.com/video/BV1Ut411r7RG

G. 大數據分析的基礎是什麼

1、可視化分析

大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。

2、數據挖掘演算法

大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法(可以稱之為真理)才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。

3、預測性分析能力

大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。

4、語義引擎

大數據分析廣泛應用於網路數據挖掘，可從用戶的搜索關鍵詞、標簽關鍵詞、或其他輸入語義，分析，判斷用戶需求，從而實現更好的用戶體驗和廣告匹配。

5、數據質量和數據管理

大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。 大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。