Ⅰ 統計數據整理的內容一般有
統計整理的內容通常包括: (1) 根據研究任務的要求,選擇應整理的指標,並根據分析的需要確定具體的分組; (2) 對統計資料進行匯總、計算; (3)通過統計表 描述匯總的結果。
內容和步驟
統計整理的內容通常包括:
(1) 根據研究任務的要求,選擇應整理的指標,並根據分析的需要確定具體的分組;
(2) 對統計資料進行匯總、計算;
(3)通過統計表描述匯總的結果。在統計整理中,抓住最基本的、最能說明問題本質特徵的統計分組和統計指標對統計資料進行加工整理,這是進行統計整理必須遵循的原則。
統計整理的步驟由內容來決定,大體分為以下幾個步驟:
設計整理方案
整理方案與調查方案應緊密銜接。整理方案中的指標體系與調查項目要一致,或者是其中的一部分,絕不能矛盾、脫節或超越調查項目的范圍。整理方案是否科學,對於統計整理乃至統計分析的質量都是至關重要的。
對調查資料進行審核、訂正
在匯總前 ,要對調查得來的原始資料進行審核 ,審核它們是否准確、及時、完整,發現問題,加以糾正。統計資料的審核也包括對整理後次級資料的審核。
進行科學的統計分組
用一定的組織形式和方法,對原始資料進行科學的分組,是統計整理的前提和基礎。
統計匯總
對分組後的資料,進行匯總和必要的計算,就使得反映總體單位特徵的資料轉化為反映總體數量特徵的資料。
編制統計表
統計表是統計資料整理的結果,也是表達統計資料的重要形式之一。根據研究的目的可編制各種統計表。
Ⅱ 分析數據時需要注意哪些問題
1、沒有明確分析數據的目的
當我們要分析一份數據時,首先要確定好自己的目的,為什麼要收集和分析這樣一份數據,而只有明確了目的之後,這樣才能夠了解自己接下來要收集哪些數據,應該怎麼收集數據,應該分析哪些數據等。
2、沒有合理安排時間
數據分析也要合理安排時間,一般我們有幾個步驟,收集數據>>整理數據>>分析數據>>美化表格,在做這些之前,我們要預估一下每一個步驟需要花多少時間,哪一步比較重要,需要花更多的時間等,這些都要在開始收集數據前就計劃好,然後在操作的過程中在規定的時間里完成每一個步驟。
3、重收集輕分析
培訓里有不少同學就犯了這樣的一個錯誤,做任務的時間為3個星期,卻用了兩個多星期來收集數據,最後基本沒有時間去分析,緊趕慢趕最後交上來一份沒有怎麼分析的數據。數據分析重點應該在於分析,應該以最快的速度收集完數據,才有更多的時間整理和分析,最後經過分析的數據才是最有價值的。
4、收集數據太多,導致無法整理及分析
在我們開始收集數據的時候,容易犯的一個毛病就是看到什麼內容比較符合的就都收集下來,這樣的情況是數據越來越多,表格里文檔里的內容越來越多,到最後一看,自己都暈了,該怎麼整理和分析啊!其實我們在收集數據的時候也要有一個標准,什麼樣的數據是我們需要的,什麼數據是不符合條件的,作一個初步的判斷,這樣就可以減少後面整理的更多工作量了。
關於分析數據時需要注意哪幾點,青藤小編今天就和您分享到這里了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。
以上是小編為大家分享的關於分析數據時需要注意哪些問題?的相關內容,更多信息可以關注環球青藤分享更多干貨
Ⅲ 數據分析中要注意的統計學問題
一、均值的計算
在處理數據時,經常會遇到對相同采樣或相同實驗條件下同一隨機變數的多個不同取值進行統計處理的問題。此時,往往我們會不假思索地直接給出算術平均值和標准差。顯然,這種做法是不嚴謹的。
這是因為作為描述隨機變數總體大小特徵的統計量有算術平均值、幾何平均值和中位數等多個。至於該採用哪種均值,不能根據主觀意願隨意確定,而要根據隨機變數的分布特徵確定。
反映隨機變數總體大小特徵的統計量是數學期望,而在隨機變數的分布服從正態分布時,其數學期望就是其算術平均值。此時,可用算術平均值描述隨機變數的大小特徵;如果所研究的隨機變數不服從正態分布,則算術平均值不能准確反映該變數的大小特徵。在這種情況下,可通過假設檢驗來判斷隨機變數是否服從對數正態分布。如果服從對數正態分布,則幾何平均值就是數學期望的值。此時,就可以計算變數的幾何平均值;如果隨機變數既不服從正態分布也不服從對數正態分布,則按現有的數理統計學知識,尚無合適的統計量描述該變數的大小特徵。此時,可用中位數來描述變數的大小特徵。
因此,我們不能在處理數據的時候一律採用算術平均值,而是要視數據的分布情況而定。
二、直線相關與回歸分析
這兩種分析,說明的問題是不同的,既相互又聯系。在做實際分析的時候,應先做變數的散點圖,確認由線性趨勢後再進行統計分析。一般先做相關分析,只有在相關分析有統計學意義的前提下,求回歸方程才有實際意義。一般來講,有這么兩個問題值得注意:
一定要把回歸和相關的概念搞清楚,要做回歸分析時,不需要報告相關系數;做相關分析的時候,不需要計算回歸方程。
相關分析中,只有對相關系數進行統計檢驗(如t檢驗),P<0.05時,才能一依據r值的大小來說明兩個變數的相關程度。必須注意的是,不能將相關系數的假設檢驗誤認為是相關程度的大小。舉個例子:當樣本數量很小,即使r值較大(如3對數據,r=0.9),也可能得出P>0.05這種無統計學意義的結論;而當樣本量很大,如500,即使r=0.1,也會有P<0.05的結果,但這種相關卻不具有實際意義。因此,要表明相關性,除了要寫出r值外,還應該註明假設檢驗的P值。
三、相關分析和回歸分析之間的區別
相關分析和回歸分析是極為常用的2種數理統計方法,在環境科學及其它研究領域有著廣泛的用途。然而,由於這2種數理統計方法在計算方面存在很多相似之處,因此在應用中我們很容易將二者混淆。
最常見的錯誤是,用回歸分析的結果解釋相關性問題。例如,將“回歸直線(曲線)圖”稱為“相關性圖”或“相關關系圖”;將回歸直線的R2(擬合度,或稱“可決系數”)錯誤地稱為“相關系數”或“相關系數的平方”;根據回歸分析的結果宣稱2個變數之間存在正的或負的相關關系。
相關分析與回歸分析均為研究2個或多個變數間關聯性的方法,但2種方法存在本質的差別。相關分析的目的在於檢驗兩個隨機變數的共變趨勢(即共同變化的程度),回歸分析的目的則在於試圖用自變數來預測因變數的值。
實際上在相關分析中,兩個變數必須都是隨機變數,如果其中的一個變數不是隨機變數,就不能進行相關分析。而回歸分析中,因變數肯定為隨機變數,而自變數則可以是普通變數(有確定的取值)也可以是隨機變數。
很顯然,當自變數為普通變數的時候,這個時候你根本不可能回答相關性的問題;當兩個變數均為隨機變數的時候,鑒於兩個隨機變數客觀上存在“相關性”問題,只是由於回歸分析方法本身不能提供針對自變數和因變數之間相關關系的准確的檢驗手段,因此這又回到了問題二中所講的,如果你要以預測為目的,就不要提相關系數;當你以探索兩者的“共變趨勢”為目的,就不要提回歸方程。
回歸分析中的R2在數學上恰好是Pearson積矩相關系數r的平方。因此我們不能錯誤地理解R2的含義,認為R2就是 “相關系數”或“相關系數的平方”。這是因為,對於自變數是普通變數的時候,2個變數之間的“相關性”概念根本不存在,又談什麼“相關系數”呢?
四、相關分析中的問題
相關分析中,我們很容易犯這么一個錯誤,那就是不考慮兩個隨機變數的分布,直接採用Pearson 積矩相關系數描述這2個隨機變數間的相關關系(此時描述的'是線性相關關系)。
關於相關系數,除有Pearson 積矩相關系數外,還有Spearman秩相關系數和Kendall秩相關系數等。其中,Pearson積矩相關系數可用於描述2個隨機變數的線性相關程度,Spearman或Kendall秩相關系數用來判斷兩個隨機變數在二維和多維空間中是否具有某種共變趨勢。
因此我們必須注意的是,Pearson 積矩相關系數的選擇是由前提的,那就是2個隨機變數均服從正態分布假設。如果數據不服從正態分布,則不能計算Pearson 積矩相關系數,這個時候,我們就因該選擇Spearman或Kendall秩相關系數。
五、t檢驗
用於比較均值的t檢驗可以分成三類:第一類是針對單組設計定量資料的;第二類是針對配對設計定量資料的;第三類則是針對成組設計定量資料的。後兩種設計類型的區別在於事先是否將兩組研究對象按照某一個或幾個方面的特徵相似配成對子。無論哪種類型的t檢驗,都必須在滿足特定的前提條件下應用才是合理的。
若是單組檢驗,必須給出一個標准值或總體均值,同時,提供一組定量的觀測結果,應用t檢驗的前提條件就是該組資料必須服從正態分布;若是配對設計,每對數據的差值必須服從正態分布;若是成組設計,個體之間相互獨立,兩組資料均取自正態分布的總體,並滿足方差齊性。之所以需要這些前提條件,是因為必須在這樣的前提下所計算出的t統計量才服從t分布。
t檢驗是目前在科學研究中使用頻率最高的一種假設檢驗方法。t檢驗方法簡單,其結果便於解釋。簡單、熟悉加上外界的要求,促成了t檢驗的流行。但是,由於我們對該方法理解得不全面,導致在應用過程中出現不少問題,有些甚至是非常嚴重的錯誤,直接影響到結論的可靠性。
常見錯誤:不考慮t檢驗的應用前提,對兩組的比較一律用t檢驗;將各種實驗設計類型一律視為多個單因素兩水平設計,多次用t檢驗進行均值之間的兩兩比較。以上兩種情況,均不同程度地增加了得出錯誤結論的風險。而且,在實驗因素的個數大於等於2時,無法研究實驗因素之間的交互作用的大小。
正確做法:當兩樣本均值比較時,如不滿足正態分布和方差齊性,應採用非參檢驗方法(如秩檢驗);兩組以上的均值比較,不能採用t檢驗進行均值之間的兩兩比較。
因此我們必須注意,在使用t檢驗的時候,一定要注意其前提以及研究目的,否則,會得出錯誤的結論。
六、常用統計分析軟體
國際上已開發出的專門用於統計分析的商業軟體很多,比較著名有SPSS(Statistical Package for SocialSciences)、SAS(Statistical AnalysisSystem)、BMDP和STATISTICA等。其中,SPSS是專門為社會科學領域的研究者設計的(但是,此軟體在自然科學領域也得到廣泛應用);BMDP是專門為生物學和醫學領域研究者編制的統計軟體。
當然,excel也能用於統計分析。單擊“工具”菜單中的“數據分析”命令可以瀏覽已有的分析工具。如果在“工具”菜單上沒有“數據分析”命令,應在“工具”菜單上運行“載入宏”命令,在“載入宏”對話框中選擇“分析工具庫”。
特別推薦一款國產軟體——DPS,其界面見附圖。其功能較為強大,除了擁有統計分析功能,如參數分析,非參分析等以外,還專門針對一些專業編寫了專業統計分析模塊,隨機前沿面模型、數據包絡分析(DEA)、顧客滿意指數模型(結構方程模型)、數學生態、生物測定、地理統計、遺傳育種、生存分析、水文頻率分析、量表分析、質量控制圖、ROC曲線分析等內容。有些不是統計分析的功能,如模糊數學方法、灰色系統方法、各種類型的線性規劃、非線性規劃、層次分析法、BP神經網路、徑向基函數(RBF)等,在DPS裡面也可以找到。