兩組數據如何判斷異常數據

㈠ 如何判定溫度列數據中的缺失值和異常值

可以通過數據清洗與整理來判斷，具體方法如下：
數據清洗：當發現數據中的缺失與異常值時進行數據處理。
第一步：檢查原表——先檢查原表是否是同樣的數據
第二步：確認問題——檢查此數據是如何收集而來，和業務團隊確認
第三步：數據清洗——從技術角度評估該數據是否缺失/異常，以及如何進行處理
1、遇到數據缺失時，可以依次思考以下問題：缺失的信息來自於哪個數據表？在原表中它們也是缺失的嗎？如果在原表也缺失，那麼是否是有收集信息的疏漏？
當判定該數據為缺失值時，往往會通過python等工具進行缺失值填充
數據整理：為了能夠進一步進行數據分析，將進行數據整理環節。
1、對數據進行統一的格式化和命名規則處理
2、對某些信息進行重新編碼以滿足後續分析需求。

㈡ 如何檢測業務數據中的異常

在回彈法檢測砼強度中，按批抽樣檢測的測區數量往往很多，這就不可避免出現較多的檢測異常值，怎樣判斷和處理這些異常值，對於提高檢測結果的准確性意義重大。格拉布斯檢驗法是土木工程中常用的一種檢驗異常值的方法，其應用於回彈法檢測砼強度，能有效提高按批抽樣檢測結果的准確性。

㈢ 怎麼用excel檢驗兩組數據是否存在顯著差異

實現的方法和詳細的操作步驟如下：

1、首先，打開excel以輸入數據，例如A組和B組數據之間的比較，如下圖所示，然後進入下一步。

㈣ 怎麼對統計數據的異常值進行判斷和處理

異常值也稱離群值，具體地說，判斷標准依據實際情況，根據業務知識及實際需要而定。

上界=75%分位數+（75%分位數-25%分位數）*1.5

下界=25%分位數- （75%分位數-25%分位數）*1.5

比上界大的和比下界小的都是異常值。

(4)兩組數據如何判斷異常數據擴展閱讀：

取檢出水平α為5%，剔除水平α』為1%，按雙側情形檢驗，從附表中查得檢出水平α對應格拉布斯檢驗臨界值G0.975,剔除水平α』對應格拉布斯檢驗臨界值G0.995。

若Gn>Gn』，且Gn>G0.975，則判斷fn為異常值，否則，判斷無異常值；

若Gn>Gn』，且Gn>G0.995，則判斷fn為高度異常值，可考慮剔除；

若Gn』>Gn，且Gn』>G0.975，則判斷f1為異常值，否則，判斷無異常值；

若Gn』>Gn，且Gn』>G0.995，則判斷f1為高度異常值，可考慮剔除；

㈤ 如何檢驗兩組數據是否具有顯著性差異

1， 首先，分別把這兩組數據分別設為x和y，打開SPSS，點擊左下角的Variable View選項卡，在Name列那裡的第一行輸y，第二行輸x，返回Data View選項卡，輸入對應的數據。

3， 舉個例子，如果你預先設定的a=0.05，求得的sig=0.000，則0.000<0.05，故應拒絕原假設（原假設一般為設它們之間無差異），認為這兩組數有顯著性差異。

(5)兩組數據如何判斷異常數據擴展閱讀：

1， 當數據之間具有了顯著性差異，就說明參與比對的數據不是來自於同一總體（Population），而是來自於具有差異的兩個不同總體，這種差異可能因參與比對的數據是來自不同實驗對象的，比如一些一般能力測驗中，大學學歷被試組的成績與小學學歷被試組會有顯著性差異。也可能來自於實驗處理對實驗對象造成了根本性狀改變，因而前測後測的數據會有顯著性差異。

2， 比較方法：如果數據是連續性數據，且兩組數據分別服從正態分布&方差齊（方差齊性檢驗），則可以採用t檢驗，如果不服從以上條件可以採用秩和檢驗。

3， 想知道兩組數據是否有明顯差異？不知道這個明顯差異是什麼意思？是問差別有無統計學意義（即差別的概率有多大）還是兩總體均數差值在哪個范圍波動？如果是前者則可以用第2步可以得到P值，如果是後者，則是用均數差值的置信區間來完成的。當然兩者的結果在SPSS中均可以得到。

4， 在統計學中，差異顯著性檢驗是「統計假設檢驗」（Statistical hypothesis testing）的一種，用於檢測科學實驗中實驗組與對照組之間是否有差異以及差異是否顯著的辦法[1]。

5， 在實驗進行過程中，盡管盡量排除隨機誤差的影響，以突出實驗的處理效果，但由於個體間無法避免的差異，以及諸多無法控制的因素，使得實驗結果最後表現的觀察值處理處理效應之外，還包括實驗誤差的效應。因此對兩個樣本進行比較時，必須判斷樣本間差異主要是隨機誤差造成的，還是本質不同或處理效應引起的。

㈥ 如何判別測量數據中是否有異常值

一般異常值的檢測方法有基於統計的方法，基於聚類的方法，以及一些專門檢測異常值的方法等，下面對這些方法進行相關的介紹。

1. 簡單統計

如果使用pandas，我們可以直接使用describe()來觀察數據的統計性描述（只是粗略的觀察一些統計量），不過統計數據為連續型的，如下：

df.describe()紅色箭頭所指就是異常值。

以上是常用到的判斷異常值的簡單方法。下面來介紹一些較為復雜的檢測異常值演算法，由於涉及內容較多，僅介紹核心思想，感興趣的朋友可自行深入研究。

4. 基於模型檢測

這種方法一般會構建一個概率分布模型，並計算對象符合該模型的概率，把具有低概率的對象視為異常點。如果模型是簇的集合，則異常是不顯著屬於任何簇的對象；如果模型是回歸時，異常是相對遠離預測值的對象。

離群點的概率定義：離群點是一個對象，關於數據的概率分布模型，它具有低概率。這種情況的前提是必須知道數據集服從什麼分布，如果估計錯誤就造成了重尾分布。

比如特徵工程中的RobustScaler方法，在做數據特徵值縮放的時候，它會利用數據特徵的分位數分布，將數據根據分位數劃分為多段，只取中間段來做縮放，比如只取25%分位數到75%分位數的數據做縮放。這樣減小了異常數據的影響。

優缺點：（1）有堅實的統計學理論基礎，當存在充分的數據和所用的檢驗類型的知識時，這些檢驗可能非常有效；（2）對於多元數據，可用的選擇少一些，並且對於高維數據，這些檢測可能性很差。

5. 基於近鄰度的離群點檢測

統計方法是利用數據的分布來觀察異常值，一些方法甚至需要一些分布條件，而在實際中數據的分布很難達到一些假設條件，在使用上有一定的局限性。

確定數據集的有意義的鄰近性度量比確定它的統計分布更容易。這種方法比統計學方法更一般、更容易使用，因為一個對象的離群點得分由到它的k-最近鄰（KNN）的距離給定。

需要注意的是：離群點得分對k的取值高度敏感。如果k太小，則少量的鄰近離群點可能導致較低的離群點得分；如果K太大，則點數少於k的簇中所有的對象可能都成了離群點。為了使該方案對於k的選取更具有魯棒性，可以使用k個最近鄰的平均距離。

優缺點：（1）簡單；（2）缺點：基於鄰近度的方法需要O(m2)時間，大數據集不適用；（3）該方法對參數的選擇也是敏感的；（4）不能處理具有不同密度區域的數據集，因為它使用全局閾值，不能考慮這種密度的變化。

5. 基於密度的離群點檢測

從基於密度的觀點來說，離群點是在低密度區域中的對象。基於密度的離群點檢測與基於鄰近度的離群點檢測密切相關，因為密度通常用鄰近度定義。一種常用的定義密度的方法是，定義密度為到k個最近鄰的平均距離的倒數。如果該距離小，則密度高，反之亦然。另一種密度定義是使用DBSCAN聚類演算法使用的密度定義，即一個對象周圍的密度等於該對象指定距離d內對象的個數。

優缺點：（1）給出了對象是離群點的定量度量，並且即使數據具有不同的區域也能夠很好的處理；（2）與基於距離的方法一樣，這些方法必然具有O(m2)的時間復雜度。對於低維數據使用特定的數據結構可以達到O(mlogm)；（3）參數選擇是困難的。雖然LOF演算法通過觀察不同的k值，然後取得最大離群點得分來處理該問題，但是，仍然需要選擇這些值的上下界。

6. 基於聚類的方法來做異常點檢測

基於聚類的離群點：一個對象是基於聚類的離群點，如果該對象不強屬於任何簇，那麼該對象屬於離群點。

離群點對初始聚類的影響：如果通過聚類檢測離群點，則由於離群點影響聚類，存在一個問題：結構是否有效。這也是k-means演算法的缺點，對離群點敏感。為了處理該問題，可以使用如下方法：對象聚類，刪除離群點，對象再次聚類（這個不能保證產生最優結果）。

優缺點：（1）基於線性和接近線性復雜度（k均值）的聚類技術來發現離群點可能是高度有效的；（2）簇的定義通常是離群點的補，因此可能同時發現簇和離群點；（3）產生的離群點集和它們的得分可能非常依賴所用的簇的個數和數據中離群點的存在性；（4）聚類演算法產生的簇的質量對該演算法產生的離群點的質量影響非常大。

7. 專門的離群點檢測

其實以上說到聚類方法的本意是是無監督分類，並不是為了尋找離群點的，只是恰好它的功能可以實現離群點的檢測，算是一個衍生的功能。