两组数据如何判断异常数据

㈠ 如何判定温度列数据中的缺失值和异常值

可以通过数据清洗与整理来判断，具体方法如下：
数据清洗：当发现数据中的缺失与异常值时进行数据处理。
第一步：检查原表——先检查原表是否是同样的数据
第二步：确认问题——检查此数据是如何收集而来，和业务团队确认
第三步：数据清洗——从技术角度评估该数据是否缺失/异常，以及如何进行处理
1、遇到数据缺失时，可以依次思考以下问题：缺失的信息来自于哪个数据表？在原表中它们也是缺失的吗？如果在原表也缺失，那么是否是有收集信息的疏漏？
当判定该数据为缺失值时，往往会通过python等工具进行缺失值填充
数据整理：为了能够进一步进行数据分析，将进行数据整理环节。
1、对数据进行统一的格式化和命名规则处理
2、对某些信息进行重新编码以满足后续分析需求。

㈡ 如何检测业务数据中的异常

在回弹法检测砼强度中，按批抽样检测的测区数量往往很多，这就不可避免出现较多的检测异常值，怎样判断和处理这些异常值，对于提高检测结果的准确性意义重大。格拉布斯检验法是土木工程中常用的一种检验异常值的方法，其应用于回弹法检测砼强度，能有效提高按批抽样检测结果的准确性。

㈢ 怎么用excel检验两组数据是否存在显着差异

实现的方法和详细的操作步骤如下：

1、首先，打开excel以输入数据，例如A组和B组数据之间的比较，如下图所示，然后进入下一步。

㈣ 怎么对统计数据的异常值进行判断和处理

异常值也称离群值，具体地说，判断标准依据实际情况，根据业务知识及实际需要而定。

上界=75%分位数+（75%分位数-25%分位数）*1.5

下界=25%分位数- （75%分位数-25%分位数）*1.5

比上界大的和比下界小的都是异常值。

(4)两组数据如何判断异常数据扩展阅读：

取检出水平α为5%，剔除水平α’为1%，按双侧情形检验，从附表中查得检出水平α对应格拉布斯检验临界值G0.975,剔除水平α’对应格拉布斯检验临界值G0.995。

若Gn>Gn’，且Gn>G0.975，则判断fn为异常值，否则，判断无异常值；

若Gn>Gn’，且Gn>G0.995，则判断fn为高度异常值，可考虑剔除；

若Gn’>Gn，且Gn’>G0.975，则判断f1为异常值，否则，判断无异常值；

若Gn’>Gn，且Gn’>G0.995，则判断f1为高度异常值，可考虑剔除；

㈤ 如何检验两组数据是否具有显著性差异

1， 首先，分别把这两组数据分别设为x和y，打开SPSS，点击左下角的Variable View选项卡，在Name列那里的第一行输y，第二行输x，返回Data View选项卡，输入对应的数据。

3， 举个例子，如果你预先设定的a=0.05，求得的sig=0.000，则0.000<0.05，故应拒绝原假设（原假设一般为设它们之间无差异），认为这两组数有显著性差异。

(5)两组数据如何判断异常数据扩展阅读：

1， 当数据之间具有了显著性差异，就说明参与比对的数据不是来自于同一总体（Population），而是来自于具有差异的两个不同总体，这种差异可能因参与比对的数据是来自不同实验对象的，比如一些一般能力测验中，大学学历被试组的成绩与小学学历被试组会有显著性差异。也可能来自于实验处理对实验对象造成了根本性状改变，因而前测后测的数据会有显著性差异。

2， 比较方法：如果数据是连续性数据，且两组数据分别服从正态分布&方差齐（方差齐性检验），则可以采用t检验，如果不服从以上条件可以采用秩和检验。

3， 想知道两组数据是否有明显差异？不知道这个明显差异是什么意思？是问差别有无统计学意义（即差别的概率有多大）还是两总体均数差值在哪个范围波动？如果是前者则可以用第2步可以得到P值，如果是后者，则是用均数差值的置信区间来完成的。当然两者的结果在SPSS中均可以得到。

4， 在统计学中，差异显著性检验是“统计假设检验”（Statistical hypothesis testing）的一种，用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法[1]。

5， 在实验进行过程中，尽管尽量排除随机误差的影响，以突出实验的处理效果，但由于个体间无法避免的差异，以及诸多无法控制的因素，使得实验结果最后表现的观察值处理处理效应之外，还包括实验误差的效应。因此对两个样本进行比较时，必须判断样本间差异主要是随机误差造成的，还是本质不同或处理效应引起的。

㈥ 如何判别测量数据中是否有异常值

一般异常值的检测方法有基于统计的方法，基于聚类的方法，以及一些专门检测异常值的方法等，下面对这些方法进行相关的介绍。

1. 简单统计

如果使用pandas，我们可以直接使用describe()来观察数据的统计性描述（只是粗略的观察一些统计量），不过统计数据为连续型的，如下：

df.describe()红色箭头所指就是异常值。

以上是常用到的判断异常值的简单方法。下面来介绍一些较为复杂的检测异常值算法，由于涉及内容较多，仅介绍核心思想，感兴趣的朋友可自行深入研究。

4. 基于模型检测

这种方法一般会构建一个概率分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为异常点。如果模型是簇的集合，则异常是不显著属于任何簇的对象；如果模型是回归时，异常是相对远离预测值的对象。

离群点的概率定义：离群点是一个对象，关于数据的概率分布模型，它具有低概率。这种情况的前提是必须知道数据集服从什么分布，如果估计错误就造成了重尾分布。

比如特征工程中的RobustScaler方法，在做数据特征值缩放的时候，它会利用数据特征的分位数分布，将数据根据分位数划分为多段，只取中间段来做缩放，比如只取25%分位数到75%分位数的数据做缩放。这样减小了异常数据的影响。

优缺点：（1）有坚实的统计学理论基础，当存在充分的数据和所用的检验类型的知识时，这些检验可能非常有效；（2）对于多元数据，可用的选择少一些，并且对于高维数据，这些检测可能性很差。

5. 基于近邻度的离群点检测

统计方法是利用数据的分布来观察异常值，一些方法甚至需要一些分布条件，而在实际中数据的分布很难达到一些假设条件，在使用上有一定的局限性。

确定数据集的有意义的邻近性度量比确定它的统计分布更容易。这种方法比统计学方法更一般、更容易使用，因为一个对象的离群点得分由到它的k-最近邻（KNN）的距离给定。

需要注意的是：离群点得分对k的取值高度敏感。如果k太小，则少量的邻近离群点可能导致较低的离群点得分；如果K太大，则点数少于k的簇中所有的对象可能都成了离群点。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。

优缺点：（1）简单；（2）缺点：基于邻近度的方法需要O(m2)时间，大数据集不适用；（3）该方法对参数的选择也是敏感的；（4）不能处理具有不同密度区域的数据集，因为它使用全局阈值，不能考虑这种密度的变化。

5. 基于密度的离群点检测

从基于密度的观点来说，离群点是在低密度区域中的对象。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。

优缺点：（1）给出了对象是离群点的定量度量，并且即使数据具有不同的区域也能够很好的处理；（2）与基于距离的方法一样，这些方法必然具有O(m2)的时间复杂度。对于低维数据使用特定的数据结构可以达到O(mlogm)；（3）参数选择是困难的。虽然LOF算法通过观察不同的k值，然后取得最大离群点得分来处理该问题，但是，仍然需要选择这些值的上下界。

6. 基于聚类的方法来做异常点检测

基于聚类的离群点：一个对象是基于聚类的离群点，如果该对象不强属于任何簇，那么该对象属于离群点。

离群点对初始聚类的影响：如果通过聚类检测离群点，则由于离群点影响聚类，存在一个问题：结构是否有效。这也是k-means算法的缺点，对离群点敏感。为了处理该问题，可以使用如下方法：对象聚类，删除离群点，对象再次聚类（这个不能保证产生最优结果）。

优缺点：（1）基于线性和接近线性复杂度（k均值）的聚类技术来发现离群点可能是高度有效的；（2）簇的定义通常是离群点的补，因此可能同时发现簇和离群点；（3）产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性；（4）聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。

7. 专门的离群点检测

其实以上说到聚类方法的本意是是无监督分类，并不是为了寻找离群点的，只是恰好它的功能可以实现离群点的检测，算是一个衍生的功能。