❶ 描述统计学之数量指标
在大数据的海洋中，统计学犹如导航灯，引领我们揭示数据的深度和秘密。描述性统计学是它的基础，通过平均值（平均数）、中位数和四分位数，我们得以简化纷繁数据，揭示关键的洞察。平均值虽然直观，但易受异常值的干扰，而中位数和四分位数则更为稳健。它们如同数据的分水岭，四分位数通过箱线图清晰地划分数据分布，帮助我们一眼识破异常现象。餐厅老板借助四分位数理解客户位置，薪酬比较中，箱线图揭示了城市差异和工作经验对薪资分布的影响。Tukey's test这一统计利器，更是精准地揭示异常值的存在，确保我们对数据的理解准确无误。
异常值的检测有三种策略：一是修正数值错误，二是果断剔除异常记录，三是保留真实但异常的数据，但需确保其在统计分析中的合理性。
对于运动员的表现，标准差是衡量稳定性的关键工具。计算方式是方差的平方根，它揭示了得分的波动程度。得分越稳定，标准差越小。在评估球员时，标准差的重要性取决于研究目标，比如在生产零件时，低的标准差意味着质量更可靠，而在薪酬研究中，可能需要更大的标准差以反映工资差异的广泛性。
标准分则用于数据的相对排序，它揭示数值与平均值的亲疏关系，是评估相对位置的有力手段。在质量管理中，标准分被用来检测产品的次品率，帮助我们把握产品质量的控制点。
标准差在衡量缺陷率上同样起着决定性作用。一个标准差意味着每万件产品中大约有69万个不合格，而三个标准差对应百万件产品中大约只有6.7万个缺陷，当达到六个标准差时，几乎可以视为无误。这就是统计学的力量，它将看似复杂的数量指标转化为易于理解的现实解读。
❷ # 大数据的统计学基础
概率论是统计学的基础，统计学冲锋在应用第一线，概率论提供武器。
我们在学习R的时候，会做过假设检验。做假设检验的时候会有一个基本的技术就是构造出统计量，这些统计量要满足一定的概率密度分布，然后我算这个统计量的值，来判定它在这个密度分布里面，分布在哪个区域，出现在这个区域内的可能性有多高，如果可能性太低，我们就判定我们的假设检验是不成立的。 那么如何构造这个统计量，这是一个很有技术的东西，同时也是由数学家来完成的，那这个工作就是概率论所作的事情。
古典概率论： 扔硬币，正面1/2反面1/2，扔的次数之间是相互独立的。 但是这个等概率事件确实是一个不是很严谨的事情。仔细想一想其实是很有趣的。 柯尔莫哥洛夫创建现代概率论 他将概率论提出了许多公理，因此将概率论变成了非常严谨的一门学科。
学会和运用概率，会使人变得聪明，决策更准确。
统计学 ： 统计学可以分为：描述统计学与推断统计学 描述统计学 ：使用特定的数字或者图表来体现数据的集中程度和离散程度。比如：每次考试算的平均分，最高分，各个分数段的人数分布等，也是属于描述统计学的范围。 推断统计学 ：根据样本数据推断总体数据特征。比如：产品质量检查，一般采用抽样检测，根据所抽样本的质量合格率作为总体的质量合格率的一个估计。 统计学的应用十分广泛，可以说，只要有数据，就有统计学的用武之地。目前比较热门的应用：经济学，医学，心理学，IT行业大数据方面等。
例如：对于 1 2 3 4 5 这组数据，你会使用哪个数字作为代表呢？ 答案是3。 因为3是这组数据的中心。 对于一组数据，如果只容许使用一个数字去代表这组数据，那么这个数字应该如何选择？？？-----选择数据的中心，即反映数据集中趋势的统计量。 集中趋势：在统计学里面的意思是任意种数据向 中心值靠拢 的程度。它可以反映出数据中心点所在的位置。 我们经常用到的能够反映出集中趋势的统计量： 均值：算数平均数，描述 平均水平 。 中位数：将数据按大小排列后位于正中间的数描述，描述 中等水平 。 众数：数据种出现最多的数，描述 一般水平 。
均值：算数平均数 例如：某次数学考试种，小组A与小组B的成员成绩分别如下： A：70，85，62，98，92 B：82，87，95，80，83 分别求出两组的平均数，并比较两组的成绩。
组B的平均分比组A的高，就是组B的总体成绩比组A高。
中位数：将数据按大小顺序（从大到小或者从小到大）排列后处于 中间位置 的数。 例如：58，32，46，92，73，88，23 1.先排序：23，32，46，58，73，88，92 2.找出中间位置的数23，32，46， 58 ，73，88，92 如果数据中是偶数个数，那么结果会发生什么改变？ 例如：58，32，46，92，73，88，23，63 1.先排序：23，32，46，58，63，73，88，92 2.找出处于中间位置的数：23，32，46， 58 ， 63 ，73，88，92 3.若处于中间位置的数据有两个（也就是数据的总个数为偶数时），中位数为中间两个数的算数平均数：（58+63）/2=60.5 在原数据中，四个数字比60.5小，四个数字比60.5大。
众数：数据中出现次数最多的数（所占比例最大的数） 一组数据中，可能会存在多个众数，也可能不存在众数。 1 2 2 3 3 中，众数是2 和 3 1 2 3 4 5 中，没有众数 1 1 2 2 3 3 4 4 中，也没有众数 只要出现的频率是一样的，那么就不存在众数 众数不仅适用于数值型数据，对于非数值型数据也同样适合 {苹果，苹果，香蕉，橙子，橙子，橙子，橙子，桃子}这一组数据，没有什么均值中位数科研，但是存在众数---橙子。 但是在R语言里面没有直接计算众数的内置函数，不过可以通过统计数据出现的频率变相的去求众数。
下面比较一下均值，中位数，众数三个统计量有什么优点和缺点 [图片上传失败...(image-57f18-1586015539906)]
例子： 两个公司的员工及薪资构成如下： A：经理1名，月薪100000；高级员工15名，月薪10000；普通员工20名，月薪7500 B：经理1名，月薪20000；高级员工20名，月薪11000；普通员工15名，月薪9000 请比较两家公司的薪资水平。若只考虑薪资，你会选择哪一家公司？
A 7500 B 11000
A 7500 B 11000</pre>
若从均值的角度考虑，明显地A公司的平均月薪比B公司的高，但是A公司存在一个极端值，大大地拉高了A公司的均值，这时只从均值考虑明显不太科学。从中位数和众数来看，B公司的薪资水平比较高，若是一般员工，选择B公司显得更加合理。
比较下面两组数据： A： 1 2 5 8 9 B： 3 4 5 6 7 两组数据的均值都是5，但是你可以看出B组的数据与5更加接近。但是有描述集中趋势的统计量不够，需要有描述数据的离散程度的统计量。
极差 ：最大值 - 最小值，简单地描述数据的范围大小。 A： 9 - 1 = 8 B： 7 - 3 = 4 同样的5个数，A的极差比B的极差要大，所以也比B的要分散 但是只用极差这个衡量离散程度也存在不足 比如： A： 1 2 5 8 9 B： 1 4 5 6 9 两组数据虽然极差都是相同的，但是B组数据整体分布上更加靠近5。
方差 ：在统计学上，更常地是使用方差来描述数据的 离散程度 ：数据离中心越远，越离散。 方差越大，就代表这组数据越离散。
对于前面的数据 1 2 5 8 9，前面求的一组数据的方差是12.5。 将12.5于原始数据进行比较，可以看出12.5比原数据都大，这是否就能说明这一组数据十分离散呢？ 其实方差与元数据的单位是不一样的，这样比较也是毫无意义的。如果原始数据的单位是m的话，那么方差的单位就是m^2 为了保持单位的一致性，我们引入一个新的统计量：标准差 标准差：sqrt(var())， 有效地避免了因为单位的平方而引起的度量问题。 与方差一样，标准差的值越大，表示数据越分散。 A： 1 2 5 8 9 B： 3 4 5 6 7
某班40个学生某次数学检测的成绩如下：
63，84，91，53，69，81，61，69，78，75，81，67，76，81，79，94，61，69，89，70，70，87，81，86，90，88，85，67，71，82，87，75，87，95，53，65，74，77 对于这一组数字，你能看出什么呢？ 或许先算一算平均值，中位数，或者众数
或许算一算这组数据的方差或者标准差
但是即便是统计了上述的数据，我们还是对全班同学的分数分布，没有一个全面的了解。 原始数据太杂乱无章，难以看出规律性，只依赖数字来描述集中趋势与离散程度让人难以对数据产生直观地印象，这是我们就需要用到图标来展示这些数字。
1.找出上面数据中的最大值和最小是，确定数据的范围。
将成绩排序后很容易得到最大值是95，最小值是53
2.整理数据，将数据按照成绩分为几个组。成绩按照一般50-60，60-70，70-80，80-90，90-100这几个分段来划分(一般都分为5-10组)，然后统计这几个分段内部的频数。 可以看到80-90这个分段的人数是最多的。 注意在绘制直方图的时候，一定要知道是左闭右开还是左开右闭。 因为这个可能会直接影响到频数的统计。
上图就是：频数直方图。频数作为纵坐标，成绩作为横坐标。通过直方图我们可以对成绩有一个非常直观的印象。 除了频数直方图，还有一种直方图：频率直方图。与频数直方图相比，频率直方图的纵坐标有所改变，使用了频率/组距。 频率=频数/总数；组距就是分组的极差，这里的组距是10.
除了直方图外，画一个简单的箱线图也可以大致看出数据的分布。
想要看懂箱线图，必须要学习一些箱线图专业的名词： 下四分位数：Q1，将所有的数据按照从小到大的顺序排序，排在第25%位置的数字。 上四分位数：Q3，将所有的数据按照从小到大的顺序排序，排在第75%位置的数字。 四分距：IQR，等于Q3-Q1，衡量数据离散程度的一个统计量。 异常点：小于Q1-1.5IQR或者大于Q3+1.5IQR的值。 （注意是1.5倍的IQR） 上边缘：除异常点以外的数据中的最大值 下边缘：除异常点以外的数据种的最小值
茎叶图可以在保留全部数据信息的情况下，直观地显示出数据的分布情况。 左边是茎，右边是叶。 若将茎叶图旋转90度，则可以得到一个类似于直方图的图。跟直方图一样，也可以直观地知道数据的分布情况。 并且可以保留所有的数据信息。 茎叶图的画法也非常的简单： 将数据分为茎和叶两部分，这里的茎是指十位上的数字，叶是指给上的数字。 将茎部份（十位）从小到大，从上到下写出来 相对于各自的茎，将同一茎（十位）从小到大，从左往右写出来。
但是茎叶图也有缺陷，因为百位和十位同时画在茎叶图的时候，容易区分不开。同时也可能出现却叶的情况。
以时间作为横坐标，变量作为纵坐标，反映变量随时间推移的变化趋势。
显示一段时间内的数据变化或者显示各项之间的比较情况。
根据各项所占百分比决定在饼图中扇形的面积。简单易懂，通俗明了。可以更加形象地看出各个项目所占的比例大小。 适当的运用一些统计图表，可以更生动形象的说明，不再只是纯数字的枯燥描述。
学习链接： https://www.bilibili.com/video/BV1Ut411r7RG
❸ 大数据科学家需要掌握的几种异常值检测方法
引言
异常值检测与告警一直是工业界非常关注的问题，自动准确地检测出系统的异常值，不仅可以节约大量的人力物力，还能尽早发现系统的异常情况，挽回不必要的损失。个推也非常重视大数据中的异常值检测，例如在运维部门的流量管理业务中，个推很早便展开了对异常值检测的实践，也因此积累了较为丰富的经验。本文将从以下几个方面介绍异常值检测。
1、异常值检测研究背景
2、异常值检测方法原理
3、异常值检测应用实践
异常值检测研究背景
异常值，故名思议就是不同于正常值的值。 在数学上，可以用离群点来表述，这样便可以将异常值检测问题转化为数学问题来求解。
异常值检测在很多场景都有广泛的应用，比如：
1、流量监测
互联网上某些服务器的访问量，可能具有周期性或趋势性：一般情况下都是相对平稳的，但是当受到某些黑客攻击后，其访问量可能发生显著的变化，及早发现这些异常变化对企业而言有着很好的预防告警作用。
2、金融风控
正常账户中，用户的转账行为一般属于低频事件，但在某些金融诈骗案中，一些嫌犯的账户就可能会出现高频的转账行为，异常检测系统如果能发现这些异常行为，及时采取相关措施，则会规避不少损失。
3、机器故障检测
一个运行中的流水线，可能会装有不同的传感器用来监测运行中的机器，这些传感器数据就反应了机器运行的状态，这些实时的监测数据具有数据量大、维度广的特点，用人工盯着看的话成本会非常高，高效的自动异常检测算法将能很好地解决这一问题。
异常值检测方法原理
本文主要将异常值检测方法分为两大类：一类是基于统计的异常值检测，另一类是基于模型的异常值检测。
基于统计的方法
基于模型的方法
1、基于统计的异常值检测方法
常见的基于统计的异常值检测方法有以下2种，一种是基于3σ法则，一种是基于箱体图。
3σ法则
箱体图
3σ法则是指在样本服从正态分布时，一般可认为小于μ-3σ或者大于μ+3σ的样本值为异常样本，其中μ为样本均值，σ为样本标准差。在实际使用中，我们虽然不知道样本的真实分布，但只要真实分布与正太分布相差不是太大，该经验法则在大部分情况下便是适用的。
箱体图也是一种比较常见的异常值检测方法，一般取所有样本的25%分位点Q1和75%分位点Q3，两者之间的距离为箱体的长度IQR，可认为小于Q1-1.5IQR或者大于Q3+1.5IQR的样本值为异常样本。
基于统计的异常检测往往具有计算简单、有坚实的统计学基础等特点，但缺点也非常明显，例如需要大量的样本数据进行统计，难以对高维样本数据进行异常值检测等。
2、基于模型的异常值检测
通常可将异常值检测看作是一个二分类问题，即将所有样本分为正常样本和异常样本，但这和常规的二分类问题又有所区别，常规的二分类一般要求正负样本是均衡的，如果正负样本不均匀的话，训练结果往往会不太好。但在异常值检测问题中，往往面临着正（正常值）负（异常值）样本不均匀的问题，异常值通常比正常值要少得多，因此需要对常规的二分类模型做一些改进。
基于模型的异常值检测一般可分为有监督模型异常值检测和无监督模型异常值检测，比较典型的有监督模型如oneclassSVM、基于神经网络的自编码器等。 oneclassSVM就是在经典的SVM基础上改进而来，它用一个超球面替代了超平面，超球面以内的值为正常值，超球面以外的值为异常值。
经典的SVM
1
基于模型的方法
2
基于神经网络的自编码器结构如下图所示。
自编码器（AE）
将正常样本用于模型训练，输入与输出之间的损失函数可采用常见的均方误差，因此检测过程中，当正常样本输入时，均方误差会较小，当异常样本输入时，均方误差会较大，设置合适的阈值便可将异常样本检测出来。但该方法也有缺点，就是对于训练样本比较相近的正常样本判别较好，但若正常样本与训练样本相差较大，则可能会导致模型误判。
无监督模型的异常值检测是异常值检测中的主流方法，因为异常值的标注成本往往较高，另外异常值的产生往往无法预料，因此有些异常值可能在过去的样本中根本没有出现过， 这将导致某些异常样本无法标注，这也是有监督模型的局限性所在。 较为常见的无监督异常值检测模型有密度聚类（DBSCAN）、IsolationForest（IF）、RadomCutForest（RCF）等，其中DBSCAN是一种典型的无监督聚类方法，对某些类型的异常值检测也能起到不错的效果。该算法原理网上资料较多，本文不作详细介绍。
IF算法最早由南京大学人工智能学院院长周志华的团队提出，是一种非常高效的异常值检测方法，该方法不需要对样本数据做任何先验的假设，只需基于这样一个事实——异常值只是少数，并且它们具有与正常值非常不同的属性值。与随机森林由大量决策树组成一样，IsolationForest也由大量的树组成。IsolationForest中的树叫isolation tree，简称iTree。iTree树和决策树不太一样，其构建过程也比决策树简单，因为其中就是一个完全随机的过程。
假设数据集有N条数据，构建一颗iTree时，从N条数据中均匀抽样(一般是无放回抽样)出n个样本出来，作为这颗树的训练样本。
在样本中，随机选一个特征，并在这个特征的所有值范围内（最小值与最大值之间）随机选一个值，对样本进行二叉划分，将样本中小于该值的划分到节点的左边，大于等于该值的划分到节点的右边。
这样得到了一个分裂条件和左、右两边的数据集，然后分别在左右两边的数据集上重复上面的过程，直至达到终止条件。 终止条件有两个，一个是数据本身不可再分(只包括一个样本，或者全部样本相同)，另外一个是树的高度达到log2(n)。 不同于决策树，iTree在算法里面已经限制了树的高度。不限制虽然也可行，但出于效率考虑，算法一般要求高度达到log2(n)深度即可。
把所有的iTree树构建好了，就可以对测试数据进行预测了。预测的过程就是把测试数据在iTree树上沿对应的条件分支往下走，直到达到叶子节点，并记录这过程中经过的路径长度h(x)，即从根节点，穿过中间的节点，最后到达叶子节点，所走过的边的数量(path length)。最后，将h(x)带入公式，其中E(.)表示计算期望，c(n)表示当样本数量为n时，路径长度的平均值，从而便可计算出每条待测数据的异常分数s(Anomaly Score)。异常分数s具有如下性质：
1）如果分数s越接近1，则该样本是异常值的可能性越高；
2）如果分数s越接近0，则该样本是正常值的可能性越高；
RCF算法与IF算法思想上是比较类似的，前者可以看成是在IF算法上做了一些改进。针对IF算法中没有考虑到的时间序列因素，RCF算法考虑了该因素，并且在数据样本采样策略上作出了一些改进，使得异常值检测相对IF算法变得更加准确和高效，并能更好地应用于流式数据检测。
IF算法
RCF算法
上图展示了IF算法和RCF算法对于异常值检测的异同。我们可以看出原始数据中有两个突变异常数据值，对于后一个较大的突变异常值，IF算法和RCF算法都检测了出来，但对于前一个较小的突变异常值，IF算法没有检测出来，而RCF算法依然检测了出来，这意味着RCF有更好的异常值检测性能。
异常值检测应用实践
理论还需结合实践，下面我们将以某应用从2016.08.16至2019.09.21的日活变化情况为例，对异常值检测的实际应用场景予以介绍：
从上图中可以看出该应用的日活存在着一些显著的异常值（比如红色圆圈部分），这些异常值可能由于活动促销或者更新迭代出现bug导致日活出现了比较明显的波动。下面分别用基于统计的方法和基于模型的方法对该日活序列数据进行异常值检测。
基于3σ法则（基于统计）
RCF算法（基于模型）
从图中可以看出，对于较大的突变异常值，3σ法则和RCF算法都能较好地检测出来， 但对于较小的突变异常值，RCF算法则要表现得更好。
总结
上文为大家讲解了异常值检测的方法原理以及应用实践。综合来看，异常值检测算法多种多样 ，每一种都有自己的优缺点和适用范围，很难直接判断哪一种异常检测算法是最佳的， 具体在实战中，我们需要根据自身业务的特点，比如对计算量的要求、对异常值的容忍度等，选择合适的异常值检测算法。
接下来，个推也会结合自身实践，在大数据异常检测方面不断深耕，继续优化算法模型在不同业务场景中的性能，持续为开发者们分享前沿的理念与最新的实践方案。
❹ 大数据分析哪款工具比较好 求专家介绍
有 一 个 公 司 做 的 还 是 不 错 的 ， 晓 明 科 技 ， 他 们 很 多 成 功 的 案 例 ， 你内 可 以 到 他 们 的 公容 司 去 看 看 ， 很 多 大 公 司 也 都 是 跟 这 家 公 司 合 作 的 ， 很 不 错 的
❺ 估值分位是什么意思
估值分位是指将一项资产或企业的估值与同类资产或企业估值进行对比，并按照大小排序，确定该项资产或企业所处的百分位位置。通常情况下，估值分位越高，说明该资产或企业的估值越高，市场价值也越大，反之亦然。
估值分位在投资领域中起到了重要的作用，尤其是在风险投资、股权投资等领域。通过估值分位，投资者可以快速准确地了解市场上同类资产或企业的估值水平，进而做出决策，避免因估值偏高或偏低而导致的投资风险。
估值分位也是企业估值过程中的重要指标之一。在进行企业估值时，我们通常会借助各种估值模型，如收益贴现模型、市盈率模型等，根据市场和财务数据对企业进行评估。而估值分位的引入，可以帮助我们快速了解该企业与同类企业的估值水平，并以此为依据进行再度核实和校准。
此外，估值分位也可以用于资产组合的构建和管理。在构建资产组合时，投资者需要根据自己的投资目标和风险偏好，选择不同的资产种类和组合比例。而估值分位可以为投资者提供权威的市场参考，帮助其合理分配资产组合比例，达到收益最大化的目标。
最后，值得一提的是，估值分位的计算方法也在不断发展和完善。除了传统的市场相对估值法、DCF估值法等，现在也出现了基于机器学习和大数据的估值分析方法。这些新方法充分利用了互联网时代的数据源泉，可以更准确地分析市场趋势和企业价值，为投资者提供更精准、可信的估值分位参考。随着科技的不断进步，相信估值分位将会有更加广泛的应用和推广。