大数据检测法

Ⅰ 有什么比较好入门的大数据分析方法

1、excel是基础中基础，学好真心没商量啦
2、SPSS是数据分析好手，里面有聚回类，各种回归预测，时间答序列，统计，卡方检验等等，易操作，属于中级。
3，R语言是目前数据分析师主流工具，功能强大，貌似里面的数据可视化可谓酷炫吊炸天。属于中高级。
4、python是一种编程语言，用于数据分析挖掘,网络爬虫等。强大高级。学习C++或者面向对象程序设计可以自学啦！最重要往往在最后。。。如果你一心想成为一名出色的数据分析师，不瞒你言，以上前三种必须学习啊。如果你现在不会，就慢慢学起来！

Ⅱ 大数据分析方法与模型有哪些

1、分类分析数据分析法

在数据分析中，如果将数据进行分类就能够更好的分析。分类分析是将一些未知类别的部分放进我们已经分好类别中的其中某一类;或者将对一些数据进行分析，把这些数据归纳到接近这一程度的类别，并按接近这一程度对观测对象给出合理的分类。这样才能够更好的进行分析数据。

2、对比分析数据分析方法

很多数据分析也是经常使用对比分析数据分析方法。对比分析法通常是把两个相互有联系的数据进行比较，从数量上展示和说明研究对象在某一标准的数量进行比较，从中发现其他的差异，以及各种关系是否协调。

3、相关分析数据分析法

相关分析数据分析法也是一种比较常见数据分析方法，相关分析是指研究变量之间相互关系的一类分析方法。按是否区别自变量和因变量为标准一般分为两类：一类是明确自变量和因变量的关系;另一类是不区分因果关系，只研究变量之间是否相关，相关方向和密切程度的分析方法。

4、综合分析数据分析法

层次分析法，是一种实用的多目标或多方案的决策方法。由于他在处理复杂的决策问题上的实用性和有效性，而层次分析数据分析法在世界范围得到广泛的应用。它的应用已遍及经济计划和管理，能源政策和分配，行为科学、军事指挥、运输、农业、教育、医疗和环境等多领域。

Ⅲ 教育大数据分析的三大方法

一、常用大数据分析方法
1、描述性分析
这是业务上使用最多的分析方法，也是最简单的数据分析方法，为企业提供重要的指标和业务衡量方法，可以通过企业各种数据获得很多客户的情况，例如客户的喜好，使用产品习惯等。
2、诊断分析
做好描述性分析之后就可以进行诊断分析了，主要是通过评估描述性数据，诊断分析工具可以使数据分析对数据进行深入分析，并深入数据的核心，一个设计良好的数据分析工具可以集成数据读取、特征过滤和按时间序列进行数据钻取的功能，从而更好地分析数据。
3、预测分析
预测分析是用于预测未来事件发生的可能性，一个可量化值的预测，或者事件发生时间点的预测，都可以通过预测模型来完成，预测模型也是一种重要的方法，在许多领域得到应用。
4、指令分析
数据和复杂性分析的下一步是指令分析，指令模型可以帮助用户决定应该采取什么措施。

Ⅳ 大数据科学家需要掌握的几种异常值检测方法

引言

异常值检测与告警一直是工业界非常关注的问题，自动准确地检测出系统的异常值，不仅可以节约大量的人力物力，还能尽早发现系统的异常情况，挽回不必要的损失。个推也非常重视大数据中的异常值检测，例如在运维部门的流量管理业务中，个推很早便展开了对异常值检测的实践，也因此积累了较为丰富的经验。本文将从以下几个方面介绍异常值检测。

1、异常值检测研究背景

2、异常值检测方法原理

3、异常值检测应用实践

异常值检测研究背景

异常值，故名思议就是不同于正常值的值。 在数学上，可以用离群点来表述，这样便可以将异常值检测问题转化为数学问题来求解。

异常值检测在很多场景都有广泛的应用，比如：

1、流量监测

互联网上某些服务器的访问量，可能具有周期性或趋势性：一般情况下都是相对平稳的，但是当受到某些黑客攻击后，其访问量可能发生显著的变化，及早发现这些异常变化对企业而言有着很好的预防告警作用。

2、金融风控

正常账户中，用户的转账行为一般属于低频事件，但在某些金融诈骗案中，一些嫌犯的账户就可能会出现高频的转账行为，异常检测系统如果能发现这些异常行为，及时采取相关措施，则会规避不少损失。

3、机器故障检测

一个运行中的流水线，可能会装有不同的传感器用来监测运行中的机器，这些传感器数据就反应了机器运行的状态，这些实时的监测数据具有数据量大、维度广的特点，用人工盯着看的话成本会非常高，高效的自动异常检测算法将能很好地解决这一问题。

异常值检测方法原理

本文主要将异常值检测方法分为两大类：一类是基于统计的异常值检测，另一类是基于模型的异常值检测。

基于统计的方法  

基于模型的方法

1、基于统计的异常值检测方法

常见的基于统计的异常值检测方法有以下2种，一种是基于3σ法则，一种是基于箱体图。

3σ法则  

箱体图

3σ法则是指在样本服从正态分布时，一般可认为小于μ-3σ或者大于μ+3σ的样本值为异常样本，其中μ为样本均值，σ为样本标准差。在实际使用中，我们虽然不知道样本的真实分布，但只要真实分布与正太分布相差不是太大，该经验法则在大部分情况下便是适用的。

箱体图也是一种比较常见的异常值检测方法，一般取所有样本的25%分位点Q1和75%分位点Q3，两者之间的距离为箱体的长度IQR，可认为小于Q1-1.5IQR或者大于Q3+1.5IQR的样本值为异常样本。

基于统计的异常检测往往具有计算简单、有坚实的统计学基础等特点，但缺点也非常明显，例如需要大量的样本数据进行统计，难以对高维样本数据进行异常值检测等。

2、基于模型的异常值检测

通常可将异常值检测看作是一个二分类问题，即将所有样本分为正常样本和异常样本，但这和常规的二分类问题又有所区别，常规的二分类一般要求正负样本是均衡的，如果正负样本不均匀的话，训练结果往往会不太好。但在异常值检测问题中，往往面临着正（正常值）负（异常值）样本不均匀的问题，异常值通常比正常值要少得多，因此需要对常规的二分类模型做一些改进。

基于模型的异常值检测一般可分为有监督模型异常值检测和无监督模型异常值检测，比较典型的有监督模型如oneclassSVM、基于神经网络的自编码器等。 oneclassSVM就是在经典的SVM基础上改进而来，它用一个超球面替代了超平面，超球面以内的值为正常值，超球面以外的值为异常值。

经典的SVM  

1

 基于模型的方法

2

基于神经网络的自编码器结构如下图所示。

自编码器（AE）

将正常样本用于模型训练，输入与输出之间的损失函数可采用常见的均方误差，因此检测过程中，当正常样本输入时，均方误差会较小，当异常样本输入时，均方误差会较大，设置合适的阈值便可将异常样本检测出来。但该方法也有缺点，就是对于训练样本比较相近的正常样本判别较好，但若正常样本与训练样本相差较大，则可能会导致模型误判。

无监督模型的异常值检测是异常值检测中的主流方法，因为异常值的标注成本往往较高，另外异常值的产生往往无法预料，因此有些异常值可能在过去的样本中根本没有出现过， 这将导致某些异常样本无法标注，这也是有监督模型的局限性所在。 较为常见的无监督异常值检测模型有密度聚类（DBSCAN）、IsolationForest（IF）、RadomCutForest（RCF）等，其中DBSCAN是一种典型的无监督聚类方法，对某些类型的异常值检测也能起到不错的效果。该算法原理网上资料较多，本文不作详细介绍。

IF算法最早由南京大学人工智能学院院长周志华的团队提出，是一种非常高效的异常值检测方法，该方法不需要对样本数据做任何先验的假设，只需基于这样一个事实——异常值只是少数，并且它们具有与正常值非常不同的属性值。与随机森林由大量决策树组成一样，IsolationForest也由大量的树组成。IsolationForest中的树叫isolation tree，简称iTree。iTree树和决策树不太一样，其构建过程也比决策树简单，因为其中就是一个完全随机的过程。

假设数据集有N条数据，构建一颗iTree时，从N条数据中均匀抽样(一般是无放回抽样)出n个样本出来，作为这颗树的训练样本。

在样本中，随机选一个特征，并在这个特征的所有值范围内（最小值与最大值之间）随机选一个值，对样本进行二叉划分，将样本中小于该值的划分到节点的左边，大于等于该值的划分到节点的右边。

这样得到了一个分裂条件和左、右两边的数据集，然后分别在左右两边的数据集上重复上面的过程，直至达到终止条件。 终止条件有两个，一个是数据本身不可再分(只包括一个样本，或者全部样本相同)，另外一个是树的高度达到log2(n)。 不同于决策树，iTree在算法里面已经限制了树的高度。不限制虽然也可行，但出于效率考虑，算法一般要求高度达到log2(n)深度即可。

把所有的iTree树构建好了，就可以对测试数据进行预测了。预测的过程就是把测试数据在iTree树上沿对应的条件分支往下走，直到达到叶子节点，并记录这过程中经过的路径长度h(x)，即从根节点，穿过中间的节点，最后到达叶子节点，所走过的边的数量(path length)。最后，将h(x)带入公式，其中E(.)表示计算期望，c(n)表示当样本数量为n时，路径长度的平均值，从而便可计算出每条待测数据的异常分数s(Anomaly Score)。异常分数s具有如下性质：

1）如果分数s越接近1，则该样本是异常值的可能性越高；

2）如果分数s越接近0，则该样本是正常值的可能性越高；

RCF算法与IF算法思想上是比较类似的，前者可以看成是在IF算法上做了一些改进。针对IF算法中没有考虑到的时间序列因素，RCF算法考虑了该因素，并且在数据样本采样策略上作出了一些改进，使得异常值检测相对IF算法变得更加准确和高效，并能更好地应用于流式数据检测。

IF算法

RCF算法

上图展示了IF算法和RCF算法对于异常值检测的异同。我们可以看出原始数据中有两个突变异常数据值，对于后一个较大的突变异常值，IF算法和RCF算法都检测了出来，但对于前一个较小的突变异常值，IF算法没有检测出来，而RCF算法依然检测了出来，这意味着RCF有更好的异常值检测性能。

异常值检测应用实践

理论还需结合实践，下面我们将以某应用从2016.08.16至2019.09.21的日活变化情况为例，对异常值检测的实际应用场景予以介绍：

从上图中可以看出该应用的日活存在着一些显著的异常值（比如红色圆圈部分），这些异常值可能由于活动促销或者更新迭代出现bug导致日活出现了比较明显的波动。下面分别用基于统计的方法和基于模型的方法对该日活序列数据进行异常值检测。

基于3σ法则（基于统计）

RCF算法（基于模型）

从图中可以看出，对于较大的突变异常值，3σ法则和RCF算法都能较好地检测出来， 但对于较小的突变异常值，RCF算法则要表现得更好。

总结

上文为大家讲解了异常值检测的方法原理以及应用实践。综合来看，异常值检测算法多种多样 ，每一种都有自己的优缺点和适用范围，很难直接判断哪一种异常检测算法是最佳的， 具体在实战中，我们需要根据自身业务的特点，比如对计算量的要求、对异常值的容忍度等，选择合适的异常值检测算法。

接下来，个推也会结合自身实践，在大数据异常检测方面不断深耕，继续优化算法模型在不同业务场景中的性能，持续为开发者们分享前沿的理念与最新的实践方案。

Ⅳ 企业大数据分析方法现在有吗

一是帮企业了解用户。
大数据通过相关性分析，将客户、用户和产品有机串联，对用户的产品偏好，客户的关系偏好进行个性化定位，生产出用户驱动型的产品，提供客户导向性的服务。
从大数据技术方面来看，用数据来指引企业的成长，将不再单单是一句口号。网络副总裁曾良表示，从挖掘的角度来看，他们通过对每天60亿的检索请求数据分析，可以发现检索某一品牌的受众行为特征，进而反馈给企业的品牌、产品研发部门，能更准确地了解目标用户，并推出与用户要求相匹配的产品。
通过运用大数据，不仅可以从数据中发掘出适应企业发展环境的社会和商业形态，用数据对用户和客户对待产品的态度进行挖掘和洞察，准确发现并解读客户及用户的诸多新需求和行为特征，这必将颠覆传统企业在用户调研过程中，过分依赖主观臆断的市场分析模式。
二是帮企业锁定资源。
通过大数据技术，可以实现企业对所需资源的精准锁定，在企业在运营过程中，所需要的每一种资源的挖掘方式、具体情况和储量分布等，企业都可以进行搜集分析，形成基于企业的资源分布可视图，就如同“电子地图”一般，将原先只是虚拟存在的各种优势点，进行“点对点”的数据化、图像化展现，让企业的管理者可以更直观地面对自己的企业，更好地利用各种已有和潜在资源。如果没有大数据，将很难发现曾经认为是完全无关行为间的相互关联性，就如同外媒曾经提到的“啤酒”与“尿片”之间的关联营销一样。因为美国妇女通常在家照顾孩子，她们经常嘱咐丈夫下班回家时为孩子买尿布，而丈夫则顺手购买了啤酒。于是，尿片与啤酒形成了关联。于是美国沃尔玛超市将尿布与啤酒摆在一起，使尿布和啤酒的销量都大幅增加。
三是帮企业规划生产。
大数据不仅改变了数据的组合方式，而且影响到企业产品和服务的生产和提供。通过用数据来规划生产架构和流程，不仅能够帮助他们发掘传统数据中无法得知的价值组合方式，而且能给对组合产生的细节问题，提供相关性的、一对一的解决方案，为企业开展生产提供保障。
过去的所谓商业智能，往往大多是“事后诸葛亮”，而大数据则让企业可预测未来的走向，帮助企业做到“未雨绸缪”。大数据的虚拟化特征，还将大大降低企业的经营风险，能够在生产或服务尚未展开之前就给出相关确定性答案，让生产和服务做到有的放矢。在这方面，不得不提到的就是最近火爆的《纸牌屋》，它的剧集为什么会受到全球欢迎?有很大一部分原因就跟它前期依据大数据技术和思维方式所做的准备。据称，《纸牌屋》的数据库包含了3000万用户的收视选择、400万条评论、300万次主题搜索。下一季剧情拍什么、谁来拍、谁来演、怎么播，都由数千万观众的客观喜好统计决定。
四是帮企业做好运营。
过去某一品牌要做市场预测，大多靠自身资源、公共关系和以往的案例来进行分析和判断，得出的结论往往也比较模糊，很少能得到各自行业内的足够重视。通过大数据的相关性分析，根据不同品牌市场数据之间的交叉、重合，企业的运营方向将会变得直观而且容易识别，在品牌推广、区位选择、战略规划方面将做到更有把握地面对。
对于大数据对企业运营的导航作用，梦芭莎集团董事长佘晓成深有感触，他不禁感慨“大数据让我们能够及时调整运营策略，现在的库存每季售罄率从80%提升到95%，实行30天缺货销售，能把30天缺货控制在每天订单的10%左右，比以前有3倍的提升。”
五是帮企业开展服务。
通过大数据计算对社交信息数据、客户互动数据等，可以帮助企业进行品牌信息的水平化设计和碎片化扩散。经济学家Richard H. Thaler曾经提出一种观点，“个人观点的微小变化都可以演变为所有人的群体行为模式的重大变革。”在这一重大变革的背景之下，对微小的信息流，企业都必须重视，而客户服务为应对这种情况，也需要像空气一样分布在一些细枝末节之中。企业可以借助社交媒体中公开的海量数据，通过大数据信息交叉验证技术、分析数据内容之间的关联度等，进而面向社会化用户开展精细化服务，提供更多便利、产生更大价值。

Ⅵ 大数据怎么检测去过哪个街道

1、首先是基于手机移动数据确定位置信息，也叫基源定位方法，这是最常用的方法，也是此次新发地大数据筛查当中，效率最高的手段。

不过基源并不是GPS，而是通过手机基站，与GPS使用时才打开不同，手机会自动连接到距离最近的信号发射塔，手机的所有活动，都能通过包含基站信息的信令数据信号发射塔筛查回溯，这为追踪使用者的位置定位及路径追踪，提供了真实准确的第一手数据。

2、其次是通过社会交往信息分析，这并不是指通过社交软件信息判断，而是结合已有数据，通过电话调查、摸排走访等方式，最终形成相对可靠的数据信息，也可以在短时间内筛选出哪些人在新发地工作、哪些人曾经去过新发地、他们这几天密切接触了什么人等等。

3、可以通过物品信息确认，除了对经过者、密切接触者的筛查，也排查了不少物品和货品，在这个过程当中，通过对特定携带病毒物品的路径和接触者追踪，同样可以作为排查查找到新发地密切接触者的依据之一，这种筛查方法的数据可能并不完全。

大数据助力流行病精准防控

大数据至少发挥了两方面作用：将早期病例精准锁定到新发地市场，及时发现传染源，为疾病控制赢得了宝贵的时间；对发现疫情以后，在去过高风险地区向外流动的人员的了解，包括暴露于环境，和接触的人员，和密切接触者，在北京的分布，以及留出北京的情况，对于发现潜在感染者，阻断传播，起到了非常大的作用。

实际上，在此次新冠肺炎疫情过程中，尤其是年初武汉疫情爆发之时，大数据筛查和分析，就对于疾病防控起到了相当重要的作用。