❶ 平均数，中位数，众数，极差，方差，标准差各代表着什么
平均数：表示数据的总体水平
中位数：表示数据的中等水平
众数：表示数据的普遍情版况
方差、标准差权：表示数据的离散程度，方差更能反映情况。
例：4、6、4、6和3、5、5、7的的标准差相同，但方差不同
极差：表示数据的范围和集中趋势
❷ # 大数据的统计学基础
概率论是统计学的基础，统计学冲锋在应用第一线，概率论提供武器。
我们在学习R的时候，会做过假设检验。做假设检验的时候会有一个基本的技术就是构造出统计量，这些统计量要满足一定的概率密度分布，然后我算这个统计量的值，来判定它在这个密度分布里面，分布在哪个区域，出现在这个区域内的可能性有多高，如果可能性太低，我们就判定我们的假设检验是不成立的。 那么如何构造这个统计量，这是一个很有技术的东西，同时也是由数学家来完成的，那这个工作就是概率论所作的事情。
古典概率论： 扔硬币，正面1/2反面1/2，扔的次数之间是相互独立的。 但是这个等概率事件确实是一个不是很严谨的事情。仔细想一想其实是很有趣的。 柯尔莫哥洛夫创建现代概率论 他将概率论提出了许多公理，因此将概率论变成了非常严谨的一门学科。
学会和运用概率，会使人变得聪明，决策更准确。
统计学 ： 统计学可以分为：描述统计学与推断统计学 描述统计学 ：使用特定的数字或者图表来体现数据的集中程度和离散程度。比如：每次考试算的平均分，最高分，各个分数段的人数分布等，也是属于描述统计学的范围。 推断统计学 ：根据样本数据推断总体数据特征。比如：产品质量检查，一般采用抽样检测，根据所抽样本的质量合格率作为总体的质量合格率的一个估计。 统计学的应用十分广泛，可以说，只要有数据，就有统计学的用武之地。目前比较热门的应用：经济学，医学，心理学，IT行业大数据方面等。
例如：对于 1 2 3 4 5 这组数据，你会使用哪个数字作为代表呢？ 答案是3。 因为3是这组数据的中心。 对于一组数据，如果只容许使用一个数字去代表这组数据，那么这个数字应该如何选择？？？-----选择数据的中心，即反映数据集中趋势的统计量。 集中趋势：在统计学里面的意思是任意种数据向 中心值靠拢 的程度。它可以反映出数据中心点所在的位置。 我们经常用到的能够反映出集中趋势的统计量： 均值：算数平均数，描述 平均水平 。 中位数：将数据按大小排列后位于正中间的数描述，描述 中等水平 。 众数：数据种出现最多的数，描述 一般水平 。
均值：算数平均数 例如：某次数学考试种，小组A与小组B的成员成绩分别如下： A：70，85，62，98，92 B：82，87，95，80，83 分别求出两组的平均数，并比较两组的成绩。
组B的平均分比组A的高，就是组B的总体成绩比组A高。
中位数：将数据按大小顺序（从大到小或者从小到大）排列后处于 中间位置 的数。 例如：58，32，46，92，73，88，23 1.先排序：23，32，46，58，73，88，92 2.找出中间位置的数23，32，46， 58 ，73，88，92 如果数据中是偶数个数，那么结果会发生什么改变？ 例如：58，32，46，92，73，88，23，63 1.先排序：23，32，46，58，63，73，88，92 2.找出处于中间位置的数：23，32，46， 58 ， 63 ，73，88，92 3.若处于中间位置的数据有两个（也就是数据的总个数为偶数时），中位数为中间两个数的算数平均数：（58+63）/2=60.5 在原数据中，四个数字比60.5小，四个数字比60.5大。
众数：数据中出现次数最多的数（所占比例最大的数） 一组数据中，可能会存在多个众数，也可能不存在众数。 1 2 2 3 3 中，众数是2 和 3 1 2 3 4 5 中，没有众数 1 1 2 2 3 3 4 4 中，也没有众数 只要出现的频率是一样的，那么就不存在众数 众数不仅适用于数值型数据，对于非数值型数据也同样适合 {苹果，苹果，香蕉，橙子，橙子，橙子，橙子，桃子}这一组数据，没有什么均值中位数科研，但是存在众数---橙子。 但是在R语言里面没有直接计算众数的内置函数，不过可以通过统计数据出现的频率变相的去求众数。
下面比较一下均值，中位数，众数三个统计量有什么优点和缺点 [图片上传失败...(image-57f18-1586015539906)]
例子： 两个公司的员工及薪资构成如下： A：经理1名，月薪100000；高级员工15名，月薪10000；普通员工20名，月薪7500 B：经理1名，月薪20000；高级员工20名，月薪11000；普通员工15名，月薪9000 请比较两家公司的薪资水平。若只考虑薪资，你会选择哪一家公司？
A 7500 B 11000
A 7500 B 11000</pre>
若从均值的角度考虑，明显地A公司的平均月薪比B公司的高，但是A公司存在一个极端值，大大地拉高了A公司的均值，这时只从均值考虑明显不太科学。从中位数和众数来看，B公司的薪资水平比较高，若是一般员工，选择B公司显得更加合理。
比较下面两组数据： A： 1 2 5 8 9 B： 3 4 5 6 7 两组数据的均值都是5，但是你可以看出B组的数据与5更加接近。但是有描述集中趋势的统计量不够，需要有描述数据的离散程度的统计量。
极差 ：最大值 - 最小值，简单地描述数据的范围大小。 A： 9 - 1 = 8 B： 7 - 3 = 4 同样的5个数，A的极差比B的极差要大，所以也比B的要分散 但是只用极差这个衡量离散程度也存在不足 比如： A： 1 2 5 8 9 B： 1 4 5 6 9 两组数据虽然极差都是相同的，但是B组数据整体分布上更加靠近5。
方差 ：在统计学上，更常地是使用方差来描述数据的 离散程度 ：数据离中心越远，越离散。 方差越大，就代表这组数据越离散。
对于前面的数据 1 2 5 8 9，前面求的一组数据的方差是12.5。 将12.5于原始数据进行比较，可以看出12.5比原数据都大，这是否就能说明这一组数据十分离散呢？ 其实方差与元数据的单位是不一样的，这样比较也是毫无意义的。如果原始数据的单位是m的话，那么方差的单位就是m^2 为了保持单位的一致性，我们引入一个新的统计量：标准差 标准差：sqrt(var())， 有效地避免了因为单位的平方而引起的度量问题。 与方差一样，标准差的值越大，表示数据越分散。 A： 1 2 5 8 9 B： 3 4 5 6 7
某班40个学生某次数学检测的成绩如下：
63，84，91，53，69，81，61，69，78，75，81，67，76，81，79，94，61，69，89，70，70，87，81，86，90，88，85，67，71，82，87，75，87，95，53，65，74，77 对于这一组数字，你能看出什么呢？ 或许先算一算平均值，中位数，或者众数
或许算一算这组数据的方差或者标准差
但是即便是统计了上述的数据，我们还是对全班同学的分数分布，没有一个全面的了解。 原始数据太杂乱无章，难以看出规律性，只依赖数字来描述集中趋势与离散程度让人难以对数据产生直观地印象，这是我们就需要用到图标来展示这些数字。
1.找出上面数据中的最大值和最小是，确定数据的范围。
将成绩排序后很容易得到最大值是95，最小值是53
2.整理数据，将数据按照成绩分为几个组。成绩按照一般50-60，60-70，70-80，80-90，90-100这几个分段来划分(一般都分为5-10组)，然后统计这几个分段内部的频数。 可以看到80-90这个分段的人数是最多的。 注意在绘制直方图的时候，一定要知道是左闭右开还是左开右闭。 因为这个可能会直接影响到频数的统计。
上图就是：频数直方图。频数作为纵坐标，成绩作为横坐标。通过直方图我们可以对成绩有一个非常直观的印象。 除了频数直方图，还有一种直方图：频率直方图。与频数直方图相比，频率直方图的纵坐标有所改变，使用了频率/组距。 频率=频数/总数；组距就是分组的极差，这里的组距是10.
除了直方图外，画一个简单的箱线图也可以大致看出数据的分布。
想要看懂箱线图，必须要学习一些箱线图专业的名词： 下四分位数：Q1，将所有的数据按照从小到大的顺序排序，排在第25%位置的数字。 上四分位数：Q3，将所有的数据按照从小到大的顺序排序，排在第75%位置的数字。 四分距：IQR，等于Q3-Q1，衡量数据离散程度的一个统计量。 异常点：小于Q1-1.5IQR或者大于Q3+1.5IQR的值。 （注意是1.5倍的IQR） 上边缘：除异常点以外的数据中的最大值 下边缘：除异常点以外的数据种的最小值
茎叶图可以在保留全部数据信息的情况下，直观地显示出数据的分布情况。 左边是茎，右边是叶。 若将茎叶图旋转90度，则可以得到一个类似于直方图的图。跟直方图一样，也可以直观地知道数据的分布情况。 并且可以保留所有的数据信息。 茎叶图的画法也非常的简单： 将数据分为茎和叶两部分，这里的茎是指十位上的数字，叶是指给上的数字。 将茎部份（十位）从小到大，从上到下写出来 相对于各自的茎，将同一茎（十位）从小到大，从左往右写出来。
但是茎叶图也有缺陷，因为百位和十位同时画在茎叶图的时候，容易区分不开。同时也可能出现却叶的情况。
以时间作为横坐标，变量作为纵坐标，反映变量随时间推移的变化趋势。
显示一段时间内的数据变化或者显示各项之间的比较情况。
根据各项所占百分比决定在饼图中扇形的面积。简单易懂，通俗明了。可以更加形象地看出各个项目所占的比例大小。 适当的运用一些统计图表，可以更生动形象的说明，不再只是纯数字的枯燥描述。
学习链接： https://www.bilibili.com/video/BV1Ut411r7RG
❸ 拥抱大数据需要大智慧
拥抱大数据需要大智慧
近年来，有关大数据的热点话题一浪高过一浪，关注大数据应用的人也越来越多。总体来说，人们对大数据的前景持乐观态度，比如谈到大数据的技术特征，人们最容易想起的就是4个“v”：vast(数量庞大)、variety(种类繁多)、velocity(增长迅速)和value(总价值高)。这些都没错，但仔细一想，它们都是偏重说明大数据的正面优势的。但其实，大也有大的难处，大数据也不可避免地存在着一些负面劣势。结合笔者的从业经验，大数据的负面劣势可以概括为4个“n”，下面逐一说明每个n的含义。
inflated大数据是肥胖的。大数据的大不仅仅体现在数据记录的行数多，更体现在字段变量的列数多，这就为分析多因素之间的关联性带来了难度。哪怕是最简单的方差分析，计算一两个还行，计算一两百个就让人望而生畏了。
unstructured大数据是非结构化的。大数据的结构也是非常复杂的，既包括像交易额、时间等连续型变量，像性别、工作类型等离散型变量这样传统的结构化数据，更增添了如文本、社会关系网络，乃至语音、图像等大量新兴的非结构化数据，而这些非结构化数据蕴含的信息量往往更加巨大，但分析手段却略显单薄。
incomplete大数据是残缺的。在现实的世界里，由于用户登记的信息不全、计算机数据存储的错误等种种原因，数据缺失是常见的现象。在大数据的场景下，数据缺失更是家常便饭，这就为后期的分析与建模质量增加了不确定的风险。
abnormal大数据是异常的。同样，在现实的世界里，大数据里还有不少异常值(outlier)。比如某些连续型变量(如一个短期时间内的交易金额)的取之太大，某些离散型变量(如某个被选购的产品名称)里的某个水平值出现的次数太少，等等。如果不删除，很可能干扰模型系数的计算和评估;如果直接删除，又觉得缺乏说服力，容易引起他人的质疑。这使得分析人员落到了一个进退两难的境地。
如果不能处理好这些不利因素，大数据应用的优势很难发挥出来。想要拥抱大数据，并不是一项在常规条件下数据分析的简单升级，而是一项需要大智慧的综合工作。STIR(唤醒)策略是笔者在实践工作中提炼出来的、能够在实际工作中有效克服大数据负面劣势的应对方法。具体来说，STIR策略包含了四种技术手段，目前都已经有机地整合在统计分析与数据挖掘专业软件JMP中了，它可以用来解决上文提出的四个问题，下面将分别说明。
Switching Variables切换变量
它是用来解决大数据“残缺”问题的。通过“列转换器”、“动画播放”等工具，海量因素之间的关联性分析变得十分简单、快捷，还可以根据需要对关联性的重要程度进行排序，大数据分析的效率由此得到大幅提升。
基于JMP软件的关联性分析筛选的界面
Text Mining文本挖掘
它是用来解决大数据“非结构化”问题的。通过先对文字、图像等新媒体信息源进行降维、去噪、转换等处理，产生结构化数据，再用成熟的统计分析和数据挖掘方法进行评价和解释。这样一来，大数据的应用范围得到了极大的拓展。
基于JMP软件的文本分析结果的最终展现界面
Imputation缺失数赋值
它是用来解决大数据“残缺”问题的。在有missing data的时候，我们并不完全排斥直接删除的方法，但更多的时候，我们会在条件允许的情况下，用赋值的方法去替代原先的缺失值。具体的技术很多，简单的如计算平均值、中位数、众数之类的统计量，复杂的如用回归、决策树、贝叶斯定理去预测缺失数的近似值等。这样一来，大数据的质量大为改观，为后期的分析与建模奠定了扎实的基础。
Robust Modeling稳健建模
它是用来解决大数据“异常”问题的。在融入了自动识别、重要性加权等处理手段后，分析人员既直接消除了个别强影响点的敏感程度，又综合考虑了所有数据的影响，增强了模型的抗干扰能力，使得模型体现出良好的预测特性，由此做出的业务决策自然变得更加科学、精准。
总之，我们必须要对大数据有一个全面、客观的认识。只有在不同的业务和数据背景下采用不同的战略战术，才能在大数据时代，真正发挥大数据的杠杆作用，有效提高企业的运营效率和市场竞争力。
以上是小编为大家分享的关于拥抱大数据需要大智慧的相关内容，更多信息可以关注环球青藤分享更多干货
❹ 大数据的数据分析方法有哪些如何学习
漏斗分析法
漏斗分析模型是业务分析中的重要方法，最常见的是应用于营销分析中，由于营销过程中的每个关键节点都会影响到最终的结果，所以在精细化运营应用广泛的今天，漏斗分析方法可以帮助我们把握每个转化节点的效率，从而优化整个业务流程。
对比分析法
对比分析法不管是从生活中还是工作中，都会经常用到，对比分析法也称比较分析法，是将两个或两个以上相互联系的指标数据进行比较，分析其变化情况，了解事物的本质特征和发展规律。
在数据分析中，常用到的分3类：时间对比、空间对比以及标准对比。
用户分析法
用户分析是互联网运营的核心，常用的分析方法包括：活跃分析，留存分析，用户分群，用户画像等。在刚刚说到的RARRA模型中，用户活跃和留存是非常重要的环节，通过对用户行为数据的分析，对产品或网页设计进行优化，对用户进行适当引导等。
通常我们会日常监控「日活」、「月活」等用户活跃数据，来了解新增的活跃用户数据，了解产品或网页是否得到了更多人的关注，但是同时，也需要做留存分析，关注新增的用户是否真正的留存下来成为固定用户，留存数据才是真正的用户增长数据，才能反映一段时间产品的使用情况，关于活跃率、留存率的计算。
细分分析法
在数据分析概念被广泛重视的今天，粗略的数据分析很难真正发现问题，精细化数据分析成为真正有效的方法，所以细分分析法是在本来的数据分析上做的更为深入和精细化。
指标分析法
在实际工作中，这个方法应用的最为广泛，也是在使用其他方法进行分析的同时搭配使用突出问题关键点的方法，指直接运用统计学中的一些基础指标来做数据分析，比如平均数、众数、中位数、最大值、最小值等。在选择具体使用哪个基础指标时，需要考虑结果的取向性。