大数据统计基础

A. 大数据分析应该掌握哪些基础知识

大数据分析师应该要学的知识有，统计概率理论基础，软件操作结合分析模型进行实际运用，数据挖掘或者数据分析方向性选择，数据分析业务应用。
1、统计概率理论基础
这是重中之重，千里之台，起于垒土，最重要的就是最下面的那几层。统计思维，统计方法，这里首先是市场调研数据的获取与整理，然后是最简单的描述性分析，其次是常用的推断性分析，方差分析，到高级的相关，回归等多元统计分析，掌握了这些原理，才能进行下一步。
2、软件操作结合分析模型进行实际运用
关于数据分析主流软件有（从上手度从易到难）：Excel，SPSS，Stata，R，SAS等。首先是学会怎样操作这些软件，然后是利用软件从数据的清洗开始一步步进行处理，分析，最后输出结果，检验及解读数据。
3、数据挖掘或者数据分析方向性选择
其实数据分析也包含数据挖掘，但在工作中做到后面会细分到分析方向和挖掘方向，两者已有区别，关于数据挖掘也涉及到许多模型算法，如：关联法则、神经网络、决策树、遗传算法、可视技术等。
4、数据分析业务应用
这一步也是最难学习的一步，行业有别，业务不同，业务的不同所运用的分析方法亦有区分，实际工作是解决业务问题，因此对业务的洞察能力非常重要。(1)大数据统计基础扩展阅读
分析工作内容
1、搜索引擎分析师(Search Engine Optimization Strategy Analyst，简称SEO分析师)是一项新兴信息技术职业，主要关注搜索引擎动态，修建网站，拓展网络营销渠道，网站内部优化，流量数据分析，策划外链执行方案，负责竞价推广。
2、SEO分析师需要精通商业搜索引擎相关知识与市场运作。通过编程，HTML，CSS，javaScript，MicrosoftASP.NET，Perl，PHP，Python等建立网站进行各种以用户体验为主同时带给公司盈利但可能失败的项目尝试。

B. 大数据与统计学的关系

大数据与统计学的关系：统计学是大数据的三大基础学科之一，所以统计学与大数据之间的关系还是非常密切的，但是这也导致一部分人产生了一定的误解，认为大数据就是统计学，统计学就是大数据。

实际上，虽然在大数据时代背景下，统计学的知识体系产生了一定程度的调整，但是统计学本身的理念与大数据还是具有一定区别的，统计学注重的是方式方法，而大数据则更关注于整个数据价值化的过程，大数据不仅需要统计学知识，还需要具备数学知识和计算机知识。从另一个角度来说，统计学为大数据进行数据价值化奠定了一定的基础。

其实对于很多职场人来说，平时大部分的数据分析任务都是基于统计学理论进行的，包括采用的数据分析工具也都属于统计学领域的范畴。

从未来的发展趋势来看，一方面统计学会进一步向大数据倾斜，包括目前不少统计学专业的研究生课题，都逐渐开始向大数据方向拓展，另一方面大数据会在发展的初期大量采用统计学相关理论和技术，这也能够提升大数据相关技术的落地应用能力。

C. 学习大数据需要掌握哪些基础

学习大数据需要掌握以下基础：
数据结构和算法：学习大数据需要具备扎实的数据结构和算法基础，包括数组、链表、栈、队列、树、图等数据结构，以及排序、查找、图算法等常用算法。
数据库和圆搏SQL：熟悉常用数据库和SQL语言的使用，包括MySQL、Oracle、SQL Server等关系型数据库，以及NoSQL数据库（如MongoDB、Redis）的使用。
编程语言：需要掌握至少一门编程语言，如Java、Python、C++等。特别是Python语言在大数据领域的应用越来越广泛。
linux操作系统和Shell脚本：大数据处理通常在分布式环境下进行，需要熟悉Linux操作系统的使用和Shell脚本的编写，以便于在Linux环境下进行数据处理和分析。
统计学和机器学习：大数据分析离不开统计学和机器学习的基础，需要掌握相关的理橘绝祥论知识和应用技能。
大数据技术和工具：掌握常用的大数据技术和工具，如Hadoop、Spark、Hive、Pig、Kafka、Flink等，了解它们的原理和使用方法。
数据可视化和报表分析：掌握数据可视化和报表分析的基础知识和技能，能够通过图表和报表展示数据分析的结果，使得分析结果更加直观、清晰。
总之，学习大数据需要掌握多方宏滚面的基础知识和技能，这些基础将为大数据的处理和分析提供坚实的基础，并为日后的学习和发展奠定基础。

D. 大数据分析应该掌握哪些基础知识呢

前言，学大数据要先换电脑：

保证电脑4核8G内存64位操作系统，尽量有ssd做系统盘，否则卡到你丧失信心。硬盘越大越好。
1，语言要求

java刚入门的时候要求javase。

scala是学习spark要用的基本使用即可。

后期深入要求：
java NIO，netty，多线程，ClassLoader，jvm底层及调优等，rpc。
2，操作系统要求
linux 基本的shell脚本的使用。

crontab的使用，最多。

cpu，内存，网络，磁盘等瓶颈分析及状态查看的工具。

scp，ssh，hosts的配置使用。

telnet，ping等网络排查命令的使用
3，sql基本使用
sql是基础，hive，sparksql等都需要用到，况且大部分企业也还是以数据仓库为中心，少不了sql。

sql统计，排序，join，group等，然后就是sql语句调优，表设计等。

4，大数据基本了解
Zookeeper，hadoop，hbase，hive，sqoop，flume，kafka，spark，storm等这些框架的作用及基本环境的搭建，要熟练，要会运维，瓶颈分析。

5，maprece及相关框架hive，sqoop
深入了解maprece的核心思想。尤其是shuffle，join，文件输入格式，map数目，rece数目，调优等。
6，hive和hbase等仓库
hive和hbase基本是大数据仓库的标配。要回用，懂调优，故障排查。

hbase看浪尖hbase系列文章。hive后期更新。

7，消息队列的使用
kafka基本概念，使用，瓶颈分析。看浪尖kafka系列文章。

8，实时处理系统
storm和spark Streaming

9，spark core和sparksql
spark用于离线分析的两个重要功能。

10，最终方向决策
a),运维。（精通整套系统及故障排查，会写运维脚本啥的。）

b),数据分析。（算法精通）

c),平台开发。（源码精通）

自学还是培训？
无基础的同学，培训之前先搞到视频通学一遍，防止盲目培训跟不上讲师节奏，浪费时间，精力，金钱。
有基础的尽量搞点视频学基础，然后跟群里大牛交流，前提是人家愿意，
想办法跟大牛做朋友才是王道。

E. 学大数据需要具备什么基础

第一、计算机基础知识。计算机基础知识涉及到三大块内容，包括操作系统、编程语言和计算机网络，其中操作系统要重点学习一下Linux操作系统，编程语言可以选择Java或者Python。

如果要从事大数据开发，应该重点关注一下Java语言，而如果要从事大数据分析，可以重点关注一下Python语言。计算机网络知识对于大数据从业者来说也比较重要，要了解基本的网络通信过程，涉及到网络通信层次结构和安全的相关内容。

第二、数据库知识。数据库知识是学习大数据相关技术的重要基础，大数据的技术体系有两大基础，一部分是分布式存储，另一部分是分布式计算，所以存储对于大数据技术体系有重要的意义。

初学者可以从Sql语言开始学起，掌握关系型数据库知识对于学习大数据存储依然有比较重要的意义。另外，在大数据时代，关系型数据库依然有大量的应用场景。

第三、数学和统计学知识。从学科的角度来看，大数据涉及到三大学科基础，分别是数学、统计学和计算机，所以数学和统计学知识对于大数据从业者还是比较重要的。

从大数据岗位的要求来看，大数据分析岗位（算法）对于数学和统计学知识的要求程度比较高，大数据开发和大数据运维则稍微差一些，所以对于数学基础比较薄弱的初学者来说，可以考虑向大数据开发和大数据运维方向发展。

大数据的价值体现在以下几个方面：

（1）对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；

（2）做小而美模式的中小微企业可以利用大数据做服务转型；

（3）面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。

F. # 大数据的统计学基础

概率论是统计学的基础，统计学冲锋在应用第一线，概率论提供武器。

我们在学习R的时候，会做过假设检验。做假设检验的时候会有一个基本的技术就是构造出统计量，这些统计量要满足一定的概率密度分布，然后我算这个统计量的值，来判定它在这个密度分布里面，分布在哪个区域，出现在这个区域内的可能性有多高，如果可能性太低，我们就判定我们的假设检验是不成立的。 那么如何构造这个统计量，这是一个很有技术的东西，同时也是由数学家来完成的，那这个工作就是概率论所作的事情。

古典概率论： 扔硬币，正面1/2反面1/2，扔的次数之间是相互独立的。 但是这个等概率事件确实是一个不是很严谨的事情。仔细想一想其实是很有趣的。 柯尔莫哥洛夫创建现代概率论 他将概率论提出了许多公理，因此将概率论变成了非常严谨的一门学科。

学会和运用概率，会使人变得聪明，决策更准确。

统计学 ： 统计学可以分为：描述统计学与推断统计学 描述统计学 ：使用特定的数字或者图表来体现数据的集中程度和离散程度。比如：每次考试算的平均分，最高分，各个分数段的人数分布等，也是属于描述统计学的范围。 推断统计学 ：根据样本数据推断总体数据特征。比如：产品质量检查，一般采用抽样检测，根据所抽样本的质量合格率作为总体的质量合格率的一个估计。 统计学的应用十分广泛，可以说，只要有数据，就有统计学的用武之地。目前比较热门的应用：经济学，医学，心理学，IT行业大数据方面等。

例如：对于 1 2 3 4 5 这组数据，你会使用哪个数字作为代表呢？ 答案是3。 因为3是这组数据的中心。 对于一组数据，如果只容许使用一个数字去代表这组数据，那么这个数字应该如何选择？？？-----选择数据的中心，即反映数据集中趋势的统计量。 集中趋势：在统计学里面的意思是任意种数据向 中心值靠拢 的程度。它可以反映出数据中心点所在的位置。 我们经常用到的能够反映出集中趋势的统计量： 均值：算数平均数，描述 平均水平 。 中位数：将数据按大小排列后位于正中间的数描述，描述 中等水平 。 众数：数据种出现最多的数，描述 一般水平 。

均值：算数平均数 例如：某次数学考试种，小组A与小组B的成员成绩分别如下： A：70，85，62，98，92 B：82，87，95，80，83 分别求出两组的平均数，并比较两组的成绩。

组B的平均分比组A的高，就是组B的总体成绩比组A高。

中位数：将数据按大小顺序（从大到小或者从小到大）排列后处于 中间位置 的数。 例如：58，32，46，92，73，88，23 1.先排序：23，32，46，58，73，88，92 2.找出中间位置的数23，32，46， 58 ，73，88，92 如果数据中是偶数个数，那么结果会发生什么改变？ 例如：58，32，46，92，73，88，23，63 1.先排序：23，32，46，58，63，73，88，92 2.找出处于中间位置的数：23，32，46， 58 ， 63 ，73，88，92 3.若处于中间位置的数据有两个（也就是数据的总个数为偶数时），中位数为中间两个数的算数平均数：（58+63）/2=60.5 在原数据中，四个数字比60.5小，四个数字比60.5大。

众数：数据中出现次数最多的数（所占比例最大的数） 一组数据中，可能会存在多个众数，也可能不存在众数。 1 2 2 3 3 中，众数是2 和 3 1 2 3 4 5 中，没有众数 1 1 2 2 3 3 4 4 中，也没有众数 只要出现的频率是一样的，那么就不存在众数 众数不仅适用于数值型数据，对于非数值型数据也同样适合 {苹果，苹果，香蕉，橙子，橙子，橙子，橙子，桃子}这一组数据，没有什么均值中位数科研，但是存在众数---橙子。 但是在R语言里面没有直接计算众数的内置函数，不过可以通过统计数据出现的频率变相的去求众数。

下面比较一下均值，中位数，众数三个统计量有什么优点和缺点 [图片上传失败...(image-57f18-1586015539906)]

例子： 两个公司的员工及薪资构成如下： A：经理1名，月薪100000；高级员工15名，月薪10000；普通员工20名，月薪7500 B：经理1名，月薪20000；高级员工20名，月薪11000；普通员工15名，月薪9000 请比较两家公司的薪资水平。若只考虑薪资，你会选择哪一家公司？

A 7500 B 11000

A 7500 B 11000</pre>

若从均值的角度考虑，明显地A公司的平均月薪比B公司的高，但是A公司存在一个极端值，大大地拉高了A公司的均值，这时只从均值考虑明显不太科学。从中位数和众数来看，B公司的薪资水平比较高，若是一般员工，选择B公司显得更加合理。

比较下面两组数据： A： 1 2 5 8 9 B： 3 4 5 6 7 两组数据的均值都是5，但是你可以看出B组的数据与5更加接近。但是有描述集中趋势的统计量不够，需要有描述数据的离散程度的统计量。

极差 ：最大值 - 最小值，简单地描述数据的范围大小。 A： 9 - 1 = 8 B： 7 - 3 = 4 同样的5个数，A的极差比B的极差要大，所以也比B的要分散 但是只用极差这个衡量离散程度也存在不足 比如： A： 1 2 5 8 9 B： 1 4 5 6 9 两组数据虽然极差都是相同的，但是B组数据整体分布上更加靠近5。

方差 ：在统计学上，更常地是使用方差来描述数据的 离散程度 ：数据离中心越远，越离散。 方差越大，就代表这组数据越离散。

对于前面的数据 1 2 5 8 9，前面求的一组数据的方差是12.5。 将12.5于原始数据进行比较，可以看出12.5比原数据都大，这是否就能说明这一组数据十分离散呢？ 其实方差与元数据的单位是不一样的，这样比较也是毫无意义的。如果原始数据的单位是m的话，那么方差的单位就是m^2 为了保持单位的一致性，我们引入一个新的统计量：标准差 标准差：sqrt(var())， 有效地避免了因为单位的平方而引起的度量问题。 与方差一样，标准差的值越大，表示数据越分散。 A： 1 2 5 8 9 B： 3 4 5 6 7

某班40个学生某次数学检测的成绩如下：

63，84，91，53，69，81，61，69，78，75，81，67，76，81，79，94，61，69，89，70，70，87，81，86，90，88，85，67，71，82，87，75，87，95，53，65，74，77 对于这一组数字，你能看出什么呢？ 或许先算一算平均值，中位数，或者众数

或许算一算这组数据的方差或者标准差

但是即便是统计了上述的数据，我们还是对全班同学的分数分布，没有一个全面的了解。 原始数据太杂乱无章，难以看出规律性，只依赖数字来描述集中趋势与离散程度让人难以对数据产生直观地印象，这是我们就需要用到图标来展示这些数字。

1.找出上面数据中的最大值和最小是，确定数据的范围。

将成绩排序后很容易得到最大值是95，最小值是53

2.整理数据，将数据按照成绩分为几个组。成绩按照一般50-60，60-70，70-80，80-90，90-100这几个分段来划分(一般都分为5-10组)，然后统计这几个分段内部的频数。 可以看到80-90这个分段的人数是最多的。 注意在绘制直方图的时候，一定要知道是左闭右开还是左开右闭。 因为这个可能会直接影响到频数的统计。

上图就是：频数直方图。频数作为纵坐标，成绩作为横坐标。通过直方图我们可以对成绩有一个非常直观的印象。 除了频数直方图，还有一种直方图：频率直方图。与频数直方图相比，频率直方图的纵坐标有所改变，使用了频率/组距。 频率=频数/总数；组距就是分组的极差，这里的组距是10.

除了直方图外，画一个简单的箱线图也可以大致看出数据的分布。

​
想要看懂箱线图，必须要学习一些箱线图专业的名词： 下四分位数：Q1，将所有的数据按照从小到大的顺序排序，排在第25%位置的数字。 上四分位数：Q3，将所有的数据按照从小到大的顺序排序，排在第75%位置的数字。 四分距：IQR，等于Q3-Q1，衡量数据离散程度的一个统计量。 异常点：小于Q1-1.5IQR或者大于Q3+1.5IQR的值。 （注意是1.5倍的IQR） 上边缘：除异常点以外的数据中的最大值 下边缘：除异常点以外的数据种的最小值

​

茎叶图可以在保留全部数据信息的情况下，直观地显示出数据的分布情况。 左边是茎，右边是叶。 若将茎叶图旋转90度，则可以得到一个类似于直方图的图。跟直方图一样，也可以直观地知道数据的分布情况。 并且可以保留所有的数据信息。 茎叶图的画法也非常的简单： 将数据分为茎和叶两部分，这里的茎是指十位上的数字，叶是指给上的数字。 将茎部份（十位）从小到大，从上到下写出来 相对于各自的茎，将同一茎（十位）从小到大，从左往右写出来。

但是茎叶图也有缺陷，因为百位和十位同时画在茎叶图的时候，容易区分不开。同时也可能出现却叶的情况。

以时间作为横坐标，变量作为纵坐标，反映变量随时间推移的变化趋势。

显示一段时间内的数据变化或者显示各项之间的比较情况。

根据各项所占百分比决定在饼图中扇形的面积。简单易懂，通俗明了。可以更加形象地看出各个项目所占的比例大小。 适当的运用一些统计图表，可以更生动形象的说明，不再只是纯数字的枯燥描述。

学习链接： https://www.bilibili.com/video/BV1Ut411r7RG

G. 大数据分析的基础是什么

1、可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2、数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3、预测性分析能力

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4、语义引擎

大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

5、数据质量和数据管理

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。