A. 什么是大数据大数据能干什么
什么是大数据？
在英文里被称为big data,或称为巨量资料，就是当代海量数据迹扰构成的一个集合，包括了我们在互联网上的一切信息。
大数据能干什么？
通过对大数据的抽取，管理，处理，并整理成为帮助我们做决策。列如：应用以犯罪预测，流感趋势预测，选举预测，商品推荐预测等等
大数据专业需要学什么？
因为涉及对海量数据的分析，离不开的就是数学，很多很多的数学。按照我们学习计划的安排来看，我在大一大二期间就学了有：数学分析，线性代数，概率统计，应用统计学，离散数学，常微分。相比起其他计算机专业来说，我们确实要学很多数学。然后什么公共课就不用多说了，如：大学英语，大学物理，思想政治，毛概等等。在专业课上，我们首先要学的就是C语言基础，然后就是数据结构，Python基础，历碧java面向对象程序设计，数据结构与算法，数学建模，大数据等，简直不要太多了，留给图看看吧
未完待写
接着上一次内容
学大数据能做什么工作？
分为三个大类，第一是大数据系统研发类，第二是大数据应用开发类，第三是大数据分析类
大数据分析师：大数据分析师要学会打破信息孤岛利用各种数据源，在海量数据中寻找数据规律，在海量数据中发现数据异常。负责大数据数据分析和挖掘平台的规划、开发、运营和优化；根据项目设计开发数据模型、数据挖掘和处理算法；通过数据探索和模型的输出进行分析，给出分析结果。
大数据工程师： 主要是偏开发层面，指的是围绕大数据系平台系统级的研发人员， 熟练Hadoop大数据平台的核心框架，能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台姿烂旦监控、辅助运维系统的开发。
数据挖掘师/算法工程师： 数据建模、机器学习和算法实现，需要业务理解、熟悉算法和精通计算机编程 。
数据架构师： 高级算法设计与优化;数据相关系统设计与优化，有垂直行业经验最佳，需要平台级开发和架构设计能力。
数据科学家：据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能寻找新的数据洞察的工程师或专家(不同于统计学家或分析师)。一个优秀的数据科学家需要具备的素质有：懂数据采集、懂数学算法、懂数学软件、懂数据分析、懂预测分析、懂市场应用、懂决策分析等。
薪资待遇方面：
数据科学家->数据架构师==算法工程师>大数据工程师>数据分析师
B. 学习大数据需要哪些数学知识
我们都知道编程技术是需要一定的逻辑能力的，不管哪种语言，都绕不过“规律”这一说，那么大家知道对于大数据技术，我们需要了解哪些数学知识吗？北京电脑培训带你了解一下吧。
（1）概率论与数理统计
这部分与大数据技术开发的关系非常密切，条件概率、独立性等基本概念、随机变量及其分布、多维随机变量及其分布、方差分析及回归分析、随机过程（特别是Markov）、参数估计、Bayes理论等在大数据建模、挖掘中就很重要。
大数据具有天然的高维特征，在高维空间中进行数据模型的设计分析就需要一定的多维随机变量及其分布方面的基础。Bayes定理更是分类器构建的基础之一。除了这些这些基础知识外，条件随机场CRF、隐Markov模型、n-gram等在大数据分析中可用于对词汇、文本的分析，可以用于构建预测分类模型。
当然以概率论为基础的信息论在大数据分析中也有一定作用，比如信息增益、互信息等用于特征分析的方法都是信息论里面的概念。
（2）线性代数
这部分的配猜数学知识与大数据技术开发的关系也很密切，培察型矩阵、转置、秩分块矩阵、向量、正交矩阵、向量空间、特征值与特征向量等在大数据建模、分析中也是常用的技术手段。
在互联网大数据中，许多应用场景的分析对象都可以抽象成为矩阵表示，大量Web页面及其关系、微博用户及其关系、文本集中文本与词汇的关系等等都可以用矩阵表示。比如对于Web页面及其关系用矩阵表示时，矩阵元素就代表了页面a与另一个页面b的关系，这种关系可以是指向关系，1表示a和b之间有超链接，0表示a,b之间没有超链接。著名的PageRank算法就是基于这种矩阵进行页面重要性的量化，并证明其收敛性。
以矩阵为基础的各种运算，如矩阵分解则是分析对象特征提取的途径，因为矩阵代表了某种变换或映射，因此分解后得到的矩阵就代表了分析对象在新空间中的一些新特征。所以，奇异值分解SVD、PCA、NMF、MF等在大数据分析中的应用是很广泛的。
（3）最优化方法
模型学习训练是很多分析挖掘模型用于求解参数的途径，基本问题是：给定一个函数f:A→R，寻找一个元素a0∈A，使得对于所有A中的a，f(a0)≤f(a)（最小化）；或者f(a0)≥f(a)（最大化）。优化方法取决于函数的形式，从目前看，最优化方法通常是基于微分、导数的方法，例如梯度下降、爬山法、没搜最小二乘法、共轭分布法等。
（4）离散数学
离散数学的重要性就不言而喻了，它是所有计算机科学分支的基础，自然也是大数据技术的重要基础。
C. 大数据预处理有哪些技术及方法呢
1）数据清理
数据清理例程就是通过填写缺失值、光滑噪声数据、识别或者删除离群点，并且解决不一致性来进行“清理数据”。
2）数据集成
数据集成过程将来自多个数据源的数据集成到一起。
3）数据规约
数据规约是为了得到数据集的简化表示。数据规约包括维规约和数值规约。
4）数据变换
通过变换使用规范化、数据离散化和概念分层等方法，使得数据的挖掘可以在多个抽象层面上进行。数据变换操作是提升数据挖掘效果的附加预处理过程。
1）缺失值
对于缺失液蔽消值的处理，一般是能补的就想办法把它补上，实在补不上的就丢弃处理。
通常的处理方法有：忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组属同一类的所有样本的属性均值或中位数、使用最可能的值填充缺失值。
2）噪声数据
噪声是被测量变量的随机误差或方差。去除噪声、使数据“光滑”的技术有分箱、回归、离群点分析等。
3）数据清理过程
这个环节主要包括数据预处理、清理方法、校验清理方法、执行清理工具及数据归档。
数据清理的原理是通过分析“无效数据”产生的原因和存在形式，利用现有的技术手段和方法去清理，将“无效数据”转化为满足数据质量或应用要求的数据，从而提高数据集的数据质量。
常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。
4）模型构建数据统计分析
数据统计为模型构建提供基础，只有通过数据统计分析探索到了数据中隐藏的规律，深度学习才有意义，人工智能才有可能。
数据统计又包括数据分析与结果分析，基本的分析方法有：对比分析法、分组分析法、交叉分析法、因素分析法、结构分析法、漏斗图分析法、矩阵关联分析法、综合评价分析法等。
高级的分析方法有：主成分分析法、因子分析法、对应分析法、相关分析法、回归分析法、聚类分析法、判别分析法、时间序列等。这些类别并不是独一使用的，往往是混合使用的，然后再通过进一步闹知的分析对比从中挑选某些组合模型。
5）数据可视化
数据可视化，就是通过一些可视化图形或者报表形式进行并慧展示，增强对分析结果的理解。再针对结果进行进一步的数据再分析，使得整个业务环节形成闭环。只有闭环的数据才能真正发挥出深度学习的效用。
D. 7个因素决定大数据的复杂性 如何处理
7个因素决定大数据的复杂性 如何处理
我们谈论了很多关于复杂数据及其为你的商业智能带来的挑战和机遇，但是导致数据复杂化的是什么呢？
以及你如何区分你的公司当前的数据是否是“复杂的”，亦或不久的将来会变得复杂？本文将解决这些问题。
为什么这很重要？
当你试图将数据转化为商业价值时，它的复杂度很可能会预示你将面对的困难程度——复杂数据的准备和分析通常要比简单数据更加困难，以及通常需要一组不同的BI 工具来实现。复杂数据在可以“成熟的”分析和可视化之前需要额外的准备工作和数据模型。因此重要的是，通过了解您目前的数据的复杂程度以及它在未来的复杂性趋向，来评估您的大数据/商业智能项目是否能够胜任这一任务。
简单测试：大数据或者异构数据
在高级层面上，有两种基本的迹象表明你的数据可能被视为是复杂的：
你的数据很“大”：我们把大放在引号里是因为它貌似符合“大数据”术语的含义。然而事实是，处理海量数据在计算资源需要处理巨大的数据集方面提出了一个挑战， 就像把小麦从谷壳分开的困难，或者说在一个巨大的原始信息中辨别信号和杂音。
你的数据来自许多不同的数据源：多重数据源通常意味着脏数据，或者遵循着不同的内部逻辑结构的简单的多个数据集。为了确保数据源有统一的数据语言，数据必须被转换或整合到一个中央资源库。
可以认为这是两个最初的（可供选择的）征兆：如果你正处理大数据或异构数据，你应当开始思考数据的复杂性。但是深究一下，对你的公司的数据的复杂性，以下有7个更具体的指标。
（注意，以上两点之间有相似之处，但不互相排除——反之，例如，离散数据往往意味着各种各样的数据结构类型）
7个因素决定你的数据的复杂性
1、数据结构
不同数据源的数据，或甚至来自同一个源的不同表，通常设计同样的信息但结构却完全不同：
举例来说，想象你们人力资源部有三种不同的表格，一个是员工个人信息表，另一个是员工职位和薪资表第三个是员工职位要求表，诸如此类——而你们财务部门随同保险、福利和其他花费一起记录同样的信息到单个表中。另外，在这些表中的一些表可能提到员工的全名，而另一些则只有名字的首字母，或者二者的结合。为了从所有表中有效使用数据，同时不丢失或重复信息，需要数据建模或准备工作。
这是最简单的用例：更进一步复杂化的是处理最初没有适当地模式的非结构化数据源（例如NoSQL 数据库）。
2、数据大小
再次回到模糊的“大数据”概念，你收集的数据量会影响你需要用来分析它的软硬件的类型。这个可以通过原始大小来衡量：字节，TB或PB——数据增长越大，越有可能“窒息”广泛使用的内存数据库（IMDB），依赖于转化压缩数据到服务器内存。其他因素包括多元异构数据——包含很多数据行的表（Excel，可以说是最常用的数据分析工具，最大行数限制为1048576行），或结构化数据——包含很多数据列的表。
你将会发现在分析工具和方法上用于分析100,000行数据和那些用于分析1亿行数据的是明显不同的。
3、数据细节
你想要探索的数据的粒度水平。当创建一个仪表盘或报表，展现总结或聚合数据时常常比让终端用户钻取到每一个细节更容易实现——然而这是以牺牲数据分析的深度和数据挖掘为代价而做的权宜之计。
创建一个BI系统，使其具有颗粒向海量数据钻取处理分析的能力，（不依赖于预定义查询，聚合或汇总表）
4、查询语言
不同的数据源有不同的数据语言：虽然SQL是从常见数据源和RDBMS提取数据的主要手段，但是当使用第三方平台时你会经常需要通过它自己的API和语法去连接它，以及解析用于访问数据的数据模型和协议。
你的BI工具需要足够灵活的根据数据源允许这种本地连接的方式，或者通过内置插件或API访问，否则你会发现你自己将不得不重复一个繁琐的导出数据到表格SQL数据库数据仓库的过程，然后导入到你的商业智能软件里，从而使你的分析变得麻烦。
5、数据类型
一方面动态数据以表格形式存储，处理的大多是数值型数据，但是大规模和非结构化的机器数据完全是另外一回事儿，就像是文字数据集存储在MongoDB中，当然了，更别提像视频音频这种超大规模的非结构化数据了。
不同的数据类型具有不同的规则，为使得商业决策建立在对公司数据的全面考虑的基础上，找到一种建立单一可信来源的方法是至关重要的。
6、离散数据
数据存储在多个位置：例如，组织里的不同部门，本地或云（付费存储或通过云应用），来自客户或供应商的外部数据等。这种数据不仅收集起来很困难（简单来说是由于及时而有效的接收数据而需要的利益相关者的数量）。而且一旦收集了——在不同的数据集交叉引用和分析之前，通常需要“清理”或标准化，因为每个本地数据集是根据相关组织应用程序自身的实际和关注收集数据。
7、数据量的增长
最终，你不仅需要考虑当前数据，还有数据的增长或变化的速度。如果经常更新数据源，或经常增加新的数据源，这将会消耗你的软硬件资源（无论何时当源数据发生重大更改时,不是非常先进的系统都需要重新获取整个数据集）,以及上述提到的关于结构、类型、大小的复合性问题等。
怎样掌控复杂数据？
如果你认同上述的一个或更多以及你的数据刚刚好是复杂的，不要绝望：理解，是找到一个合适的解决方案的第一步，以及复杂数据的分析本身不需要过于复杂。我们将在未来的文章中涉及解决复杂数据的方法，但是你将想问自己的第一件事可能是——控制复杂数据你实际需要多少BI系统。
以上是小编为大家分享的关于7个因素决定大数据的复杂性 如何处理的相关内容，更多信息可以关注环球青藤分享更多干货
E. 大数据问题
大数据问题，确切来说是很大数据量下的空间限制问题，解决方法有以下7种（图源左程云基础班）：
先思考用一个大的HashMap的情况。 key是某个整数，value是该整数出现的次数，这样可以统计词频，然后得出TOP10词频。计算此时使用的内存，4字节无符号整数范围是0到42亿多（如果是有符号整数范围是-21亿多到21亿多），范围是比40亿大的。最差情况下如果40亿个数都不同，此时HashMap使用的空间为40亿条记录，每条记录中key（无符号整数）是4字节，value（词频）也是4字节（int类型），总共8字节，总计320亿字节，即32G（10亿字节可估算为1G），哈希表爆掉了。
这里先补充一下哈希函数的特征：
特征1.输入域无穷大，输出域相对有限。
特征2.没有任何随机的成分，是确定规则的函数。输入相同那么输出一定相同；不同的输入可能会有相同输出（哈希碰撞）。
特征3. 输入哪怕很接近，最终的计算结果也很离散，和输入规律没有关系。这一点也是最关键的特征。
特征4.输出再模上一个数，取模的结果也是离散的
反推1G内存的HashMap可以有多少条记录，保守点1亿条，意味着该HashMap处理的包含数的种类（不是个数）不要超过1亿种，怎么处理？40亿个整数的大文件，每个数字用哈希函数处理完再取模100，只会是0到99。根据哈希函数特征3，不同输入会均匀分布到0到99上，40亿个数如果拥有的不同数的种类是K种的话，这样处理完后，每个小文件里几乎有100/k这么多种数，这样每个小文件里就不到1亿种了。再用HashMap一个一个文件去处理词频，搞出100个文件各自的TOP10，哈希函数相同输入则相同输出，所以不会出现一个数字落到不同文件里的情况。对文件的TOP10合并，就得到全局TOP10。
上面取模取40其实就可以了，40亿个数种类数K小于等于40亿，所以K/40小于等于1亿，符合上面要求的1G内存，但取的是100而不是40是为了更保险。
使用位图，用某个bit表示某个数出现过还是没出现过。如果是哈希表，表示一个数出现与否需要用一个键值对，键和值都占4字节，那么一条记录所占的空间就是64bit（8字节）。用位图的话，1bit表示1个数，数范围多大就用多少位bit；42亿多bit/8 = 5亿多byte = 500多M（10亿byte=1G）；在1G空间内拿下。
用两个bit位表示某个数字出现的频率。00表示出现0次；01表示出现1次；10表示出现2次；11表示出现3次，如果出现次数更多大于3次，11不变。这样最后统计下来就可以知道所有出现2次的数字，与原来相比就多了一倍空间，1G空间拿下。
位图不能用了，3KB空间太小了。先计算3KB能做多长的无符号数组，一个无符号数大小为4B，3KB/4B=750，然后750距离2的某次方哪个最近，512，那就申请一个长度为512的无符号整型数组arr（arr占用空间大小显然不超过3KB）。题目中数字范围是0到2的32次方减一（一共有2的32次方这么多个数），因为和512一样都是2的某次方，所以2的32次方一定可以均分成512份（每一份大小是8388608）；arr[0]表示512份里的第0份（范围0~8388607），表示这一份上的词频统计；而且因为一共只有40亿个数，那么arr[0]统计的数字一定不会溢出（40亿 < 2的32次方减一 = 42亿多，一无符号数是32位）；如果统计所有数出现的频率到对应范围的份上，一定有某一份词频不够83888608；假设不足的那一份是第a份，那么下次把3KB在第a份这个范围上再分512份，最终往下分，总能找到哪个数字没出现。
总体时间复杂度：以 512 为底的 2的32次方 的对数。这是个很小的数。且按行读文件占用内存是很少的，读文件并不是一次性把所有文件都load到内存里去，而是在硬盘文件里用偏移量找到某一行数据，读下一行的时候前一行的空间就可以被释放了；所以维持一个句柄句尾还有偏移量就可以按行读文件了。
整个范围是0到2的32次方减一。计算出中点Mid并统计0到Mid范围出现多少个数记为a，统计Mid+1到结尾范围出现多少数记为b个；a和b中一定有一个不满，不满的那个再二分，最终一定能定位到某个数字没出现，遍历次数以 2 为底 2的32次方 对数次，即32次
面对空间限制类题目，从范围数据状况入手，分区间统计的思想。
用哈希函数把URL分配到很多机器上去，每台机器上的文件再用哈希函数分成小文件，每个小文件分区间统计之后，找到重复的URL
利用堆、外排序来做多个处理单元的结果合并
通过1G内存分流文件，这1G用于存储哈希表。哈希函数特性是同样的URL会进到一个文件里去，文件大小为分流到1G可以统计下为止，从而把100亿个URL的大文件分流成小文件。哈希表的key是64字节（URL大小），value是long类型（因为是100亿个，无符号整数不够用）8字节。然后算1G内存最多可以放多少条这种记录，就可以知道小文件容忍的的不同的URL最多有多少条；从而反推出假设100亿个URL都是不同的，需要多少个小文件保证1G不超。
计算：64+8=72字节，哈希表内部可能有索引空间的占用，可以算的富裕一点，算作一条记录要100字节；1G=10亿字节，得出哈希表最多放1千万条记录，即记录1千万种不同的URL；最坏情况100亿个URL都不同，100亿/1千万得需要1千个小文件，那么原来的URL大文件用哈希函数算完再模上1千，分到对应的小文件里（根据哈希函数的性质，每个小文件里种类差不多是均分的，而且每个文件里记录数差不多1千万左右，不会超出多少）。然后在这1G空间里统计每个小文件里词频的TOP100，1千个文件有1千个TOP100，然后在每个文件里建立用词频作为排序的大根堆。
把每个堆的堆顶再组成一个大根堆，构成堆上堆，二维堆（即上图中的二叉树结构）；例如上图里包含甲、乙、丙；a、b、c；α、β、θ三个堆，现在堆顶元素甲、a、α构成大根堆
如上图所示，假如调整完发现α是最大的，那么α与a交换时是α这一串与a这一串交换，就输出了α作为整个词频中TOP1。
如上图所示，α输出后β顶上来，但β未必是全局最大值，所以堆顶元素组成的大根堆开始heapify；假如甲此时是全局最大值，那么甲这一串与β那一串交换......如此循环往复，每次堆上堆输出一个最大值，下面的元素顶上来，然后堆上堆再调整，整个串交换；二维堆每次输出一个，输出100次就是TOP100。
如果是遍历，时间代价O(100)；用堆结构可以加速到O(log100)。从这里可以看出外排每次决定一个东西是遍历一遍每个堆堆顶并比较大小。
假设给的空间限制为3KB，和前面一样分成512份且每一份都能统计下词频，第一份假设这些数出现a个，第二份假设这些数出现b个，第三份假设这些数出现c个，所有段的词频都有，然后把a、b、c……加起来，看在哪个范围上刚超20亿或刚好20亿，就把第20亿定位在这个范围上了。
举例假如第 i 份加完是19亿个，第 i + 1份加完是21亿个，那么20亿就在第 i + 1份上且是第 i + 1份上的第1亿个，接下来在第 i + 1份上再分512份去词频统计，看哪一份是刚超1亿或刚好到1亿，如此下去，总有统计出来的时候。
F. 什么是大数据
大数据（Big Data）指的是大规模、高复杂度、处理速度快的数据集合。大数据集合通常由多种不同类型的数据构成，如结构化数据（如数据库中的表格数据）、半结构化数据（如XML或JSON格式的数据）和非结构化数据（如文本、音频、视频等）。
大数据的特征可以由“念激4V”来表示：
1.Volume（数据量）：指的是大数据集合的数据量通常非常庞大，可能是以TB或PB计量的。数据的体量之大，往往需要使用分布式处理技术才能处理。
2.Velocity（数据处理速度）：指的是大数据集合的数据流动速度通常非常快，可能需要实时或准实时的处理，以满足业务需滑拆求。这就需要处理大数据的系统具有高效的实时处理能力。
3.Variety（数据类型多样性）：指的是大数据集合中包含各种类型的数据，如文本、图像、音频、视频等，这些数据可能以不同的格式、编码方式存在，需要对其进行处理和整合。
4.Value（数据价值）：指的是大数据集合中蕴含着巨大的价值，通过对大数据进行分析和挖掘，可以发现数据背后的规律和关联，帮助企业做出更明智的决策，提高产品和服务的质量等。
大数据在当前的商业、科技、医疗、教育等领域都仔让袜得到了广泛的应用。通过对大数据进行分析和挖掘，可以实现精准营销、智能制造、金融风控、医疗诊断、交通管控等方面的应用。同时，由于大数据集合的处理和存储需要庞大的计算资源和存储设备，因此大数据也推动了云计算、分布式计算等技术的发展。
G. # 大数据的统计学基础
概率论是统计学的基础，统计学冲锋在应用第一线，概率论提供武器。
我们在学习R的时候，会做过假设检验。做假设检验的时候会有一个基本的技术就是构造出统计量，这些统计量要满足一定的概率密度分布，然后我算这个统计量的值，来判定它在这个密度分布里面，分布在哪个区域，出现在这个区域内的可能性有多高，如果可能性太低，我们就判定我们的假设检验是不成立的。 那么如何构造这个统计量，这是一个很有技术的东西，同时也是由数学家来完成的，那这个工作就是概率论所作的事情。
古典概率论： 扔硬币，正面1/2反面1/2，扔的次数之间是相互独立的。 但是这个等概率事件确实是一个不是很严谨的事情。仔细想一想其实是很有趣的。 柯尔莫哥洛夫创建现代概率论 他将概率论提出了许多公理，因此将概率论变成了非常严谨的一门学科。
学会和运用概率，会使人变得聪明，决策更准确。
统计学 ： 统计学可以分为：描述统计学与推断统计学 描述统计学 ：使用特定的数字或者图表来体现数据的集中程度和离散程度。比如：每次考试算的平均分，最高分，各个分数段的人数分布等，也是属于描述统计学的范围。 推断统计学 ：根据样本数据推断总体数据特征。比如：产品质量检查，一般采用抽样检测，根据所抽样本的质量合格率作为总体的质量合格率的一个估计。 统计学的应用十分广泛，可以说，只要有数据，就有统计学的用武之地。目前比较热门的应用：经济学，医学，心理学，IT行业大数据方面等。
例如：对于 1 2 3 4 5 这组数据，你会使用哪个数字作为代表呢？ 答案是3。 因为3是这组数据的中心。 对于一组数据，如果只容许使用一个数字去代表这组数据，那么这个数字应该如何选择？？？-----选择数据的中心，即反映数据集中趋势的统计量。 集中趋势：在统计学里面的意思是任意种数据向 中心值靠拢 的程度。它可以反映出数据中心点所在的位置。 我们经常用到的能够反映出集中趋势的统计量： 均值：算数平均数，描述 平均水平 。 中位数：将数据按大小排列后位于正中间的数描述，描述 中等水平 。 众数：数据种出现最多的数，描述 一般水平 。
均值：算数平均数 例如：某次数学考试种，小组A与小组B的成员成绩分别如下： A：70，85，62，98，92 B：82，87，95，80，83 分别求出两组的平均数，并比较两组的成绩。
组B的平均分比组A的高，就是组B的总体成绩比组A高。
中位数：将数据按大小顺序（从大到小或者从小到大）排列后处于 中间位置 的数。 例如：58，32，46，92，73，88，23 1.先排序：23，32，46，58，73，88，92 2.找出中间位置的数23，32，46， 58 ，73，88，92 如果数据中是偶数个数，那么结果会发生什么改变？ 例如：58，32，46，92，73，88，23，63 1.先排序：23，32，46，58，63，73，88，92 2.找出处于中间位置的数：23，32，46， 58 ， 63 ，73，88，92 3.若处于中间位置的数据有两个（也就是数据的总个数为偶数时），中位数为中间两个数的算数平均数：（58+63）/2=60.5 在原数据中，四个数字比60.5小，四个数字比60.5大。
众数：数据中出现次数最多的数（所占比例最大的数） 一组数据中，可能会存在多个众数，也可能不存在众数。 1 2 2 3 3 中，众数是2 和 3 1 2 3 4 5 中，没有众数 1 1 2 2 3 3 4 4 中，也没有众数 只要出现的频率是一样的，那么就不存在众数 众数不仅适用于数值型数据，对于非数值型数据也同样适合 {苹果，苹果，香蕉，橙子，橙子，橙子，橙子，桃子}这一组数据，没有什么均值中位数科研，但是存在众数---橙子。 但是在R语言里面没有直接计算众数的内置函数，不过可以通过统计数据出现的频率变相的去求众数。
下面比较一下均值，中位数，众数三个统计量有什么优点和缺点 [图片上传失败...(image-57f18-1586015539906)]
例子： 两个公司的员工及薪资构成如下： A：经理1名，月薪100000；高级员工15名，月薪10000；普通员工20名，月薪7500 B：经理1名，月薪20000；高级员工20名，月薪11000；普通员工15名，月薪9000 请比较两家公司的薪资水平。若只考虑薪资，你会选择哪一家公司？
A 7500 B 11000
A 7500 B 11000</pre>
若从均值的角度考虑，明显地A公司的平均月薪比B公司的高，但是A公司存在一个极端值，大大地拉高了A公司的均值，这时只从均值考虑明显不太科学。从中位数和众数来看，B公司的薪资水平比较高，若是一般员工，选择B公司显得更加合理。
比较下面两组数据： A： 1 2 5 8 9 B： 3 4 5 6 7 两组数据的均值都是5，但是你可以看出B组的数据与5更加接近。但是有描述集中趋势的统计量不够，需要有描述数据的离散程度的统计量。
极差 ：最大值 - 最小值，简单地描述数据的范围大小。 A： 9 - 1 = 8 B： 7 - 3 = 4 同样的5个数，A的极差比B的极差要大，所以也比B的要分散 但是只用极差这个衡量离散程度也存在不足 比如： A： 1 2 5 8 9 B： 1 4 5 6 9 两组数据虽然极差都是相同的，但是B组数据整体分布上更加靠近5。
方差 ：在统计学上，更常地是使用方差来描述数据的 离散程度 ：数据离中心越远，越离散。 方差越大，就代表这组数据越离散。
对于前面的数据 1 2 5 8 9，前面求的一组数据的方差是12.5。 将12.5于原始数据进行比较，可以看出12.5比原数据都大，这是否就能说明这一组数据十分离散呢？ 其实方差与元数据的单位是不一样的，这样比较也是毫无意义的。如果原始数据的单位是m的话，那么方差的单位就是m^2 为了保持单位的一致性，我们引入一个新的统计量：标准差 标准差：sqrt(var())， 有效地避免了因为单位的平方而引起的度量问题。 与方差一样，标准差的值越大，表示数据越分散。 A： 1 2 5 8 9 B： 3 4 5 6 7
某班40个学生某次数学检测的成绩如下：
63，84，91，53，69，81，61，69，78，75，81，67，76，81，79，94，61，69，89，70，70，87，81，86，90，88，85，67，71，82，87，75，87，95，53，65，74，77 对于这一组数字，你能看出什么呢？ 或许先算一算平均值，中位数，或者众数
或许算一算这组数据的方差或者标准差
但是即便是统计了上述的数据，我们还是对全班同学的分数分布，没有一个全面的了解。 原始数据太杂乱无章，难以看出规律性，只依赖数字来描述集中趋势与离散程度让人难以对数据产生直观地印象，这是我们就需要用到图标来展示这些数字。
1.找出上面数据中的最大值和最小是，确定数据的范围。
将成绩排序后很容易得到最大值是95，最小值是53
2.整理数据，将数据按照成绩分为几个组。成绩按照一般50-60，60-70，70-80，80-90，90-100这几个分段来划分(一般都分为5-10组)，然后统计这几个分段内部的频数。 可以看到80-90这个分段的人数是最多的。 注意在绘制直方图的时候，一定要知道是左闭右开还是左开右闭。 因为这个可能会直接影响到频数的统计。
上图就是：频数直方图。频数作为纵坐标，成绩作为横坐标。通过直方图我们可以对成绩有一个非常直观的印象。 除了频数直方图，还有一种直方图：频率直方图。与频数直方图相比，频率直方图的纵坐标有所改变，使用了频率/组距。 频率=频数/总数；组距就是分组的极差，这里的组距是10.
除了直方图外，画一个简单的箱线图也可以大致看出数据的分布。
想要看懂箱线图，必须要学习一些箱线图专业的名词： 下四分位数：Q1，将所有的数据按照从小到大的顺序排序，排在第25%位置的数字。 上四分位数：Q3，将所有的数据按照从小到大的顺序排序，排在第75%位置的数字。 四分距：IQR，等于Q3-Q1，衡量数据离散程度的一个统计量。 异常点：小于Q1-1.5IQR或者大于Q3+1.5IQR的值。 （注意是1.5倍的IQR） 上边缘：除异常点以外的数据中的最大值 下边缘：除异常点以外的数据种的最小值
茎叶图可以在保留全部数据信息的情况下，直观地显示出数据的分布情况。 左边是茎，右边是叶。 若将茎叶图旋转90度，则可以得到一个类似于直方图的图。跟直方图一样，也可以直观地知道数据的分布情况。 并且可以保留所有的数据信息。 茎叶图的画法也非常的简单： 将数据分为茎和叶两部分，这里的茎是指十位上的数字，叶是指给上的数字。 将茎部份（十位）从小到大，从上到下写出来 相对于各自的茎，将同一茎（十位）从小到大，从左往右写出来。
但是茎叶图也有缺陷，因为百位和十位同时画在茎叶图的时候，容易区分不开。同时也可能出现却叶的情况。
以时间作为横坐标，变量作为纵坐标，反映变量随时间推移的变化趋势。
显示一段时间内的数据变化或者显示各项之间的比较情况。
根据各项所占百分比决定在饼图中扇形的面积。简单易懂，通俗明了。可以更加形象地看出各个项目所占的比例大小。 适当的运用一些统计图表，可以更生动形象的说明，不再只是纯数字的枯燥描述。
学习链接： https://www.bilibili.com/video/BV1Ut411r7RG
H. 19.简述大数据调查法的特点
大数据调查法是一种利用大数据技术进行调查和分析的方法。其主要特点如下：
数据量大：大数据调查法所使用的数据量非常大，通常是几百万到几亿个数据点，这可以提供更全面、更准确的信息和洞见。
高速度：大数据调查法使用高速的计算机和分布式处理技术，可以快速处理大量数据，从而更快地生成分析结果。
多样性：大数据调查法可以处理各种类型的数据，包括结构化、半结构化和非结构化数据。这些数据可以来自各种来源，例如社交媒体、移动应用程序、传感器等。
精准度高：大数据调查法可以通过对大量数据的分析和挖掘，找到数据背后的模式和规律，并从中提取有价值的信息，这可以提高调查结好滑旦果的准确性和精确度。
实时性：大数据调查法可以在几乎实时的情况下进行数据收集和分析，这使得研究人员可以快速了解当前的情况和趋势，从而及时调整策略。
总让含之，大数据调查法具有数据量大、高速度、多样性友扰、精准度高和实时性等特点，这使得它成为一种有用的调查和分析方法，能够为企业和政府决策提供更准确的信息和指导。
I. 大数据处理之道(预处理方法）
大数据处理之道(预处理方法）
一：为什么要预处理数据？
（1）现实世界的数据是肮脏的（不完整，含噪声，不一致）
（2）没有高质量的数据，就没有高质量的挖掘结果（高质量的决策必须依赖于高质量的数据；数据仓库需要对高质量的数据进行一致地集成）
（3）原始数据中存在的问题：
不一致 —— 数据内含出现不一致情况
重复
不完整 —— 感兴趣的属性没有
含噪声 —— 数据中存在着错误、或异常（偏离期望值）的数据
高维度
二：数据预处理的方法
（1）数据清洗 —— 去噪声和无关数据
（2）数据集成 —— 将多个数据源中的数据结合起来存放在一个一致的数据存储中
（3）数据变换 —— 把原始数据转换成为适合数据挖掘的形式
（4）数据规约 —— 主要方法包括：数据立方体聚集，维度归约，数据压缩，数值归约，离散化和概念分层等。
（5）图说事实
三：数据选取参考原则
（1）尽可能富余属性名和属性值明确的含义
（2）统一多数据源的属性编码
（3）去除唯一属性
（4）去除重复属性
（5）去除可忽略字段
（6）合理选择关联字段
（7）进一步处理：
通过填补遗漏数据、消除异常数据、平滑噪声数据，以及纠正不一致数据，去掉数据中的噪音、填充空值、丢失值和处理不一致数据
四：用图说话，（我还是习惯用统计图说话）
结尾：计算机领域存在一条鄙视链的 ---- 学java的鄙视学C++的，有vim的鄙视用IDE的等等。
数据清洗的路子：刚拿到的数据 ----> 和数据提供者讨论咨询 -----> 数据分析（借助可视化工具）发现脏数据 ---->清洗脏数据（借助MATLAB或者Java/C++语言） ----->再次统计分析（Excel的data analysis不错的，最大小值，中位数，众数，平均值，方差等等，以及散点图） -----> 再次发现脏数据或者与实验无关的数据（去除） ----->最后实验分析 ----> 社会实例验证 ---->结束。
J. 大数据的四大特点分别是什么
一、大量
大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满意很多人的需求，然而跟着时刻的推移，存储单位从曩昔的GB到TB，乃至现在的PB、EB级别。只要数据体量达到了PB级别以上，才干被称为大数据。跟着信息技能的高速发展，数据开端爆发性增长。交际网络、移动网络、各种智能东西等，都成为数据的来历。
二、高速
便是经过算法对数据的逻辑处理速度十分快，1秒规律，可从各种类型的数据中快速获得高价值的信息，这一点也是和传统的数据挖掘技能有着本质的不同。而且这些数据是需要及时处理的，由于花费很多本钱去存储效果较小的历史数据是十分不划算的。
三、多样
如果只要单一的数据，那么这些数据就没有了价值。广泛的数据来历，决议了大数据方式的多样性。任何方式的数据都可以产生效果，目前使用最广泛的便是推荐系统，如淘宝，网易云音乐、今天头条等，这些平台都会经过对用户的日志数据进行剖析，然后进一步推荐用户喜欢的东西。
四、价值
这也是大数据的核心特征。实际国际所产生的数据中，有价值的数据所占份额很小。你如果有1PB以上的全国所有20-35年轻人的上网数据的时分，那么它天然就有了商业价值，比方经过剖析这些数据，我们就知道这些人的爱好，进而指导产品的发展方向等等。如果有了全国几百万患者的数据，根据这些数据进行剖析就能猜测疾病的发生，这些都是大数据的价值。
关于大数据的四大特点分别是什么，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。