r2大数据

A. 大数据行业2015年年终总结_大数据工作人员年终总结

可参考下文

9个关键字写写大数据行业2015年年终总结

2015年，大数据市场的发展迅猛，放眼国际，总体市场规模持续增加，随着人工智能、物联网的发展，几乎所有人将目光瞄准了“数据”产生的价值。行业厂商Cloudera、DataStax以及DataGravity等大数据公司已经投入大量资金研发相灶配关技术，Hadoop供应商Hortonworks与数据分析公司NewRelic甚至已经上市。而国内，国家也将大数据纳入国策。

我们邀请数梦工场的专家妹子和你来聊聊2015年大数据行业九大关键词，管窥这一年行业内的发展。

战略：国家政策

今年中国政府对于大数据发展不断发文并推进，这标志着大数据已被国家政府纳入创新战略层面，成为乱斗国家战略计划的核心任务之一：

2015年9月，国务院发布《促进大数据发展行动纲要》，大力促进中国数据技术的发展，数据将被作为战略性资源加以重视;

2015年10月26日，在国家“十三五”规划中具体提到实施国家大数据战略。

挑战：BI(商业智能)

2015年对于商业智能(BI)分析市场来说，正隐陪指由传统的商业智能分析快速进入到敏捷型商业智能时代。以QlikView、Tableau和SpotView为代表的敏捷商业智能产品正在挑战传统的IBMCognos、SAPBusinessObjects等以IT为中心的BI分析平台。敏捷商业智能产品也正在进一步细化功能以达到更敏捷、更方便、适用范围更广的目的。

崛起：深度学习/机器学习

人工智能如今已变得异常火热，作为机器学习中最接近AI(人工智能)的一个领域，深度学习在2015年不再高高在上，很多创新企业已经将其实用化：Facebook开源深度学习工具“Torch”、PayPal使用深度学习监测并对抗诈骗、亚马逊启动机器学习平台、苹果收购机器学习公司Perceptio同时在国内，网络、阿里，科大讯飞也在迅速布局和发展深度学习领域的技术。

共存：Spark/Hadoop

Spark近几年来越来越受人关注，2015年6月15日，IBM宣布投入超过3500名研究和开发人员在全球十余个实验室开展与Spark相关的项目。

与Hadoop相比，Spark具有速度方面的优势，但是它本身没有一个分布式存储系统，因此越来越多的企业选择Hadoop做大数据平台，而Spark是运行于Hadoop顶层的内存处理方案。Hadoop最大的用户(包括eBay和雅虎)都在Hadoop集群中运行着Spark。Cloudera和Hortonworks将Spark列为他们Hadoop发行的一部分。Spark对于Hadoop来说不是挑战和取代相反，Hadoop是Spark成长发展的基础。

火爆：DBaaS

随着Oracle12cR2的推出，甲骨文以全新的多租户架构开启了DBaaS(数据库即服务Database-as-a-Service)新时代，新的数据库让企业可以在单一实体机器中部署多个数据库。在2015年，除了趋势火爆，12c多租户也在运营商、电信等行业投入生产应用。

据分析机构Gartner预测，2012年至2016年公有数据库云的年复合增长率将高达86%，而到2019年数据库云市场规模将达到140亿美元。与传统数据库相比，DBaaS能提供低成本、高敏捷性和高可扩展性等云计算特有的优点。

B. 面试题-关于大数据量的分布式处理

面试题-关于大数据量的分布式处理
题目：生产系统每天会产生一个日志文件F，数据量在5000W行的级别。文件F保存了两列数据，一列是来源渠道，一列是来源渠道上的用户标识。文件F用来记录当日各渠道上的所有访问用户，每访问一次，记录一条。
请问如何快速计算出各渠道上新增的用户？
问题分析：首先本次面试的是有关于分布式数据处理以及数据分析的职位，所以相关的面试题目可能会偏向于使用分布式的思想去解决。但无奈本人当时反应太慢，实在没向分布式处理方向思考。
方案一：
本题最直观的一个处理方法就是，直接拿着当日新增的5000W条访问记录一条一条的去匹配历史访问用户。若存在历史访问记录，则忽略；若不存在访问记录，则保存为新增记录。很明显，假若历史访问用户有2亿条记录，则需要和2亿条数据比较5000W次。比较次数可想而知。
由于本人一直在做基于数据库的数据处理工作，很容易就想到将历史数据保存在数据库的一张表中，并对来源渠道和用户标识这两个字段建立索引，然后遍历日志文件F（5000W次）。根据日志文件F中的每一行去匹配数据库中的历史访问记录。由于历史数据表有索引，单次查询的速度也非常快。但是需要5000W次的数据库查询，很明显效率低下。
方案二：
既然多次单一查询无法满足要求，于是可以先通过一种数据导入技术将当日新增数据导入到数据库的另一张表中，并和历史数据做左外关联。若能关联成功，则表示此用户已存在；若关联失败，则表示此用户不存在。
此方案暂且不说5000W条记录的大表与2亿条记录的大表关联效率有多高以及使用到的数据库缓冲区的资源有多少，单就5000W条访问记录导入数据库表，都是一个不小的时间花费。
方案三：
很明显，面试时方案二的回答并未达到面试官的预期，最初被遗憾的PASS掉。一家很有潜力，自己很看好的公司，并计划做为自己未来发展方向的职位，就这样丢下我，扬长而去了。
这几天又看了下分布式相关的介绍，突然想到这道题。一下子醒悟过来，其实还是因为对题目要考察的点分析得不够透彻。当时以为只是仅仅考数据处理效率的一个题目，其实考的是一种将复杂问题拆分为简单问题的拆分思想。了解到这一层，一种新的方式立马在脑海中浮现出来。具体如下：
假如现在有N（N>=2）个存储块，并存在一个函数f（来源渠道，用户标识），对于给定的一组（来源渠道，用户标识），总能将其分发到一个固定的存储块内。那么可以使用此函数将5000W行访问记录尽量均匀的分发至N个存储块上，并同时使用此函数将历史访问记录也分发至这些存储块上。由于相同的一组记录，肯定会被分配至同一个存储块，所以比较时，只需要分别比较各个存储块上当日新增记录与历史访问用户，然后将N个存储块上比较的结果汇总，即可得到最终结果。
假设历史访问用户数据已通过函数f（来源渠道，用户标识）被分发至了N个历史文件H1、H2、…、HN。则详细处理步骤如下：
1、将F中的内容使用函数f（来源渠道，用户标识），分发至文件F1、F2、…、FN内。（可开M（M>=2）个并行，且若N-M越大，同时向同一文件写入数据的概率越小）
2、将文件F1、F2、…、FN内的访问记录去重。（可开N个并行分别处理对应的N个文件）。
3、将文件Fn（1=<n<=N）去重后的结果与对应的历史文件Hn比较得出新增用户结果Rn。（可开N个并行分别处理对应的N个文件且当N足够大时，实际要处理数据的量级就会相当小）。
4、合并第3步得到的结果R1、R2、…、RN即可得到当日新增用户。（可并行）
5、为使历史数据文件H1、H2、…、HN中的数据最全，将结果R1、R2、…、RN分别写入对应的历史文件中。（可并行）
本方案主要有以下优点：
1、数据的分发、处理、合并都可并行处理，明显提高了处理效率。
2、由于每个存储块上的新增数据，只需要与它对应存储块上的历史数据比较即可，大大减少了比较次数。（对于当日每一条记录来说，都只需要与大约历史的N分之一条数据去比较）
3、基本不需要考虑历史全量数据的保存及获取问题。
本方案缺点：
1、处理方案明显变的复杂许多，不仅需要处理数据的分发，处理，还需要一个并行的快速收集方法。
2、可能需要多台服务器并行处理。
本方案难点：
1、一个稳定（对于相同的一组来源渠道和用户标识，必定会被分发至同一存储块）、快速（根据一条来源渠道和用户标识数据，可以快速的计算出它将要被分发至的存储块）、均匀（当日新增数据及历史数据都能尽量均匀的被分发至N个存储块，最理想的情况是每个存储块上分发到的数据都是总数据的N分之一）的分发函数至关重要。
2、如何分发、并行处理及汇总数据。

C. 怎么样快速向SQL数据库插入大数据量的数据

添加数据需要知道往哪张表添加，以及自己要添加的内容，然后可用insert语句执行。

1、以版sqlserver2008r2为例，登录SQL Server Management Studio到指权定的数据库。

2、登录后点击“新建查询”。

D. 大数据分析中出现的统计学错误包括什么

1、变量之间关系可以分为两类
函数关系：反映了事物之间某种确定性关系。
相关关系：两个变量之间存在某种依存关系，但二者并不是一一对应的;反映了事务间不完全确定关系;
2、为什么要对相关系数进行显著性检验?
实际上完全没有关系的变量，在利用样本数据进行计算时也可能得到一个较大的相关系数值(尤其是时间序列数值)。当样本数较少，相关系数就很大。当样本量从100减少到40后，相关系数大概率会上升，但上升到多少，这个就不能保证了;取决于你的剔除数据原则，还有这组数据真的可能不存在相关性;改变两列数据的顺序，不会对相关系数，和散点图(拟合的函数曲线)造成影响;对两列数据进行归一化处理，标准化处理，不会影响相关系数;我们计算的相关系数是线性相关系数，只能反映两者是否具备线性关系。相关系数高是线性模型拟合程度高的前提;此外相关系数反映两个变量之间的相关性，多个变量之间的相关性可以通过复相关系数来衡量。
3、增加变量个数，R2会增大;P值，F值只要满足条件即可，不必追求其值过小。
4、多重共线性与统计假设检验傻傻分不清?
多重共线性与统计假设没有直接关联，但是对于解释多元回归的结果非常重要。相关系数反应两个变量之间的相关性;回归系数是假设其他变量不变，自变量变化一个单位，对因变量的影响，而存在多重共线性(变量之间相关系数很大)，就会导致解释困难;比如y~x1+x2;x·1与x2存在多重共线性，当x1变化一个单位，x2不变，对y的影响;而x1与x2高度相关，就会解释没有意义。
一元回归不存在多重共线性的问题;而多元线性回归要摒弃多重共线性的影响;所以要先对所有的变量进行相关系数分析，初步判定是否满足前提---多重共线性。

E. excel大数据处理技巧

方法/步骤

1、数据整理。工欲善其事，必先利其器。数据质量是数据分析的生命，此步骤不可忽视、不可走过场。

①数字型的数字才可以参与画图和做分析模型，所以数据不能带单位(如：元、万元)，也不能用区间数据(如：23-25，不要将电脑当作神脑)。

②数据的单位要一致，统一按列排序或者按行排序，此案例用列排序。

③注意：对于用文本格式存储的数字，单元格左上角有个绿色三角表示，要注意修改为数字格式。

2、对于本例，需要用到随机函数rand()。一个色子有6个面，取数为1-6。模拟色子数据=int(rand()*6)+1。

其他用到的函数有：求和sum();最大值max();最小值min()。

3、绘制图形。

①目前我们只做2维的数据分析，只有1个自变量和1个因变量。选择2列数据，合计列和最大值列。技巧：当需要选择不相邻两列，可以先选1列，按ctrl键，再选另1列，放开ctrl键。

②菜单插入→图形→散点图，确认。当然，折线图等也可以数据分析，但为了图面干净，推荐还是用散点图。

4、相关性分析。

首先，在散点图上某个散点上右键→添加趋势线。

5、然后，紧接着自动弹出设置趋势线模式(若没弹出这个对话框，也可在图上某个散点上右键，选择设置趋势线模式)→显示公式、显示R平方值。至于回归分析类型，采用线性类型比较通用些。

6、关闭后，观察图上的r2值(实际是指R平方值，下同)，r2值0.8到1，说明正相关，自变量和因变量有(线性)关系。r2值0.6到0.8，弱相关。-0.6到0.6，不相关，自变量对因变量没有影响。-0.8到-0.6，弱负相关。-1到-0.8，负相关，自变量和因变量有(线性)关系，但方向相反。

7、最后，点击图上任意散点，表格会出现红色框和蓝色框，红色是因变量，不能移动，蓝色框可以移动。通过鼠标拖动蓝色框，可以看到最大值、最小值、中间值与合计数的线性相关性r2值。

8、本案例数据统计：合计数与最大值、最小值的相关性大多在0-0.7以内，合计数与中间值的相关性大多在0.7以上。自变量x为中间值，因变量y为合计数，他们的关系模型为：y = 0.4196x - 0.8817。(当然，公式中的参数只是针对这25次试验)

本案例结论：三数合计与中间值呈弱线性相关。

推论：评分比赛中，将最高分和最低分同时去掉，不影响最终得分。

以上就是Excel数据处理并绘制成分析图形方法介绍，操作很简单的，你学会了吗?希望这篇文章能对大家有所帮助!

F. excel大数据处理技巧

方法/步骤

1、数据整理。工欲善其事，必先利其器。数据质量是数据分析的生命，此步骤不可忽视、不可走过场。

①数字型的数字才可以参与画图和做分析模型，所以数据不能带单位(如：元、万元)，也不能用区间数据(如：23-25，不要将电脑当作神脑)。

②数据的单位要一致，统一按列排序或者按行排序，此案例用列排序。

③注意：对于用文本格式存储的数字，单元格左上角有个绿色三角表示，要注意修改为数字格式。

2、对于本例，需要用到随机函数rand()。一个色子有6个面，取数为1-6。模拟色子数据=int(rand()*6)+1。

其他用到的函数有：求和sum();最大值max();最小值min()。

3、绘制图形。

①目前我们只做2维的数据分析，只有1个自变量和1个因变量。选择2列数据，合计列和最大值列。技巧：当需要选择不相邻两列，可以先选1列，按ctrl键，再选另1列，放开ctrl键。

②菜单插入→图形→散点图，确认。当然，折线图等也可以数据分析，但为了图面干净，推荐还是用散点图。

4、相关性分析。

首先，在散点图上某个散点上右键→添加趋势线。

5、然后，紧接着自动弹出设置趋势线模式(若没弹出这个对话框，也可在图上某个散点上右键，选择设置趋势线模式)→显示公式、显示R平方值。至于回归分析类型，采用线性类型比较通用些。

6、关闭后，观察图上的r2值(实际是指R平方值，下同)，r2值0.8到1，说明正相关，自变量和因变量有(线性)关系。r2值0.6到0.8，弱相关。-0.6到0.6，不相关，自变量对因变量没有影响。-0.8到-0.6，弱负相关。-1到-0.8，负相关，自变量和因变量有(线性)关系，但方向相反。

7、最后，点击图上任意散点，表格会出现红色框和蓝色框，红色是因变量，不能移动，蓝色框可以移动。通过鼠标拖动蓝色框，可以看到最大值、最小值、中间值与合计数的线性相关性r2值。

8、本案例数据统计：合计数与最大值、最小值的相关性大多在0-0.7以内，合计数与中间值的相关性大多在0.7以上。自变量x为中间值，因变量y为合计数，他们的关系模型为：y = 0.4196x - 0.8817。(当然，公式中的参数只是针对这25次试验)

本案例结论：三数合计与中间值呈弱线性相关。

推论：评分比赛中，将最高分和最低分同时去掉，不影响最终得分。

以上就是Excel数据处理并绘制成分析图形方法介绍，操作很简单的，你学会了吗?希望这篇文章能对大家有所帮助!