❶ 大数据的应用领域有哪些
1.了解和定位客户
这是大数据目前最广为人知的应用领域。很多企业热衷于社交媒体数据、浏览器日志、文本挖掘等各类数据集，通过大数据技术创建预测模型，从而更全面地了解客户以及他们的行为、喜好。
利用大数据，美国零售商Target公司甚至能推测出客户何时会有Baby;电信公司可以更好地预测客户流失;沃尔玛可以更准确的预测产品销售情况;汽车保险公司能更真实的了解客户实际驾驶情况。
滑雪场利用大数据来追踪和锁定客户。如果你是一名狂热的滑雪者，想象一下，你会收到最喜欢的度假胜地的邀请;或者收到定制化服务的短信提醒;或者告知你最合适的滑行线路。。。。。。同时提供互动平台(网站、手机APP)记录每天的数据——多少次滑坡，多少次翻越等等，在社交媒体上分享这些信息，与家人和朋友相互评比和竞争。
除此之外，政府竞选活动也引入了大数据分析技术。一些人认为，奥巴马在2012年总统大选中获胜，归功于他们团队的大数据分析能力更加出众。
2.
改善医疗保健和公共卫生
大数据分析的能力可以在几分钟内解码整个DNA序列，有助于我们找到新的治疗方法，更好地理解和预测疾病模式。试想一下，当来自所有智能手表等可穿戴设备的数据，都可以应用于数百万人及其各种疾病时，未来的临床试验将不再局限于小样本，而是包括所有人!
苹果公司的一款健康APP ResearchKit有效将手机变成医学研究设备。通过收集用户的相关数据，可以追踪你一天走了多少步，或者提示你化疗后感觉如何，帕金森病进展如何等问题。研究人员希望这一过程变得更容易、更自动化，吸引更多的参与者，并提高数据的准确度。
大数据技术也开始用于监测早产儿和患病婴儿的身体状况。通过记录和分析每个婴儿的每一次心跳和呼吸模式，提前24小时预测出身体感染的症状，从而及早干预，拯救那些脆弱的随时可能生命危险的婴儿。
更重要的是，大数据分析有助于我们监测和预测流行性或传染性疾病的暴发时期，可以将医疗记录的数据与有些社交媒体的数据结合起来分析。比如，谷歌基于搜索流量预测流感爆发，尽管该预测模型在2014年并未奏效——因为你搜索“流感症状”并不意味着真正生病了，但是这种大数据分析的影响力越来越为人所知。
3.提供个性化服务
大数据不仅适用于公司和政府，也适用于我们每个人，比如从智能手表或智能手环等可穿戴设备采集的数据中获益。Jawbone的智能手环可以分析人们的卡路里消耗、活动量和睡眠质量等。Jawbone公司已经能够收集长达60年的睡眠数据，从中分析出一些独到的见解反馈给每个用户。从中受益的还有网络平台“寻找真爱”，大多数婚恋网站都使用大数据分析工具和算法为用户匹配最合适的对象。
4.
了解和优化业务流程
大数据也越来越多地应用于优化业务流程，比如供应链或配送路径优化。通过定位和识别系统来跟踪货物或运输车辆，并根据实时交通路况数据优化运输路线。
人力资源业务流程也在使用大数据进行优化。Sociometric Solutions公司通过在员工工牌里植入传感器，检测其工作场所及社交活动——员工在哪些工作场所走动，与谁交谈，甚至交流时的语气如何。美国银行在使用中发现呼叫中心表现最好的员工——他们制定了小组轮流休息制度，平均业绩提高了23%。
如果在手机、钥匙、眼镜等随身物品上粘贴RFID标签，万一不小心丢失就能迅速定位它们。假想一下未来可能创造出贴在任何东西上的智能标签。它们能告诉你的不仅是物体在哪里，还可以反馈温度，湿度，运动状态等等。这将打开一个全新的大数据时代，“大数据”领域寻求共性的信息和模式，那么孕育其中的“小数据”着重关注单个产品。
5.
改善城市和国家建设
大数据被用于改善我们城市和国家的方方面面。目前很多大城市致力于构建智慧交通。车辆、行人、道路基础设施、公共服务场所都被整合在智慧交通网络中，以提升资源运用的效率，优化城市管理和服务。
加州长滩市正在使用智能水表实时检测非法用水，帮助一些房主减少80%的用水量。洛杉矶利用磁性道路传感器和交通摄像头的数据来控制交通灯信号，从而优化城市的交通流量。据统计目前已经控制了全市4500个交通灯，将交通拥堵状况减少了约16%。
6.提升科学研究
大数据带来的无限可能性正在改变科学研究。欧洲核子研究中心(CERN)在全球遍布了150个数据中心，有65,000个处理器，能同时分析30pb的数据量，这样的计算能力影响着很多领域的科学研究。比如政府需要的人口普查数据、自然灾害数据等，变的更容易获取和分析，从而为我们的健康和社会发展创造更多的价值。
7.提升机械设备性能
大数据使机械设备更加智能化、自动化。例如，丰田普锐斯配备了摄像头、全球定位系统以及强大的计算机和传感器，在无人干预的条件下实现自动驾驶。Xcel Energy在科罗拉多州启动了“智能电网”的首批测试，在用户家中安装智能电表，然后登录网站就可实时查看用电情况。“智能电网”还能够预测使用情况，以便电力公司为未来的基础设施需求进行规划，并防止出现电力耗尽的情况。在爱尔兰，杂货连锁店Tescos的仓库员工佩戴专用臂带，追踪货架上的商品分配，甚至预测一项任务的完成时间。
8.强化安全和执法能力
大数据在改善安全和执法方面得到了广泛应用。美国国家安全局(NSA)利用大数据技术，检测和防止网络攻击(挫败恐怖分子的阴谋)。警察运用大数据来抓捕罪犯，预测犯罪活动。信用卡公司使用大数据来检测欺诈交易等等。
2014年2月，芝加哥警察局对大数据生成的“名单”——有可能犯罪的人员，进行通告和探访，目的是提前预防犯罪。
9.
提高体育运动技能
如今大多数顶尖的体育赛事都采用了大数据分析技术。用于网球比赛的IBM SlamTracker工具，通过视频分析跟踪足球落点或者棒球比赛中每个球员的表现。许多优秀的运动队也在训练之外跟踪运动员的营养和睡眠情况。NFL开发了专门的应用平台，帮助所有球队根据球场上的草地状况、天气状况、以及学习期间球员的个人表现做出最佳决策，以减少球员不必要的受伤。
还有一件非常酷的事情是智能瑜伽垫：嵌入在瑜伽垫中的传感器能对你的姿势进行反馈，为你的练习打分，甚至指导你在家如何练习。
10.金融交易
大数据在金融交易领域应用也比较广泛。大多数股票交易都是通过一定的算法模型进行决策的，如今这些算法的输入会考虑来自社交媒体、新闻网络的数据，以便更全面的做出买卖决策。同时根据客户的需求和愿望，这些算法模型也会随着市场的变化而变化。
更多精彩：14_spark体系之分布式计算课程Spark 集群搭建+S
❷ 数据分析报告怎么用
数据分析报告怎么用
本文是作者基于自身多年数据分析的经验，总结的一体化数据分析框架，简单地介绍下数据分析能分析能落地的几点。enjoy~
大数据，这个被炒烂了的概念，现如今已被人工智能替代。我们先不讨论人工智能，就大数据而言，我们都是在强调他的技术，例如网络热词：hadoop+spark，data mining。而我们在用大数据时候，经常用它的来神话它的影响。例如，广告投放精准化，社会安全管理有序，医药行业智能化等。
当然这些是我们的畅想，同时确实也离不开数据分析影响，但是我们有没有停下脚步去想一想，到底大数据怎么去落地呢，怎么去分析?怎么利用数据来去使企业做出决策，例如：广告投放精准化?
我们了解什么叫大数据分析么?
麦肯锡给大数据定义：
“一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。“
基于我对以上定义的理解，我总结的大数据分析就是，将获取的数据，打通，整合，找寻规律，立即得出决策信息。
数据获取
我总结的数据源可分类三类：
(1)一方数据：用户事实数据
例如用户在某金融机构购买的理财产品，时间，哪个出单口，姓名，电话等，或者运营数据，例如某互联金融app，用户操作行为数据
(2)二方数据：其实这部分叫做广告投放数据
例如，广告展示量，活动页点击量，广告来源等。也有公司将这部分数据作为第三方数据，因为有些广告监测公司会利用此数据和人群数据整合构建自己dmp这样的公司一般宣称为第三方公司，三方数据
(3)三方数据：行业数据，也叫公开数据
例如行协的数据，或者互联网行为数据，例如某互联网公司用户在此网站的行为数据，或者嵌入sdk的app后我们能采集到的安装活跃列表，以及可采集到线下数据。
打通：其实就是利用关键点的采集整合一二三方数据。例如我们可以通过手机号将一方和三方数据整合，或者利用cookie，或者imei号等将二方、三方数据整合。但是由于现在监管制度对手机号敏感数据的控制，以及互联网和移动端数据的跨平台打通技术难点，我们现实的匹配率很低，例如一方和三方的数据匹配达到20%其实就算比较不错的情况，当然运营商数据除外。
找寻规律：目标就是数据清理，从非结构化数据变成结构化数据，以便统计，数据探索，找寻规律，形成数据分析报告观点。本文将会在第三部分阐述。
立即决策：将数据分析报告中的观点系统化或产品化，目前而言，大部分公司还是会依靠人工决策。
为什么需要大数据分析?看上去大数据分析似乎按照这些步骤来，但是从第一步的数据源来说，其实已经反应了大数据的特点，就是杂乱无章，那么怎么从这些数据找寻规律，分析的内容和目标是否对应上，似乎就是我们需要大数据分析的理由
现在，大数据的分析通常采用的数据报表来反映企业运营状况，同时，对于热点，人群分析，我们看到的统计值，目标核心都是用数据分析报告提炼的观点来指导运营，那么问题来了，怎么用数据分析来指导数据决策呢?
数据分析的报告思路(本文从移动端的角度进行切入)
基于我对数据分析的理解，我将数据报告会分成三大类：市场分析、运营分析、用户行为分析。
市场分析
由于市场分析一般而言是定性、定量分析，最近热播剧《我的前半生》贺函和唐晶的职业就是来去咨询公司的一般会以访谈、问卷调查来一份市场分析报告去告诉客户他们的市场占有量，消费者观点等。
这里，我们以移动互联网数据的市场分析为例，通常来说，数据源是公开数据，或者在第三方数据。正如我们所讲，将sdk嵌入开发者应用，就可以收集到安装以及使用列表，那么开发者使用的sdk越多，我们能收集的数据源也越多，这样就可以形成安装app排名，使用app排名，这里面所说的覆盖率、活跃率也是这个意思，例如：即此款应用安装量、使用量在整体金融类的安装量、使用量占比。
那么，这些市场分析的作用呢，一般而言，是对公司市场营销的总结，比如某金融公司kpi是为了获客，他们做了一系列营销，下个月排名我们可以查询到此款应用的安装量，是否较上个月上升呢?那么我们的竞品表现呢，他们是不是也做了一些列的营销活动排名上升下降?我们都可以通过市场分析，竞品分析来观测，但是这部分的观点由于是市场数据，我们只能通过大量的搜寻官网活动，或者互联网广告推测营销来推测是否竞争对手排名上升和这些营销活动有关。
同时，根据市场的走势图，我们能发现潜在的竞争对手，例如：我们能看出下图中的工商银行由于手机属于高覆盖高活跃组，即安装xxapp活跃人群也是最高的，因此，无疑xx银行是所有银行组潜在竞争对手。需要更加注意他们的市场策略
运营分析
移动互联网提出的方法论：3A3R，笔者之前在做咨询的时候，此方法论也可以将网站分析套用，总结来说3A3R就是：
感知 → 获取 → 活跃 → 获取 → 营收 → 传播 → 感知
这里需要注明下，运营分析只是一个公司的baseline，让产品经理，运营人员，市场人员根据自己本公司的数据参考做出合理的决定，同时，运营的数据只是参考或者叫警示，若要具体，需要特定细节的分析，例如是否app改版，怎么改?需要增加哪家渠道合作?
(1)Awareness 感知
根据广告投放数据进行分析，目的判断渠道广告页对app 或者网站引流情况，同时可以帮助广告主设计监测表格，以数字角度衡量广告投放效果
但是，广告数据一般而言在广告监测公司手中，或者公开的使用工具上例如GA，我们需要依靠广告公司设计营销环节，例如活动页，加监测代码，或者在媒体，app应用商店加入代码便于监测广告表现，而往往这样的数据很难加载，一般是由应用商店，或者媒体提供，同时，以上数据，监测公司数据一般而言也不会提供给广告主，只是会提供统计值，这部分的分析我会在之后详细写出，欢迎大家关注我的运营号
言归正传，我们看感知数据其实目的就是想衡量我们的大量的营销投放钱花的对不对，广告的展示量，点击量等是最好衡量一个公司的广告市场部门绩效，没有广告投放，就无法带来获客，因此钱花的值不值，能带来多少客人，才会有下一步 acquisition。
(2)Acquisition 获客
获客是第一步广告投放拓展，用户点击广告后到达应用商店或者着陆页后去下载app，访问网页后，登陆app后的数据是广告公司或者应用商店提供不了的数据，因此获客其实有两重目的。
目的1：衡量第一步提供的数据是否准确，即是否渠道作弊
目的2：判断渠道是否好坏
目的3：判断营销活动是否有效
例如下图中，我们发现4成用户是搜索流量较上个月增加了6%，是不是我们需要增加和sem的合作呢?而在媒体引荐渠道中，我们通过渠道衡量客户转化率，点击-用户激活的，激活的注册转化，可否重点对某应用商店增加合作
下图是目的3的应用，来衡量三个月内的新增用户，活跃用户是否受活动营销、广告投放、版本更迭等影响。例如：7月28日的版本更迭，增加新用户的利器，那么产品经理需要分析下这个版本到底哪里的改变，让用户增长这么快，而8月份的营销活动会唤醒沉睡用户，反应考核运营人员的绩效，那么，是否我们在做促活时候可以借鉴8月的成功经验呢?而这个成功经验需要进一步做专题分析
(3)Activities 活跃
获客后，我们想看看我们的新增、活跃用户的表现情况，那么就到了第三步 活跃，其实就是为产品经理改版app或者页面提供数据支持
活跃分析可参考以下三个步骤：
第一：从页面浏览次数，独立访问人数，来圈定主要页面分析。
例如某款app首页是pv，uv最高，我们会重点分析首页。
第二：根据圈定页面，制作点击热力图，便于产品经理对后续页面改造提供数据支持，例如我们可以将点击量小的按钮在下次改版删除，对点击量大的重新排序
第三：根据圈定页面，制作点击热力图，便于产品经理对后续页面改造提供数据支持，例如我们可以将点击量小的按钮在下次改版删除，对点击量大的重新排序
(4)Retention留存分析& Revenue & Refer
这几个实际上在企业运用的并不多，这里简要说明下。
① Retention
用户积累到一定数量后，我们想看下用户粘性，那么我们就来到retention，一般是衡量活动效果时候运用的比较多，来看此次活动过后，是否用户依旧会使用我们的app，但是由于金融app属性不会像游戏应用每天进行访问，因此Retention 在实际应用中不会太多，下面的例子是个展示，不做赘述
② Revenue
这些留下来的客户给公司贡献多少现金呢?会看收入步骤， 一般公司不会将现金流数据放入在统计平台中，但是我们需要提出用户贡献的流水金额数据供我们使用，便于人群划分，例如下面简要分析：
Refer 传播：
最后，我们想让这些客户进行传播;核心是口碑营销，即用户自发的转发给其他用户链接，让他们下载app或者参与活动，因此传播的下一个环节又会转换营销，但是传播会受到很多限制，例如没有奖励机制的口碑传播，几乎转发量为0，同时，传播若要衡量比较困难，尤其在大量互联网用户基础上，这样会造成资源代码叠加，系统负担，因此一般企业也不会设计这样活动让营销人员参考
用户分析
若说大数据分析的核心，其实就是在于用户分析，正如我们前面所讲，用户分析的步骤流程如下：
即在力所能及的搜集数据范围内，打通数据，客户用户，精准营销。
第一，我们可以筛选的条件列表，我们可以通过应用条件，位置，标签条件将数据整合，整合的目的就是刻画客户，定出营销策略。
例如：我们想筛选金融客户(应用条件筛选)，出现在五星级酒店(位置条件)，且为母婴人群(标签)
但是需要注意的是，条件越多，用户轮廓越清晰，人群会越少。
第二，根据筛选的人群，我们将线上/线上统计化，或者建模多维度分析。
例如，我们根据筛选的人群，发现男性多于女性，苹果手机属性最高，常手机工具使用，那么我们可以将这部分目标人群用增加手机工具合作、或者和苹果合作获客或者促活。
第三，整合以上数据分析，形成人群画像。
结束语
这篇文章基于我多年数据分析的经验，总结的一体化数据分析框架，其实就是简单介绍下数据分析能分析能落地的几点。当然，这里面需要大量的数据清洗工作，以及对行业的认知，此篇只是从数据分析角度的概要，内容上的细化，其实可以单拿出来细细分析，尤其用户画像那章节。
❸ 如何运用大数据
1.可视化分析 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样...
2.数据挖掘算法 大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本...
3.预测性分析 大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,
❹ 大数据 分类型数据可视化方法研究报告
大数据：分类型数据可视化方法研究报告
数据可视化可以将海量数据通过图形、表格等形式直观反映给大众。降低数据读取门槛，可以让企业通过形象化方式对自身产品进行营销。
一、数据可视化原理
数据化可视原理是综合运用计算机图形学、图像、人机交互等技术，将采集或模拟的数据映射为可识别的图形、图像、视频或者动画，并允许用户对数据进行交互分析的理论方法和技术。
数据可视化可以将不可见的现象转换为可见的图形符号，并从中发现规律从而获取知识。在实际应用中，它可以针对复杂和大规模的数据，还原增强数据中的全局结构和具体细节。
二、 可视化方法
1. 数据采集：数据是可视化对象，可以通过仪器采样，调查记录、模拟计算等方式采集。在可视化解决方案中，了解数据来源采集方法和数据属性，才能有的放矢解决问题。
2. 数据处理和变换：原始数据含有噪音和误差同时数据模式和特征往往被隐藏。通过去噪、数据清洗、提取特征等变换为用户可理解模式。
3. 可视化映射(核心)：将数据的数值、空间坐标、不同位置数据间的联系等映射为可视化视觉通道的不同元素如标记、位置、形状、大小和颜色等。最终让用户通过可视化洞察数据和数据背后隐含的现象和规律。
4. 用户感知：用户感知从数据可视化结果中提取信息、知识和灵感。数据可视化可用于从数据中探索新的假设，也可严重相关假设与数据是否吻合，还可帮助专家向公众展示数据中的信息。
用户感知可以在任何时期反作用于数据的采集、处理变换以及映射过程中，如下图所示：
三、具体操作
1. 将指标值图形化
一个指标值就是一个数据，将数据的大小以图形的方式表现。比如用柱形图的长度或高度表现数据大小，这也是最常用的可视化形式。
传统的柱形图、饼图有可能会带来审美疲劳，可尝试从图形的视觉样式上进行一些创新，常用的方法就是将图形与指标的含义关联起来。
比如 Google Zeitgeist 在展现 top10 的搜索词时，展示的就是“搜索”形状的柱形，图形与指标的含义相吻合，同时也做了立体的视觉变化：
2. 将指标图形化
一般用在与指标含义相近的 icon 来表现，使用场景也比较多，如下：
3. 将指标关系图形化
当存在多个指标时，为了挖掘指标之间的关系并将其进行图形化表达，可提升图表的可视化深度。常见有以下两种方式：
借助已有的场景来表现
联想自然或社会中有无场景与指标关系类似，然后借助此场景来表现。
比如网络统计流量研究院操作系统的分布(上图)，首先分为 windows、mac 还有其他操作系统， windows 又包含 xp、2003、7等多种子系统。
宇宙星系中也有类似的关系：宇宙中有很多星系，我们最为熟悉的是太阳系，太阳系中又包括各个行星。根据这种关系联想，图表整体借用宇宙星系的场景，将熟知的Windows比喻成太阳系，将XP、Window7等系统比喻成太阳系中的行星，将Mac和其他系统比喻成其他星系。
构建场景来表现
指标之间往往具有一些关联特征，如从简单到复杂、从低级到高级、从前到后等等。如无法找到已存在的对应场景，也可构建场景。
比如网络统计流量研究院中的学历分布：指标分别是小学、初中、高中、本科等等。
各个类目之间是一种阶梯式的关系，因此，平台就设计了一个阶梯式的图直观的反映出了数据呈阶梯式递进的趋势。
再比如：支付宝年初出的个人年度账单中，在描述付款最多的三项时设计了一个类似颁奖台的样式也很出彩：(然而并没有觉得我在哪个类目买买买付款最多有什么骄傲的)
下方图示为供参考的线性化过程，实际可视化思考中，将哪类元素进行图形化或者图形化前后的顺序可能均有不同，需根据具体情况处理。
4. 将时间和空间可视化
时间
通过时间的维度来查看指标值的变化情况，一般通过增加时间轴的形式，也就是常见的趋势图。
空间
当图表存在地域信息并且需要突出表现的时候，可用地图将空间可视化，地图作为主背景呈现所有信息点。
Google Zeitgeist 在 2010 和 2012 年的年度热门回顾中，都是以地图为主要载体(同时也结合了时间)，来呈现热门事件：
5. 将数据进行概念转换
先看下生活中的概念转换，当我们需要喝水时，通常会说给我来杯水而不是给我来500ml 的水。要注意来(一)杯水，是具象的，并不是用量化的数据来形容。在这里，500ml就是一个具体的数据，但是它难以被感知，所以用(一)杯的概念来转换。
同样在数据可视化，有时需要对数据进行概念转换。这是为了加深用户对数据的感知，常用方法有对比和比喻。感知就是一个将数据由抽象转化为具象的过程。
对比
比如下图就是一个介绍中国烟民数量的图表。如果只看左半部分中国烟民的数量：32000000(个十百千万十万百万千万亿…)好吧数据量级很大，不论是数零还是数逗号都很容易数错，而且具体这个数字有多大仍然很难感知。让我们目光向右移动，来看右半部分：中国烟民数量超过了美国人口总和，太恐怖了。这样一对比，对数据的感知就加深了。
比喻
下图是一个介绍雅虎邮箱处理数据量大小的图表，大概就是说它每小时处理的电子邮件有近1.2TB，相当于644245094 张打印的纸。
上面这个翻译很无聊是不是，但这并不是问题的重点，这个数它到底有多大呢?文案中用了一个比喻的手法：大意就是将这些邮件打印出来首尾相连可以绕地球4圈。嗯，比香飘飘奶瓶还多3圈。到这里，我相信大家肯定能初步感受到雅虎邮箱每天处理的数据量有多大了吧，而且还没有被打印出来，为地球节省了很多纸(假装环保)。
6.让图表“动”起来
数据图形化完成后，可结合实际情况，将其变为动态化和可操控性的图表，用户在操控过程中能更好地感知数据的变化过程，提升体验。
实现动态化通常以下两种方式： 交互和动画。
交互
交互包括鼠标浮动、点击、多图表时的联动响应等等。下面是网络统计流量研究院的时间分布图，该分布图采用左图右表的联动形式，左图中鼠标浮动则显示对应数据，点击则可以切换选择：
动画
动画包括入场动画、交互过程的动画和播放动画等等。
入场动画：即在页面载入后，给图表一个“生长”的过程，取代“数据载入中”这样的提示文字。
交互动画：用户发生交互行为后，通过动画形式给以及时反馈。
播放动画：通俗的来说就是提供播放功能，让用户能够完整看到数据随时间变化的过程。下图是 Gapminder 在描述多维数据时，提供随时间播放的功能，可以直观感受到所有数据的变化。