Ⅰ 教你如何看懂旅游大数据
教你如何看懂旅游大数据_数据分析师考试
有时候，一句话、一张图片都会蕴含巨大的数字商机，但这是一门需要高度精准性的技术活儿，并非人人都看得懂大数据。
看懂游客行为
大家都在说大数据，携程近期投资专攻大数据研究的众荟信息技术有限公司（下称“众荟”）、阿里系的去啊旅行则与石基信息合作，而东呈酒店、如家酒店等也纷纷推出智能化管理。
每个旅游业者都会有自己的会员和消费数据记录，这些记录就是大数据的基础信息，然而在一堆数字和消费者行为面前究竟该如何分析处理并得出结论呢？
“首先要知道什么是大数据，大数据分为两大类，即结构化数据和非结构化数据，前者就是大家看到的一系列数字，后者则可能是一张图、一句话等并非直接体现为数字的信息。因此真正意义上的大数据分析不仅要做直接的数字分析，还要懂得建立数学模型，将非结构化数据转变为结构化数据并得出结论，这些并不简单。”众荟数据智能事业部总经理焦宇告诉记者。
焦宇给记者举了一个例子，现在很多游客会在OTA（在线旅游代理商）上比价和预订酒店，那么其搜索的关键词和浏览痕迹就会体现在OTA的记录里，如果客人浏览过这家酒店的页面却跳转了，并未下订单，则可以通过这个记录分析该客人不下单的原因，当这个客人通过价格、品牌、区域等关键词排序查找酒店信息后，其留下的浏览记录则可以统计出人们是对于价格敏感还是品牌敏感。
“经过研究，大部分人还是看重价格因素，由于价格的选择是有区间的，这就可以用浏览痕迹得出一个最让游客接受的价格区间数字。只有11%的人在意品牌，说明同类酒店可替代性很强。如果以区域关键词搜索，则代表地理位置数据，若可以精准到具体方位，并将这一信息传达给该区域的酒店，则无疑提高了酒店的入住率还能根据消费者行为适当调整房价，当供大于求时下调房价，反之则提升房价。还有一个颇有意思的研究，即游客浏览记录中若有A酒店的竞争对手酒店，则可以推理这个客人对于A这一类酒店有需求，该客人就是A酒店应该关注的潜在客人。”焦宇指出，要将海量的浏览记录变成有效数据，还得依靠数学模型，模型分为收敛型和发散型，大数据通常要经过收敛型模型将非结构化数据转化成结构化数据并得出结论。
一位连锁酒店经营者告诉记者，这些涵盖了消费者较能接受的价格区间、品牌等信息的大数据可以让酒店对价格、定位和营销等做出策略性调整，以提升入住率，提高酒店整体收益管理。
神奇的语言分析
除了价格、品牌，语言文字也是一种非结构化数据，尤其是如今当客人预订酒店旅游产品时一定会先看一下点评，或者自己体验后也会留言评价，这些语言背后也大有大数据学问。
记者多方采访和观察后了解到，不少客人会对已经入住的酒店进行评估，这些点评中经常会出现对酒店环境、客房设施、餐饮和服务的评价，比如“房间很干净，但是送餐服务比较慢”、“前台的服务差评”、“洗浴感受不错”等。这需要用专业的语义分析进行精准细分化分析并转换成结构化数据反馈给酒店经营者。
在人工智能和计算语言学中，语义分析为知识推理和语言提供了方法，也是未来搜索引擎发展的方向。比如，输入“苹果”通过语义分析，能够知道用户想找的是手机而不是水果。
“首先我们会通过专业的语义分析去除一批虚假点评或无实质内容的点评，而将真正对酒店有实质内容的点评留下，并对于每一句话进行断句和多维度切割。举个简单的例子，比如‘这个酒店很干净，但是送餐服务比较慢’，经过我们的断句和多维度切割分析后可以知道客房清洁度不错，但送餐有问题，那么我们接下来就要把结论进行细化分类并反馈给各部门。这里的问题就是速度，有时还涉及口味或者服务态度等。有时一段话的分析是非常复杂的，其中还有纠错比例。”众荟市场部高级副总裁胡凡表示。
从事酒店业超过15年的李先生告诉记者，比起简单的“好”或“不好”，经过多维度语义分析后得出的结论可以反馈到酒店各个相关部门，并且细化到是哪个细节好，或哪个细节有问题需要改进，那么管理层开例会时就能明确知道接下来的工作方向，而经过改善服务态度、速度甚至装饰风格，其所在的酒店入住率提升了10%，且RevPAR（RevenuePerAvailableRoom，每间可供租出客房产生的平均实际营业收入）有约15%的增加。
据悉，一些科技信息公司对于语义分析的维度已经可以达到1000个。
跨界与图片信息怎么玩
有时候，对于旅游大数据的分析还涉及跨界合作。
“国外是跨领域研究的，结合了多领域，比如地理信息、IT、商学院、社会学等。我举个跟踪游客的例子，现在我们采用跨界合作的多方位社交媒体来跟踪游客行为。社交媒体上有很多游客留下的痕迹，比如flickr，flickr上的图片留下了照片的地理坐标、拍摄时间、评论信息等，这些都是非常可贵的旅游大数据。”长期在澳大利亚研究旅游大数据分析的学者程明明告诉记者，用地理坐标来追踪轨迹则需要懂地理学的专家来帮忙，而商业管理方面的专才则可以分析游客去哪儿、是什么时间去等具有商业价值的数据。
在多方跨界分析研究后，业者可以知道哪些景点受欢迎、哪些是新的景点、游客在几点左右在景点甚至每次停留多久等。掌握这些大数据信息分析结果后，相关的旅游业者可以有效做到分流，不会造成景点承载力过于饱和。同时，对比景点信息和游客属性，可以知道不同国家游客对景点有什么不同需求，比如亚洲人是否更喜欢文化景点，如果是，则当地旅游推广营销时就要更多推出人文景点。
记者在采访中获悉，目前中国不少景区也正在与相关大数据分析公司合作，希望通过分析来预测未来一段时间的客流量，尤其是旺季黄金周的客流量预计，能帮助景区控制进入人数，提高安全性和服务质量。
颇有意思的是，图片也属于大数据。
“比如一些大型旅游预订网站上有大量图片，对于图片，我们需要IT技术人员来帮忙进行机器人训练（machinelearning）帮助我们识别不同的图片。比如究竟是人物还是风景效果好，然后我们再通过数学模型和旅游局、旅行社宣传的图片进行对比，得出游客感兴趣的图片和旅游局、旅行社所宣传的是否一致。如果不一致，那么不一致在什么方面，并需要如何改进。”程明明说道。
据悉，另有一种脑电波测试方式，能测试出人们看到图片时眼球第一秒会注视的地方即最吸引点，以及人们对于被测试图片的喜好或厌恶程度等。业者通过这些分析可以决定是否在销售时更换样图，餐厅或景点的宣传图片究竟是有人好还是空景好，合适的样图能够促进销量。
“当然，要做好旅游大数据研究并不简单，其数学模型比较复杂，比如包含线性回归之类的。其实，大数据研究是一个数据不断整合和多学科交叉的过程，未来还有很多商机可以依靠大数据被挖掘出来。”程明明如是说。
以上是小编为大家分享的关于教你如何看懂旅游大数据的相关内容，更多信息可以关注环球青藤分享更多干货
Ⅱ 大数据攻略案例分析及结论
大数据攻略案例分析及结论
我们将迎来一个“大数据时代”。与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？
｛研究结论｝
怎样才能用起来大数据？障碍如何解决?中国企业家研究院对10多家在大数据应用方面的领先企业进行了采访调研，更多家企业进行了书面资料调研，我们发现：
■ 当前中国企业的大数据应用可以归类为：大数据运营、大数据产品、大数据平台三大=领域，前两者更多是企业内部的应用，后者则在于用大数据来繁荣整个平台企业群落的生态。
■ 大数据营销的本质是一个影响消费者购物前心理路径的问题，而这在大数据时代前很难做到。
■ 对于传统企业而言，要打通线上与线下营销，实现新的商业模式，如O2O等，离不开大数据。
■ 虽然大数据应用往往集中于大数据营销，但对于一些企业，大数据的应用早已超越了营销范畴，全面进入了企业供应链、生产、物流、库存、网站和店内运营等各个环节。
■ 对于大部分企业，由于数据分析人员与业务人员之间的彼此视角与思考方向不同，大数据分析和运营之间存在脱节情况，这是大数据无法用于企业运营最大的阻力
■ 对于大多数互联网公司来说，大数据量、大用户量是一个相互促进，强者越强的循环过程。
■ 对于大型互联网平台，大数据已经成为其生态循环中的血液，对于这些企业，最重要
的不是如何利用大数据改进自身运营，而是利用大数据更好地繁荣平台生态。
■ 对于平台企业，它们的大数据策略正逐渐从大数据运营，向运营大数据转变，前者和
后者的差别在于，前者只是运营改进的动力，而后者则成为企业实现未来战略的核心资源。
我们都已被反复告知：我们将迎来一个“大数据时代”。
大数据应用，将和云计算、3D打印这些技术变革一样，颠覆既有规则，并成为先行企业的制胜关键。
与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？
来自于互联网、移动互联网、物联网传感器、视频采集系统的数据正海量增长，汇成大数据的海洋，相伴的是海量数据存储、分析技术的突破性发展，所有这一切都给企业的应用带来了无限可能性。
许多企业希望将大数据用起来，带动企业的经营，但不知从哪里着手。它们不惜重金投资大数据信息系统、分析系统，聘请更多的人才，希望能从这个新趋势中获益，不过却无奈地发现，大数据仍然停留在云端，没有带来多少实际收益。它们找不到大数据与业务结合的突破口。而一些真正将大数据应用于实战的企业，却在应用过程中困难重重：大数据无法与业务结合；没有收集、分析海量数据的能力；经营人员缺少应用大数据的动力；数据来源鱼龙混杂难以使用……
中国企业家研究院对当前中国企业大数据应用的状况进行了归纳分类，以帮助企业了解实际应用大数据时的困局难点，并提供领先企业的典型案例以资借鉴。
表1
表2
大数据运营—企业提升效率的助推力
对于大多数企业而言，运营领域的应用是大数据最核心的应用，之前企业主要使用来自生产经营中的各种报表数据，但随着大数据时代的到来，来自于互联网、物联网、各种传感器的海量数据扑面而至。于是，一些企业开始挖掘和利用这些数据，来推动运营效率的提升。大数据运营应用中，大数据的应用分为三类：用于企业外部营销、用于内部运营，以及用于领导层决策。
一、大数据营销
大数据营销的本质是影响目标消费者购物前的心理路径，它主要应用在三个方面：1、大数据渠道优化，2、精准营销信息推送，3、线上与线下营销的连接。在消费者购物前，通过各种方式，直接介入其信息收集和决策过程。而这种介入，是建立在对于线上与线下海量用户数据分析的基础之上。相比传统狂轰滥炸或等客上门的营销，大数据营销无论在主动性和精准性方面，都有非常大的优势。它是目前主要的大数据应用领域。
大数据营销不仅仅是用大数据找出目标顾客，向其发布促销信息，它还可以做到：
实现渠道优化。根据用户的互联网痕迹进行渠道营销效果优化，就是根据互联网上顾客的行为轨迹来找出哪个营销渠道的顾客来源最多，哪个来源顾客实际购买量最多，是否是目标顾客等等，从而调整营销资源在各个渠道的投放。例如东风日产，它利用对顾客来源的追踪，来改进营销资源在各个网络渠道如门户网站、搜索和微博的投放。
精准营销信息推送。精准建立在对海量消费者的行为分析基础之上，消费者网络浏览、搜索行为被网络留下，线下的购买和查看等行为可以被门店的POS机和视频监控记录，再加上他们在购买和注册过程中留下的身份信息，在商家面前，正逐渐呈现出消费者信息的海洋。
一些企业通过收集海量的消费者信息，然后利用大数据建模技术，按消费者属性（如所在地区、性别）和兴趣、购买行为等维度，挖掘目标消费者，然后进行分类，再根据这些，对个体消费者进行营销信息推送。比如孕妇装品牌十月妈咪通过对自己微博上粉丝评论的大数据分析，找出评论有“喜爱”相关关键词的粉丝，然后打上标签，对其进行营销信息推送。京东商城副总经理李曦表示：“用大数据找出不同细分的顾客需求群，然后进行相应的营销，是京东目前在做的事情。”小也化妆品将自身网站作为收集消费者信息的雷达，对不同消费者推荐相应的肌肤解决方案，创始人肖尚略希望在未来，大数据营销能替代网站的作用，真正成为面向顾客的前端。
打通线上线下营销。一些企业将互联网上海量消费者的行为痕迹数据与线下购买数据打通，实现了线上与线下营销的协同。比如东风日产，线上与线下的协同营销方式为：其门户网站带来订单线索，而通过这些线索，服务人员进行电话回访，从而推动顾客在线下交易。在此过程中，东风日产记录了消费者进入、浏览、点击、注册、电话回访和购买各个环节的数据，实现了一个横跨线上线下，以大数据分析为支持的，营销效果不断优化的闭环营销通路。而国双科技，衡量某一地区线下促销活动的效果，就是看互联网上，来自这个地区对于促销内容的搜索量。一些企业，通过鼓励线下顾客使用微信和Wi-Fi等可追踪消费者行为和喜好的设备，来打通线上与线下数据流，银泰百货计划铺设Wi-Fi，鼓励顾客在商场内使用，然后根据Wi-Fi账号，找出这个顾客，再通过与其它大数据挖掘公司合作，以大数据的手段，发掘这个顾客在互联网的历史痕迹，来了解这个顾客的需求类型。
二、大数据用于内部运营
相比大数据营销，大数据在内部运营中的应用更深入，对于企业内部的信息化水平，以及数据采集和分析能力的要求更高。本质上，是将企业外部海量消费者数据与企业内部海量运营数据联系起来，在分析中得到新的洞察，提升运营效率。（详见P96表5：大数据在内部运营中的应用）
表5
三、大数据用于决策
在大数据时代，企业面对众多新的数据源和海量数据，能否基于对这些数据的洞察，进行决策，进而将其变成一项企业竞争优势的来源？同大数据营销和大数据内部运营相比，运用大数据决策难度最高，因为它需要一种依赖数据的思维习惯。
已有少数企业开始尝试。比如国内一些金融机构在推出一个金融产品时，会广泛分析该金融产品的应用情况和效果、目标顾客群数据、各种交易数据和定价数据等，然后决定是否推出某个金融产品。
但是，中国企业家研究院在调研中发现，目前中国企业当中，大数据决策的应用非常之少，许多企业领导者进行决策时，仍习惯于凭借历史经验和直觉。
大数据产品——企业利润滋长的新源泉
大数据除了用于运营外，还能够与企业产品结合，成为企业产品背后竞争力的核心支持或者直接成为产品。提供大数据产品的企业分为两类，直接提供大数据产品的企业，以及将大数据作为产品和服务核心支撑的企业。前者主要为大数据产业链中提供数据服务的参与者，包括数据拥有者、存储企业，挖掘企业、分析企业等，后者则主要是那些以大数据为产品核心支撑的企业，它们大多是互联网企业，其产品和服务先天就有大数据基因，这些企业包括搜索引擎、在线杀毒、互联网广告交易平台以及众多植根于移动互联网之上，为用户提供生活和资讯服务的APP等。
表3
表4
一、大数据作为产品核心支持
它们主要在以下几方面使用大数据：
1、提供信息服务。很多互联网企业通过对海量互联网信息和线下信息的整合和分析，为个人和企业提供信息服务，典型的如网络、去哪儿、一淘、高德地图、春雨医生等等。在美国，一些互联网企业甚至根据大数据提供更深度的预测信息服务，美国科技创新公司farecast，通过分析特定航线机票的价格，帮助消费者预测机票价格走势。
2、分析用户的个性化需求，借此提供个性化产品和服务，或者实现更精准的广告。典型的有移动社交工具陌陌、网络、腾讯、广告交易平台品友互动以及一些互联网游戏商。这种应用往往先是收集海量用户的互联网行为数据，将用户分类，根据不同类型的用户，提供个性化的产品，或者提供个性化的促销信息。比如网易等门户网站推出了订阅模式，让使用者按照个人喜好方便地定制和整合不同来源的信息。
3、增强产品功能。对于很多互联网产品，如杀毒软件、搜索引擎等等，海量数据的处理能够让产品变得更聪明更强大，如果没有大数据，产品的功能就大大减弱。比如奇虎360公司的360杀毒软件，凭借每天海量的杀毒处理，建立了庞大的病毒库，这使它能够更快地发现病毒，而一些小的杀毒软件公司则无法做到这一点。
4、掌控信用状况，提供信贷服务。阿里巴巴上汇集了海量中小企业的日常资金与货品往来，通过对这些往来数据的汇总与分析，阿里巴巴能发现单个企业的资金流与收入情况，分析其信用，找出异常情况与可能发生的欺诈行为，控制信贷风险。
5、实现智能匹配。婚恋网站、交易平台等，利用大数据可以进行精准而高效的配对服务。网易花田会挖掘用户行为数据，比如点击哪些异性的页面，发表什么样的评论，建立用户兴趣模型，从而挖掘到用户所期待另一半的类型，然后主动推荐与对方匹配度比较高的人选。2010年，阿里巴巴尝试性地推出“轻骑兵”服务，由阿里巴巴将中国各产业集群地的供应商与海外买家的个性采购需求进行快速匹配，所凭借的，就是对供应商的海量交易数据信息的整合与挖掘。
大数据作为产品核心支撑的关键在于用户量。对于大多数互联网公司来说，用户量越多，收集的数据越多，凭借更多的数据，其产品与商业模式会不断改进，进而带来更多的用户。
二、大数据直接作为产品
对一些企业，大数据直接成为了产品，这些产品包括海量数据、分析、存储与挖掘的服务等，目前大数据产业链正在形成过程中，出现了一批开放、出售、授权大数据和提供大数据分析、挖掘的公司和机构，前者主要是一些拥有海量数据的公司，将数据服务作为新的盈利来源。如大型的互联网平台、民航、电信运营商、一些拥有大数据的政府机构等等，后者主要包括一些能够存储海量数据或者将海量数据与业务场景结合，进行分析和挖掘，或者提供相关产品的公司，如IBM、SAP、拓而思、天睿公司。它们为大数据应用者们提供海量数据存储、数据挖掘、图像视频、智能分析等服务以及相关系统产品。
大数据平台——企业群落繁荣的滋养剂
相对企业本身对大数据的应用，大数据平台更多是利用大数据来搭建企业生态。一些拥有庞大数据资源的大型互联网平台，已变为包含海量寄生者的生态系统。在这个生态系统中，它们将海量用户互联网行为痕迹和分析提供给平台上的企业，用于它们改善经营，推动整个平台生态繁荣，在这一过程中，它们也收取数据服务费。阿里巴巴就是一个典型的例子，从数据魔方、黄金策到聚石塔，阿里巴巴不断地为平台上中小电商提供数据产品和服务。
而网络已建成了包括网络指数、司南、风云榜、数据研究中心和网络统计在内的五大数据体系平台，帮助其营销平台上的企业了解消费者行为、兴趣变化，以及行业发展状况、市场动态和趋势、竞争对手动向等信息。
而当大数据从企业内部运营的动力，变成平台企业的产品和服务时，平台企业也在经历着一个从大数据运营到运营大数据的阶段。数据从运营的支持工具，变成了生产资料。此前平台们的关注点，更多的是如何用好现有的大数据。而未来，它们的关注点则更多是如何将大数据这个生产资料管理好、经营好，如何更好地为平台上的企业服务。这就涉及到收集的数据质量怎样？格式标准是否统一？数据作为一种原材料，其精细化程度如何？是否符合平台上企业应用的具体场景？是平台上企业拿来就能用的，还是还需要平台上的企业再加工？
为解决这些问题，各个平台在积极地努力。比如阿里巴巴建立了数据委员会，在统一数据格式标准、从源头上保证数据的质量，采集和加工出精细化的数据，确保其能符合平台企业的应用场景等方面，不遗余力地尝试。尤其在大数据精细化方面，阿里巴巴更是作为其大数据战略的重点。这方面，腾讯目前也在加快步伐。比如新版腾讯网出现了“一键登录”的提示，用户可以在上面通过一些细分标签，订阅自己关注的内容。实际上，这也是腾讯收集更精细化的用户兴趣数据的一个有效手段。
Tips
大数据实战手册
将大数据应用于内部运营中时，企业会遇到一些常见问题
1企业如何获取与分析数据？
互联网是大数据的一个主要来源，一些线下的传统企业很难获得。但它们可以：
a 和拥有或能抓取海量数据的平台、企业以及政府机构合作。比如淘宝上的电商就购买淘宝收集的海量数据中与自身运营相关的部分，用于自身业务。再如卡夫通过与IBM合作，在博客、论坛和讨论版的内容中抓取了47.9万条关于自己产品的讨论信息，通过大数据分析出消费者对卡夫食品的喜爱程度和消费方式。
b 建立自己在互联网上的平台，比如朝阳大悦城利用自己的微信、微博等平台收集消费者评论数据。
c 许多传统企业没有分析海量数据的能力，此时它们可以和大数据分析和挖掘公司合作，目前市场上已经有天睿公司、IBM、百分点、华胜天成等一批提供大数据分析和挖掘服务的公司，它们是传统企业进行大数据分析可以借助的力量。
2 如何避免大数据应用时的部门分割？
对于许多企业，其信息流被各部门彼此分割，数据难以互通，对于这种情况下，大数据的共享和汇集就只是一个泡影，更难以实现大数据的深度应用。
要打通部门之间信息分割的局面，首先要建立统一的、集中的数据系统。就像立白信息与知识总监王永红所说的，“要真正用好大数据，企业要采用大集中的信息系统。”从更深入的角度来谈，企业信息流的部门分割，更在于企业部门之间的分割，比如有一些企业的营销按照渠道分割，导致对于顾客的大数据收集和分析效果大打折扣。
IBM智慧商务技术总监杨旭青认为，“很多时候由于组织结构问题，大数据分析有效性大大降低了。”这就需要组织与流程层面的重新设计，在这方面，阿里巴巴的部门负责人轮岗制度，对于打破部门壁垒无疑是一剂好药。而一些企业为了打破部门分割，建立了矩阵型的组织结构，强化部门间的横向合作，这些无疑为大数据的汇集、共享与应用创造了良好条件。
3 如何让业务人员重视大数据的应用？
解决这个问题，一方面在于一把手对整个企业数据文化的倡导，比如1号店董事长于刚就要求业务人员无论在开会，还是汇报工作时，都以数据说话，而马云更是将大数据提升到了战略高度。
另一方面，也在于数据部门的带动，阿里巴巴数据委员会负责人车品觉分享了经验，“因为运营部门的业务人员很难看到大数据的潜力，可以首先从一些对业务见效快，见效显著的数据项目出发，通过一两个项目的成功，调动对方的积极性，然后再逐步一个个地引导。”
4 为何大数据工作与运营需求脱节？
这往往是由于数据人员与业务人员视角、专业知识不同而导致的。大数据人员做了很多努力，但是业务人员却认为这些努力无关痛痒。如何解决这个问题？
有的企业从组织设计上发力，将大数据纳入业务分析部门的管理之下，用业务统驭数据。对于朝阳大悦城，由主要负责战略和经营分析的部门来管理大数据工作，其中的大数据分析人员则作为支持人员。在负责人张岩看来，大数据要靠商业法则指导，关键是找到业务需求的点，然后由数据分析和挖掘人员实现。在具体操作中，大悦城对微信的数据挖掘，挖掘什么样的关键词，由业务分析人员确定，而具体挖掘则由数据部门做；有的企业从流程设计上着手，推动业务部门与数据部门人员之间的沟通，建立数据人员工作与效果挂钩的考核机制。
例如阿里巴巴根据数据挖掘的成效（比如带来的商品转化率的提升）来考核数据挖掘师，考核数据分析师则看其分析结果能否出现在经营负责人的报告中。从数据部门自身角度则需要降低运营部门使用数据的障碍和门槛，比如立白集团的数据人员会努力尝试向运营部门提供更易懂、更生动的图形化数据分析界面，在立白老板办公室上，就有一份“客户运营健康体检表”，让老板对全国经销商的当月销售情况一目了然。再如阿里巴巴开发的无线Bi，让经营人员在手机上也可以看到大数据分析结果，拿车品觉的话说，“以数据之氧气包围经营人员。”
以上是小编为大家分享的关于大数据攻略案例分析及结论的相关内容，更多信息可以关注环球青藤分享更多干货
Ⅲ 大数据的“感性”应用
大数据的“感性”应用
通过大数据分析、云计算等领先技术能力提供社交、移动等数据分析，跟踪并解析球迷心理，并与媒体紧密结合，将用户情绪、性格等属性可视化呈现，产出更易引发用户共鸣的体验。
大数据技术已经不是一个新鲜词儿，它的价值也已被广泛认可，借助海量数据的分析利用，能有效帮助企业实现市场动向预测，帮助有效支持市场活动各个阶段的不同商业行为决策，还能够实现追踪消费者行为，并对其心理甚至下一步行为实现相对精准的预测，产生更好的用户体验，满足目标消费者的多元化需求。
大数据在体育赛事中的应用很常见，在网球赛事中，一发成功率、一发得分率和Ace球是标志球员竞技水平的关键指标；发球速度、接发球成功率、上网成功率、得分点则突出体现了球员的打法特点。
上述都是来自大数据的直观应用，教练员和运动员通过每项赛事背后的技术统计来评价本场比赛发挥的好坏。而这些数据也将直接影响教练员对比赛的掌控。
在本届巴西世界杯，大数据应用又有了新模式——腾讯通过IBM的大数据分析、云计算等技术提供社交、移动等数据分析，跟踪并“解析”球迷心理，产出更易引发用户共鸣的优质内容，为用户打造全新的体育观赛体验。
6月12日，IBM与腾讯达成深度战略合作，成为腾讯体育社交媒体数据分析合作伙伴。
IBM的大数据技术，从赛事、球迷、文化三大维度，深度挖掘了来自世界杯球迷关注的120个热点关键词，抓取50万条主流社交媒体信息，包括球迷话题、球迷类型、个性分析等，并以此为基础，制作了“世界杯声量大比拼”、“世界杯飞鱼秀”、“算数”、“球迷画像”等专题栏目，通过数据分析，精准抓住球迷关注热点，并迅速输出报道内容。
球迷的另类体验
在本届世界杯中，腾讯通过IBM大数据实时分析，打造《世界杯球迷声量大比拼》栏目，让球迷即时看到64场比赛中对阵球队的当前支持率，以及个人喜爱球星的支持率，看到全球有多少人跟自己同欢喜共悲伤，满足球迷同理心，引发球迷共鸣。
IBM舆情系统实时分析社交媒体上球迷关注点，为“世界杯飞鱼秀”栏目提供大量球迷实时状态，分析球迷心态等数据盘点，呈现苍老师微博秀力挺德国、内衣模特大拼球技等网络话题，由两位脱口秀达人说出球迷们的心声，引发广大网友共鸣。期间栏目组还邀请了IBM数据工程师前去做客，展示IBM严肃的大数据系统如何支持网友娱乐生活的。
根据实时数据反馈，腾讯实时发布共32篇新闻报道，《德国更热梅西最火球王超高关注率远胜众星》、《荷阿大战遭疯狂吐槽罗本关注度不及梅西一半》等球迷角度深挖的信息，综合展示球赛期间球迷心理变化，引发球迷共鸣。单篇新闻最高阅读量达万次以上，95%均来自腾讯新闻客户端。
腾讯体育基于IBM大数据，在世界杯期间输出80期“算数”报告，深度剖析世界杯的角角落落，从球迷地域分布、性别比例，到历史上各大洲入围世界杯成功率等……这些基于大数据而呈现的报道内容，让球迷看到了一个直观的数字化的世界杯。
腾讯还策划了有趣的“球迷画像”，基于IBM大数据对用户的多维度分析，总结刻画了每位球星的球迷性格特征，对不同球星的粉丝类型加以区分和刻画，推出了不同球星的粉丝画像。例如，葡萄牙球星C罗的粉丝70%为女性，她们的个性关键词是“女王范”、“实际”、“有条理”和“欣赏美”。这样的球迷画像在腾讯的世界杯专区中定期推出，网友一致热捧，该画像成为鉴定自己是真球迷的另类标准。
合作共赢，火花没那么简单
独特视角的内容背后，是腾讯作为网络媒体在世界杯报道模式上的一次创新，也让我们看到了大数据实际应用的另一种模式。
记者采访了大数据提供方IBM品牌战略部高级经理杨磊，他表示“这是IBM第一次尝试在足球赛事中用大数据分析来探测球迷的反映，我们希望通过技术融合参与其中，与我们而言是一次露出，对腾讯，我们提供基于大数据分析的用户洞察，支持腾讯微用户提供即时感更强的内容”。IBM在1993年就开始进入体育赛事领域，赞助网球赛事，并提供比赛的IT技术支持。2005年，IBM通过SlamTracker追踪了网球四大满贯赛事8年来全部8128场比赛，每场比赛收集4100万个数据点，包括5500个分析模型。与媒体合作，用大数据技术分析探测球迷心理，并产出报道内容，这还是第一次。
此次与腾讯的深度合作，IBM首先看重的是腾讯庞大的用户基础与年轻化的用户属性，其次是腾讯在重大体育赛事报道中的运营能力、立体报道能力和PC端移动端双通道能力，这些优势将有效助力IBM大数据分析的开展和应用实现。
腾讯此次在世界杯报道中，也借大数据之力，大量并及时输出更贴合网友当下关注的热点内容，并发挥出网络全媒体平台的优势，将内容及时输送到各个媒体平台、移动终端，引发大量网友关注，并帮助品牌广告主实现了与用户的深度互动，实现了商业目的。
杨磊表示未来IBM将更多尝试B2B2C的传播模式，我们会看到更多大数据应用的场景和模式，开拓更多想象空间。
用科技改善赛事体验
目前媒体环境，社交、大数据、云等技术出现，B2B企业已经意识到独立消费者对企业的巨大影响，B2B企业的传播方式不再局限于一对一，IBM希望通过消费者的体验，运用B2B2C的方式让企业有更多的资讯通过终端触达消费者。
IBM其实一直致力于用科技来改善体育赛事的一些体验，在网球、高尔夫球赛事，我们在全球有很多年历史。但在足球，杨磊IBM品牌战略部高级经理这次是第一次尝试用大数据分析来探测球迷对这个赛事的反应。腾讯对于IBM是合适的合作伙伴，用户基数够大，用户属性年轻化，媒体平台全面，而且对于此次世界杯极其重视，并勇于尝试。这次合作对彼此都是一个很有趣的尝试和探索。让技术与赛事融合，通过腾讯IBM实现品牌露出，对于腾讯则多了一个内容提供方，并且开启了全新的报道模式，也为球迷带来了独特的观球体验。
以上是小编为大家分享的关于大数据的“感性”应用的相关内容，更多信息可以关注环球青藤分享更多干货
Ⅳ 大数据时代带来更理性、更可靠的决策
大数据时代带来更理性、更可靠的决策_数据分析师考试
究竟是什么魔力，让“大数据”这一概念得到全球各国的普遍关注？到底什么是“大数据”？它能够在多大程度上改变我们的生活？在我们寻求对这些重要问题的解答时，牛津大学网络学院互联网研究所教授维克托·迈尔-舍恩伯格出现在我们的视野中；希望我们对他的采访，可以帮助读者们找到这些疑问的答案。
最近一段时间，“大数据”的热潮席卷全球，正如美国《福布斯》杂志所说的那样，如今，在浏览新闻网站或者参加行业会议时，想看不见或听不到“大数据”这个词几乎不可能。去年，美国6个联邦政府部门宣布将启动“大数据研发计划”，投资超过2亿美元以改进从海量和复杂的数据中获取知识的能力。同时，我国科技部发布的“‘十二五’国家科技计划信息技术领域2013年度备选项目征集指南”也把大数据研究列在首位。眼下召开的全国“两会”上，有全国人大代表提出要把发展“大数据”上升为国家战略。
究竟是什么魔力，让“大数据”这一概念得到全球各国的普遍关注？到底什么是“大数据”？它能够在多大程度上改变我们的生活？眼前对“大数据”的关注度是否已经过高了呢？在我们寻求对这些重要问题的解答时，英国牛津大学网络学院互连网研究所教授维克托·迈尔-舍恩伯格（Viktor Mayer-Schonberger）出现在我们的视野中，讨论“大数据”，他如果不是最合适的人选，也起码是合适人选之一。
20多年来，维克托一直致力于网络经济、信息与创新、信息监管、网络规范与战略管理的研究。还在“大数据”这一概念众说纷纭时，维克托就已进行了系统深入的研究，2010年，他在英国《经济学人》杂志上和数据编辑肯尼思·库克耶一起，发表了长达14页的大数据专题文章。称他为最早洞见大数据时代发展趋势的数据科学家之一，并不为过。
《经济学人》说，在大数据领域，维克托是最受人尊敬的全方位发言人之一；美国《科学》杂志说，若要发起一场关于这个问题的深入讨论，没有比他更好的发起者了。
除了理论研究以外，维克托还非常接近实战世界，早在上大学期间，他就先后成立了两家数据安全和制作反病毒软件的公司，而在他写就的《大数据时代》一书中，那些最前沿、最崭新的大数据应用案例，都得益于他多年来紧跟企业与商业应用的步伐。他的咨询客户中，不乏微软、惠普、IBM、亚马逊、脸书、推特、VISA等大数据先锋们。
目前，维克托还是欧盟互联网官方政策背后的重要制定者与参与者，尤为重要的是，他还任职过新加坡商务部、文莱国防部、科威特商务部等部门，特别熟悉亚洲信息产业的发展与战略布局。
希望我们通过电子邮件对维克托的采访，可以帮助读者们找到这些疑问的答案。
失去微观层面上的精确度，为的是获取宏观层面上的洞察力
文汇报：今天，“大数据”已经成为全球炙手可热的词汇，您是从何时开始关注它的？
迈尔-舍恩伯格：多年来，我一直致力于研究数据在信息经济的发展中所扮演的重要角色，我与肯尼思·库克耶（Kenneth Cukier，我的合著者）一起发布了一系列相关研究报告。大约三年前，在我自己组织的一次会议上，我俩都意识到“大数据”的存在已经不仅仅是一种炒作或者什么宏大的宣言了，而将实实在在地改变我们的工作、生活以及整个社会，于是，我们决定就此专题写一本书。
文汇报：那么在您看来，究竟什么是大数据时代？它和传统数据时代到底有什么差别？我们知道，像沃尔玛这样的公司早在多年前，就已经将大数据运用到了商业实践中。
迈尔-舍恩伯格：事实上，过去几个世纪以来，数据已经在科学家们制定决策的过程中扮演了一定的角色，而过去几十年间，这一做法又延伸到了一些公司的决策制定过程。但在大数据时代之前，数据是非常匮乏的，我们拥有的数据非常少。因此，我们的决策、我们构建的制度都是建立在这样一种数据匮乏的基础上。今天，一切变得非常不同，它体现在三个不同的方面，我们称之为“更多”、“更乱”和“相关性”。
文汇报：这三个特征也是您在《大数据时代》一书中非常强调的，它们甚至会颠覆我们过去的整个思维方式。您能否具体描述一下这到底是怎样的过程？
迈尔-舍恩伯格：好的。我所说的“更多”，是指围绕任何一个我们想要调查的特定问题，或者是需要我们回答的疑问，我们都可以比过去任何时候获取更多的数据。在大数据时代，我们可以利用海量的数据得到非常详尽的见解，这是传统方法所不能做到的。
可以这么说，大数据时代和传统数据时代的区别，就像分辨率在200万像素的旧数码照片，一下子提高到2400万像素那样。后者是一个非常非常大的文件，它可以提供更多细节。它可以让我们不断放大，看清楚小到颗粒状的细部，而具有较低分辨率的图像在这些细节方面就会非常模糊。
基因信息就是一个很好的例子。美国有一家叫23andMe的新公司提供个人的DNA测试分析，以发现一些疾病征兆。它的成本只有两三百美元，并提醒客户关注会发展成严重疾病的个人癖好。但是公司并不对每个客户的全基因组进行测序，而是针对已知特征的位点（经研究得知因某种疾病存在，而可能会出问题的DNA片段）进行比对。这意味着，当一个新的特征被研究发现时，23andMe公司就不得不再次对客户的DNA进行测序并建立更完整的档案。
苹果公司的史蒂夫·乔布斯尝试了非常不同的方法。他得了癌症后，就有了自己全部的基因密码，数十亿的碱基对测序。这花费了他超过10万美元的成本，但这可以让医生完整地洞察他的基因密码。每当药物由于乔布斯的癌症病变而失去有效性，他们就可以根据乔布斯特定的基因信息，寻找到有效的替代药物。遗憾的是，这也没有保住乔布斯的命，但是在这一过程中获得的数据，已经延长了他的生命。
由于技术创新，现在收集大量信息的成本变得越来越低。数年前，史蒂夫·乔布斯花费了六位数的金额才做到的事情，今天，不到1000美元就可以获得同样的服务了。
而“更乱”指的是，在小数据时代，因为数据是如此稀少，我们可以确保自己收集的每一个数据点都是非常准确的。相比较而言，大数据往往是凌乱和质量参差不齐的。但是，相比以高额代价来保证测量和收集少量数据的精确性，在大数据时代，我们将接受这种杂乱，因为我们通常需要的只是一个大方向，而不是努力了解一种现象的细枝末节。我们并不是要完全放弃精确性，我们只是放弃对精确性的热衷。我们失去微观层面上的精确度，为的是获取在宏观层面上的洞察力。
电脑翻译就是其中一个例子。1990年代，IBM的研究人员使用了一套非常精确的文件（加拿大议会记录的法语和英语版）来训练计算机。尽管计算机完全按照规则行事，但基于此的翻译质量却非常低。然后，谷歌在2006年开始介入这一领域，他们没有使用来自加拿大政府的几百万句标准翻译，而是使用随手可得的任何语言。他们在整个互联网上，利用数十亿页质量参差不齐的翻译，这些翻译不怎么标准——但是，这是一个小的权衡——他们能够使用的数据大大增加了，结果翻译质量反而提高了。与更少、更标准的数据相比，更多凌乱的资料完胜了。
“更多”和“更乱”组合到一起，产生了第三个特点，“相关性”，这也是大数据带给我们的最根本性的转变。我们的思维将从因果关系转向相关关系。至今为止的整个人类历史里，全世界的人们都在寻找事件发生的原因，探寻“为什么”。但我们对原因的执着探索往往带领我们走向错误的方向。所以，我们建议，在大数据时代，在许多情况下，我们可以仅仅寻找“是什么”，而不必完全理解“为什么”。例如，对于大数据的分析中，我们可以发现机器震动中一些非常微小的变化，这些变化表明机器将很快损坏。这使我们能够在部分机器零件报废前更换它们，这被称为“预测性维护”，它可以节省不少钱。但除了提高消费效率，“相关性”还可以做更多的事情。
比如对早产儿而言，即使他们长大成人，这些小宝宝仍旧是非常脆弱的，哪怕是遇上很小的感染。医生卡罗琳·麦格雷戈研究如何给这些婴儿最好的生存机会。使用大数据分析，每分钟可以搜集这些婴儿超过一千个数据点，麦格雷戈发现一个令人震惊的事实：每当这些早产儿出现非常稳定的标志时，他们的身体其实并不稳定，正在准备发病。有了这方面的知识，她就能在一个非常早期的阶段，确定婴儿是否需要药物治疗，从而挽救更多孩子的生命。
这是典型的大数据应用：医生麦格雷戈通过更全面的传感器，可以比以往搜集到更多的数据。她也接受，在这种情况下，并不是所有的数据都是准确的，从而也会导致她分析中存在不精确的可能。她把“为什么”这个问题放在一边，而用一种更务实的方式来提供帮助，她寻找“是什么”，这才是一个更好的预见感染的办法。
我们应该记住：大数据也可以挽救生命。
正确使用大数据，可以改善医疗、教育水平，促进人类发展
文汇报：大数据时代的到来，是否将会引领新一轮的产业革命？我们应该怎样客观地看待它的价值？
迈尔-舍恩伯格：大数据将会极大地改变社会生活的方方面面，但是它的价值能否等同于工业革命，这个问题目前还不好说。我个人猜想可能不能，原因是在19世纪初工业革命刚刚开始的时候，经济发展还处于非常低的水平上，所以相对来说，当时的人们从工业化过程中所能获得的生活水平的提升是非常巨大的，今天则非常不一样了。
我们真正想强调的是，大数据时代将推动我们从根本上改变企业的运作方式，以及我们在社会中的生活方式。大数据可以提高人类制定决策的能力，这种提高将是大幅度的。有了大数据，我们不是简单地提高经济效率，而是将挽救人类生命，延长我们自己的寿命。我们还将改善教育，促进发展。同样的道理，我们必须要小心。大数据同样也有“阴暗面”，正如我们在书中讨论的那样。如果应用错误，大数据也可能会化为一个强有力的武器。因此，我们必须确保正确使用大数据。
文汇报：您提到了大数据时代的“阴暗面”，它的到来会加深数字化鸿沟吗？
迈尔-舍恩伯格：大数据是一个强大的工具。因此，如果我们使用了错误的方式，它就可能会加深数字鸿沟。但是，如果我们用得好，相信大数据就可能会改善我们的生活，尤其是对那些不那么幸运的人而言。在这一点上，你可以把它想像成火、电或是抗生素等等。
文汇报：也就是说，您对大数据的价值认知，是基于一个更长时段的历史发展。
迈尔-舍恩伯格：如果以非常广阔的视角来看人类历史，我认为，人类一直想要理解世界。起初，许多人的“知识”是基于迷信和预感。知识的发展非常慢，人们需要非常深层次的思考，再通过实践进行检验，以确保知识是可用的。
但即使如此，我们的知识仍旧不是百分之百可靠的。例如，19世纪，路易·巴斯德一直在研究狂犬病疫苗，当时有一个被狗严重咬伤而染上狂犬病的小孩，父母担心孩子会死去，恳求巴斯德试试他的试验性疫苗。巴斯德照做了，孩子活了下来。随后的庆祝活动上，巴斯德以一个英雄的身份出现，他挽救了年轻孩子的性命。但是事实的确如此吗？今天，通过更深入的研究，我们知道，在被类似病狗咬到的儿童中，只有25%会感染狂犬病。所以75%的儿童哪怕使用了无效的疫苗，仍旧可以存活下来。这个故事告诉我们，我们以为自己生活在非常科学的世界中，但其实，我们拥有的数据非常少。一种新的治疗方法在被证明安全之前，需要做几十个甚至几百个医学实验来进行测试。但这仍旧太少，人们还是会受到伤害，因为我们依靠的数据太少。在大数据时代，我们可以告别数据匮乏，做出的决策将更理性，更基于事实，当然也更可靠。这是大数据时代带给我们的希望——更好的决策将会代替我们过往那些可疑的迷信和不可靠的人类预感。
文汇报：我们看到，麦肯锡公司2011年就发布报告推测，如果把大数据用于美国的医疗保健，一年可产生潜在价值3000亿美元，用于欧洲的公共管理可获得年度潜在价值2500亿欧元；服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元；利用大数据分析，零售商可增加运营利润60%，制造业设备装配成本会减少50%。“数据创造价值”的预测已经非常振奋人心。在您看来，大数据是否只是一门价值不菲的生意？
迈尔-舍恩伯格：不，大数据可以做更多。医疗方面，我们前面已经提过，只是分析一些重要的征兆，早产婴儿的感染出现明显症状的数小时前，医生就可以预见其生病。
同样，通过大数据分析，我们也可以找出学校教科书中的哪一部分对学生而言效果最好，也可以找出效果不好的部分。到现在为止，我们只能按照人类的预感，即教师自己判断学生在理解特定课程时是否会有疑问；但在大数据时代，我们有实际的数据可以参考，例如数据显示，电子书籍的某些页面被看过许多遍，因为它让学生感觉费解，据此可以调整我们的教材。这将从根本上改变教育。
或者举公共政策为例：Inrix是为智能手机提供导航软件的公司，它还提供实时的交通数据。之所以能做到这一点，是因为每个用户本身都成为了交通流量状况的传感器，把位置和速度信息都发回Inrix公司。这样一来，就可以给行进在交通堵塞路段周围的客户提供良好服务。Inrix公司有一大堆人们的活动数据，这还将有助于城市规划者了解大家的通勤模式，人们从哪里出发去工作，然后返回，并建设基础设施，如道路和铁路。这是最有效的应用。节省钱的同时，也有利于整个社会的管理。
文汇报：大数据对于商业决策、学术研究乃至国家治理的作用是显而易见的；但是对日常生活中的普通人而言，他们一定会从中受益吗？为什么在大数据时代，还是有不少人主张远离过载的信息和数据、返璞归真回到传统的社群生活之中呢？个人生活空间一定得从“简单平面”转变到“多维存在”才有意义吗？
迈尔-舍恩伯格：千百年来，人类已经经历的世界，都是在少量数据的基础上产生很多想法的世界。海员们结束长途航行后回来，地图才会在这一次经验的基础上进行重新绘制。这显然不会很精确。经过试验和犯错的周而复始，人类发展得非常缓慢。但是，当我们只有非常少的数据时，这是理所当然的结果。今天，我们有这么多的数据，难怪人类会不堪重负。但是，现在大数据可以提供帮助。如果人类不太善于消化这些过多的信息，大数据分析可以帮助我们将信息进行过滤，并进一步可视化，使我们能够轻松地加以使用。
人们尚未普遍具备与大数据时代相匹配的思维和技能
文汇报：有专家认为，大数据的未来是数据的APP（加速并行处理）而非基础构架；也就是说，仅仅有数据平台和基础构架是无法创造长期价值的。对此您怎么看？
迈尔-舍恩伯格：我们认为，大数据时代将至少需要和过去时代一样多的人的独创性。同时，巨大的资源才是未来时代的金矿，那些拥有这些数据资源的人将获得的回报是不可想像的。
文汇报：大数据时代，数据都是透明的，我们如何在保护个人隐私、商业机密和国家安全之间取得平衡？您所谓的“互联网遗忘运动”会是最佳药方吗？
迈尔-舍恩伯格：大数据时代所面临的挑战是，我们发现了隐藏在数据背后的价值，所以，保留这些数据，然后一遍遍地重复使用数据，往往成为一种明智的选择。同时，现行的保护个人隐私的法律，特别在西方，针对的是一个传统数据的世界，而不是一个大数据世界。这就需要我们在保护隐私的规则方面作出调整。我们建议，可以通过调整相关保护规则来实现这一目标，正像你所提到的，我们可以在一定时间以后，选择遗忘这些数据。
文汇报：大数据时代是一个海量数据有待处理的时代，同时又是一个海量无用信息需要删除的时代。这是否就是您在《删除》一书中强调我们要有所取舍的原因所在？
迈尔-舍恩伯格：是。在某种程度上，大数据本身也可以加强隐私的保护。因为如果有一百万个数据点，一个单独的数据点就不再那么重要了，这和传统数据时代非常不一样。随着时间的推移，忘记其中一些数据，并不会破坏整个大数据的运行和使用。
文汇报：大数据现在在全球究竟发展到了什么阶段？处理大数据的技术是否已经在全世界范围内普及？
迈尔-舍恩伯格：管理和处理大数据的技术都已经存在了，而且并不是非常昂贵。但是，有一样东西目前仍旧非常缺乏，那就是我们的思维——以理解数据背后所隐藏的巨大价值，以及提取这种价值的专门技能。今天，全球范围内，人们还没有普遍具备这种思维和技能，但是我相信，在未来，这种情况会发生改变。我们预计，世界各地的许多大学将提供针对大数据分析的课程，来培训大数据时代所需要的技能。
文汇报：历次产业技术革命，中国似乎都是学习者和模仿者；和上几轮产业技术革命不同的是，大数据时代，中国几乎和欧美发达国家同时开始技术研发，中国人口又居世界首位，将会成为产生数据量最多的国家。您看好中国在新时代的发展前景吗？中国在大数据时代是否有创新和领先的可能？
迈尔-舍恩伯格：是的，我们对此非常乐观。中国很可能成为大数据这一领域的先驱。在大数据时代，中国有很多优势：中国人都受过良好的教育，特别是在数学和统计方面（这是非常重要的）。中国是一个巨大的多元化社会，这会创造大量机会来创造大数据这一资源，并建立大数据应用。同样的道理，对于大数据的蓬勃发展，我们还需要相匹配的思维方式，有尝试新事物和持续创新的愿望，以实证事实来作为我们决策的依据。因此，和许多其他社会一样，大数据时代的确也会给中国带来非常大的变化。
以上是小编为大家分享的关于大数据时代带来更理性、更可靠的决策的相关内容，更多信息可以关注环球青藤分享更多干货
Ⅳ 阿里的总监将大数据、数字化的经验，总结成资料干货，可以收藏
阿里把企业的数字化转型划分为“数字化重构”和“数字化增长”两大类别，这个概念是不是听着很难懂？
重构，就是转型嘛；增长，就是更进一步嘛，说白了还是原来的老样子，换了个解释而已。
说到数字化转型，我觉得这是一个非常好的话题，甚至能衍生出很多干货，无论是传统企业，还是顶尖的互联网大公司，如阿里腾讯，老板都在朝这个方向努力。
所以和大数据有关的知识，还是很有必要学习的。
我给大家整理了很多干货，我从一个10年从业者和管理者的角度，这份干货，无论是底层干活的，中层管控的，上层布局的，都能够很清楚的学习到。
涉及到的方面还是很广的：大数据、数仓、中台、AI、IT规划、大数据平台、BI工具。
我是怎么总结的？
从架构入手，到每个模块的分解，再到每个地方的注意点，基本上就行了，太细的也不是通过文字去说清楚的。
只要能做到，看了干货资料，能对实际工作产生指导，就可以了。
这只是一部分，还有更多，自己来看就好。
Ⅵ 专访智慧空间庞涛：大数据时代，传统行业的拓荒者之路
谈到大数据，在这个领域比较擅长，并且为我们所熟知的，他们大多是一些互联网公司，基于大量线上用户交互作为数据支撑，从而实现精准营销、提升效率和收益的目的。然而有关线下的数据收集，却一直是行业的痛点难点所在。
逐鹿网此次对智慧空间CTO庞涛进行了专访，以期希望能够通过他们的产品「流量小盒」来帮助大家了解一下关于线下大数据如何被有效收集利用，以及传统行业在拥抱互联网时应该如何去面对？
午后的一个下午，我在新中关的星巴克见到了庞涛，他显得形色匆忙，刚刚去微软谈了有关产品推广的合作，就风尘仆仆的接受了我的采访。
接地气的硬件，智慧空间的客流小盒
庞涛所在的公司叫做智慧空间，在他看来天下熙熙这么多人流，作为一家专注线下大数据收集的企业应该理所应当的区覆盖所有的地面空间，「我有一种责任帮助所有的地面空间，实现利用大数据来管理客流的一种能力。」
「智慧空间」这家公司在业内并没有什么知名度，他们的产品「客流小盒」也因为是2B端的产品，所以并不被用户所熟知，但这并不妨碍他们在线下大数据方面的成功。
传统的市场研究是找一个市场调查公司，做一些调查问卷，做一个通过统计学的原理来推断市场客户。而客流小盒则是帮助商家收集到足够多的客流数据，为监测商家的客流量提供解决方案，帮助零售企业更好的实现市场研究。通过一个设备和数据的留存，可以识别出一个精准的用户。
例如识别出一个客户后，能识别出一个客户从9点来到10点走，每5秒刷新一次之后就能识别出这个时间段内客户一直在留存。如果能在半年内监测到这个客户平均每个月到店4次，那店家就可以知道这个客户的价值。客流小盒的覆盖的半径大约为30米，能把手机设备的型号识别的特别精准。而其可以利用无线网络监测的道理其实很简单。
移动互联网时代到来，每个人都会有手机，这些手机都会发射无线电波。而如果一台设备能够听到这个无线电波，同时又能识别这个无线电波，那么就能够通过记录手机的个数，来比较准确的推出客流的个数。我们知道在无线电波传输的过程中，一定是带有硬件的特征码，而且这个特征码是固定不变的，通过监控这个可以锁定一个消费者在各个店铺的消费情况。
客流小盒具体来说是怎样的一个产品？用通俗的话来说，这是一个监控到店客流的硬件产品，但这或许是我所见到过的最接地气的硬件了。在前端，客流小盒主要利用经济成熟的无线wifi技术，识别客户手机等无线设备，进而可以准确方便地统计客流量、驻留时间、进店率、回头率等等有价值的数据。在后端，则通过系统后台提供专业易懂的客流相关数据报表，帮助客户实现线下精准数据与CRM的完美结合，最终达到精准营销。
现在客流小盒大概已经和五百多家实体店进行了合作，今年的目标是推广到大概上万家，推广主要走2B的渠道，目前它们也已经获得了天使轮融资。
艰难的前行者，线下数据的拓荒之路
在庞涛看来，互联网巨头没办法从根本上解决线下店铺获取用户的需求。举例来说，对一个具体的线下饭店，一天饭店里来多少人吃饭，谁来你这吃饭，这些人都是什么样的人，实际上对于一个实体店铺，他基本上没有什么手段，而所谓巨头其实也没办法解决这种困境。
当然，不少线下店铺会有一些很笨的手段，但这些手段往往都存在诸多弊端。
首先，存在大量数据缺失，监测无法达到有效的精准度。像Zara的所有门店都放了三路摄像头，这个用来数到店人数。还有711便利店比较聪明，弄了一个只要计数器，只要你一开门，计数器就会自动加1，开一下就加1。其实商家并不是不想监控这些数，而是监控这些数的手段不够多。像711这个，一下来了一堆20个人开了一下门，大家一块监控，就没办法精确监控了。摄像头也有同样的问题，会出现一个人出现在两个摄像头里，被重复计数两次的现象出现。而图像识别的精准度又不是很高，这就导致你无法具体计算到底来了多少人。
其次，即使监测到了具体人数，也无法清楚客流动向。店铺进来了多少人，这只是线下大数据的第一步，对商家来说他们更在意的是消费者最关注的是什么？他们去了店铺里的哪些地方，在什么地方停留时间最长等等，这些数据对线下店铺来说可以帮助他们迅速的调整商品策略。这种在线上很常见的监测流量的热力图，在线下却没有一个解决办法。
最后，到店人数最终的转化率。这个相信会是所有商家最关心的数据，到店的消费者当中到底哪些去了试衣间试衣服？现在的监控都是通过销售后的数据，店铺卖了几单，这个客单价是多少？但事实上，一个品牌做了很多市场推广，这个到店其实是有成本的。哪怕是自然流量，那也是支付了高额的成本才能获得这个好的地段，所以才有了这个流量。商家当然希望能找到一种方法让用户获取成本变得更低。
数据巨头之战，合作与竞争的冲突
在庞涛看来，线上的流量都是比较容易被监控的，无论你访问什么网页都可以被监测到。但到了线下，却往往没有一个有效的手段去监测线下流量，人来人往、翻台率这种对商家最重要的数据，往往只能粗暴的依赖于售后的数据。
这显然不是一个正确的事情，庞涛感慨道，「我们应该为线下的商家做点事情」。对于地面上的店铺来说，它应该有某种手段，把自己的客户抓住。但从始至终，很多人都会认为收集数据这应该是巨头做的事情。
但庞涛并不是很认同这点，在他看来，BAT巨头很多时候确实有这种能力可以帮助线下店铺，比如阿里巴巴是送给店家路由器、POSS机，但这些巨头都有一个核心的利益诉求是「线上流量的滞涨，所以需要去从线下抽取流量」，这也是为什么阿里要收购银泰的原因。
互联网巨头尝试去做O2O，其实就是出于这个目的。以前是希望能够从线上覆盖到线下，但现在希望做的是如何从线下截取流量。它们很多时候会采用所谓的互联网思维，简单的来说就说通过低价或者免费来迎合这个市场。但BAT的出发点却和智慧空间存在很大不同，即便是巨头免费或者送钱给线下的店铺，线下商家也不一定愿意和巨头合作。
庞涛表示，「BAT的核心诉求是要从线下的店铺导流量走，这个是很可怕的。我们是帮助线下店铺有从线上获取用户的能力以及帮助商家学会如何利用大数据做精准营销。不过线上能力现在还不够强，所以现在也在和一些线上的商家进行合作，希望打通一些线上的大数据源。一旦和线上的大数据源BAT+京东，他们都是有从线下导流的这种诉求，所以谈判极其艰苦。」
线下的店铺对智慧空间来说是最宝贵的客户资源，站在客户的角度来出发，没办法上来就把客流导给电商和线上的互联网巨头，但这往往又是这些巨头的基本诉求。某种程度上在获取线上数据的时候，往往处在一个矛盾的冲突之中，但庞涛表示仍然要坚持以线下的利益为主，「我们至少需要的是让大家在一个平等的对话上进行流量的互换，这才有意义。否则的话，流量都白送了，线下将要如何立足。」
痛点以及难点，让手机号成为唯一通行证
覆盖率、地推成本高、商家合作意愿不强等等，这些我们所常见的痛点难点，智慧空间也无法免俗。庞涛表示，现在智慧空间已经和两个大型的购物中心展开合作，已经上线半年。在一些咖啡馆、酒店都有客流小盒的铺设。
关于监测精准度的问题，我在采访中提到了一个疑问，简单的通过「设备」来识别「人」，这会可能会没办法识别出「我是谁」。线上线下的会员卡现在都相当流行，这些卡片背后都拥有具体的一些身份特征信息，年龄、收入、身高等。而客流小盒只能监测到客流量，看上去都是一些无效的流量。
「会员卡的成本太高了」这是庞涛给我的一个有力的回应。电子会员卡所填的信息比较多，当然会更加精准，但建立一套好的会员卡系统，至少需要上百万，还需要单独的设备去刷卡去核销，一张会员卡的成本卡片制作成本就有10元。「大数据的时代，并不是强调这个数据到底有多么的精准，而是在于获取这个数据的大家有多大，这才是核心思想」客流小盒希望把手机作为唯一标示后，去再作为身份的唯一标示，最后让手机号码变成线下和线上的唯一通行证。
至于如何识别出这些手机号码，庞涛表示主要通过和相应的厂家合作来结局。通过比对识别出来的特征码，和web认证的厂家合作。「我们来数频次，他们来识别人。这些厂家没办法识别出手机的特征码，但他们手上有手机号码。比如说这个店，有500人在，他们知道300个人的号码。我们通过3次的挖掘，对比特征码和手机号码。我01年给移动做数据挖掘师，打通这些数据，服务于这个商家。」
到最后，无论是线上还是线下完全不用带一个会员卡了，识别出手机号码和硬件特征码的一个组合，就成为会员体系身份识别的一个重新建立。再结合每5秒扫描获得的硬件特征码，结合算法识别，布放在各个地方的设备，基本上就能识别出这个用户住在哪里？把这些人维护住，这家店的基本命脉就维护住了。这样来说，线下的店铺就有一个很好很便宜的工具。
商家的困惑，如何利用线下客流量
这些数据最大的意义就是可以精准的识别出商家的目标客户，例如在一定时间内监测到一个客户重复到店两次，这其实就是一个回头客。在线上这可以很好的监测，但线下其实商家就很难监测到。
客流小盒每5秒刷新一次，这个号码只要出现在这个店铺里，就会在后台每5秒出现一个点，这其实形成了一个基础数据。一方面可以对客户进行定位，另外一方面对客户进行跟踪，知道客户去了哪里，换没换衣服，有没有结账。像Zara这种店，肯定是不能把摄像头放在试衣间的，这时候监测往往会是一个难点。通过店内的盒子布放进行监控，如果监测到一个客户去了试衣间，那其实就能初步判断这个客户对商家的价值。但现在商家获取这些数据的代价就是300元。
300元，这是客流小盒现在的售价，商家此外每个月还需支付30元的服务费。不过庞涛表示这30元的服务费并不是强制收取的，而是按照为客户提供的服务效果收费，例如智慧空间帮助客户锁定了5000个客户，每个客户找商家收取5毛钱，这些用户都是商家目标精准客户，这个值得不值得？
解决了商家在成本上的困惑之后，就是关于收集到的数据如何被利用的问题。庞涛在京东的工作经历，让他对电商的那一套非常了解，「我在京东工作的时候会有一个监测线上数据的表，监测到pv、uv等，在618和双11的时候为什么可以做到几分钟换一件商品，上一双鞋子5分钟流量上不来立马进行更换。在去年双11的时候，杰克琼斯花了比以前多一倍的钱，但流量还是来不了。这意味着，线上的流量其实已经到了一个瓶颈期了。无论你再砸多少钱，不会再快速增长了。所以今年无论是京东还是阿里都去线下了，大家看中了线下的客流。」
庞涛认为客户的需求永远都是多样性的，电商会是一个很好的补充，但并不是所有，还是没办法完全取代线下。消费者去京东上购买3C产品最核心的因素在于便宜而且能保证，「如果京东比别人贵100元，你试试？之前苏宁有一段时间保证比京东便宜了100元，后来就抢走了京东很多的货」
这是所京东要大力发展第三方而不是自营原因，而到了现在京东也无法保证低价优势了。所以现在无论是线上还是线下，变得殊途同归。「你能维护住一个客户的关键，不管是线下还是线上，综合体验和完整性给人感觉的价值最高才是最好。」
线下流量的正是应该让商家能够使得目标受众感知到良好综合体验和性价比。比如说，客流小盒已经监测到一个客户每个月都会到店几次，这基本就可以断定这个客户应该是商家的忠实VIP。这个时候，可以直接给这个客户一个8折卡，把这个客户彻底留存下来。
上面说的这些只是一些初步的数据利用，客流小盒要帮商家解决最重要的两件事情——拉新和留旧。「我们要把大数据做到很简答，你不能把大数据做的让大家看不懂。」通过客流小盒的后台，商家可以很轻松导出数据报表，这个报表可能会包括商场的管理者、日期、进店数、客流数、日总回头客数、销售额、客单价等数据。
任何商家都遵循金字塔理念，客流、转化率、客单价、毛利率，这是企业最关键的四个指标，无论是电商还是线下商铺永远是遵循这个规律。客流小盒解决的问题是，帮助商家把那些收集不到的信息补全。对商家来说，能收集到的永远都是客单价和毛利率这些销售数据，提高商家的数据能力，自然就会帮助商家更好实现留旧。
庞涛表示，目前没有一个人能够有所有的数据，而客流小盒抓住了一个核心，你是谁，你从哪里来，你到哪里去，我怎么和你联系。当覆盖范围足够大的时候，对用户的画像就会越来越精准。至于这些数据怎么使用，还是还要看商家自身的经验，客流小盒提供的只是一个工具。
「我们能检测到这个VIP在这个商场待了多长时间，我们可以做一对一的精准营销。商场10%的大客户你知道是谁吗？也是一些企业，他会给企业购买一些福利，采购办公用品。我们可以帮助店铺抓住这些客户，当然这必须要有一些传统手段，比如人盯人。但如果有我们这个监测系统，他人来了，你过去送一杯汽水，这会不会感觉更好。我们会告诉用户说，你来我这消费，我们这边是有专人给你服务的。我们就是帮助线下，婉转线下。」
关于增量方面，客流小盒的核心关键在于同业之间形成一个联盟。庞涛表示，「A和B两家客户都是我的，我不可能把A客户的数据给B，同样也不可能把B客户的数据给A，这是有悖于道德的。但是如果不相互交叉，他们之间的增量从哪里来呢。那我要同时和A、B两个谈，在这个行业里面，大家同时分享这个数据，你把你的贡献出来，他把他的贡献出来，大家都在一个池子里面。当然我不告诉任何一个人，这个客户是从哪里来的。但这个池子里面是有这么多客户供大家使用，共享的，从而你就可以拿到增量。然后就可以对增量进行收费。」
简单的举个例子，这里有三家咖啡馆，每家300人，总共900人。这900人对他们就是这个商场里面的目标客户，但客流小盒不会告诉这些客户具体属于哪家店铺，而只是告诉商家这900人都喜欢喝咖啡，之后比拼的就是这三家咖啡的品质和综合体验的自身能力了。
未来、变革、尝试以及商业模式
线下的大数据，这个事情大家都想做，摆在创业者面前最困难的事情，就是推广。智慧空间团队现在有20个人，95%的人是做研发。但早前没有进行大规模推广，庞涛认为这是他们的产品做的还不够完善。
「O2O的概念现在很火，很多人都在做这个事情，但是能够拿得出这些表的人并不多。谁能给你看，你一家店铺每天到店的客户、联系方式以及这些人是不是你的忠实客户，没人能给你看。我们已经在这个行业深耕两年半了，但一直觉得产品体验不够，没办法对外宣传。但现在一直等到这张表出来后，我们觉得可以做一些精准营销了，所以开始推广了，领先竞争对手长达2年时间。」
而谈到商业模式方面，庞涛表示平台积累的数据不会卖给别人，这并不是因为数据是核心资产，而这个数据真正的拥有者和买单者应该是这个商场，这是智慧空间和电商最大的不同。因为目标很简单就是帮助线下的商铺成长，最终分取一些店铺的营销费用。所以一开始是帮助商家维系老客户，这方面可能是不收费的，但当商家希望能够获得增量的时候，就会希望商家能够给一些佣金，这样就可以覆盖住成本。
而关于硬件领域最大的成本问题，庞涛表示他们对成本并不是十分敏感。只要数据够快够准，即使报价再高，商家还是会买单，B端市场和C端市场最大的差别就在这里。
对庞涛的客流小盒来说，或许最大的风险就是用户隐私方面的问题。因为当商家获取到目标客户的电话号码时，必然会通过短信进行营销，而这是没有获得用户允许的。这和外面的私人基站性质某种程度上有点类似。
对此庞涛表示，基站有一个致命的问题，它是没有历史数据进行比对的，基站是截获手机信号，那个时候手机是打不出电话的，所以国家在打击这个事情。而客流小盒不一样，比如说消费者逛了一家商场的A/B/C三家店铺，这些都是有特征的，平台会给消费者推荐相关的东西，而不是简单粗暴的发送垃圾短信。而且推送这个短信，并不是平台做的事情，智慧空间没有商品，给商家推送是无意义的。平台只是赋予商家这种推送的能力，再控制商家，在不准的时候，不会让他们进行推送，在准的时候可以送出去。
写到这里，差不多谈话也结束了，庞涛对客流小盒未来的发展想的足够透彻，线下大数据的收集和利用仍然会是一个不小的痛点。客流小盒通过扫描设备特征码，识别出用户的手机号码，也仍然存在一定的法律风险。但这至少让我产生了一个思考，互联网人在宣称要改造传统行业之时，真正要解决的是帮助线下企业，而不是从他们身上获取什么，这或许才是一条正确的道路。
微信号：hizhulu 微博：逐鹿网
Ⅶ 大数据应用如何开启新局面
大数据应用如何开启新局面
随着大数据应用的经济社会效应不断显现，大数据已经在市场营销、金融、交通、制造、医疗等各个领域开展试水应用，取得了一定的成果。不过，业界认为我国大数据应用仍处于初级阶段，还未形成普遍应用的局面，对大多数企业，特别是传统领域的企业而言，还未找到有效的应用模式。如何进一步普及大数据应用，通过应用带动整个产业链发展，成为当前迫切需要解决的问题之一。
大数据应用未形成燎原之势
大数据应用呈散发状，目前主要集中于互联网市场营销场景。
“目前，我国大数据应用仍处于初级阶段，《促进大数据发展行动纲要》的出台为我国大数据应用拓展起到了有力的推动作用。”工信部信息化和软件服务业司司长陈伟近日向《中国电子报》记者这样表示。他认为，大数据在电子商务领域的应用逐渐增多，成为大数据最成熟的应用模式。
京东通过建立PB级大数据平台，将每个用户在其网站上的行为数据进行记录和分析，提高与用户间的沟通效率、提升用户体验。实现了向不同用户展示不同的内容的效果，带来了10%的订单提升。比如提供给推荐搜索调用，针对不同用户属性特征、性格特点或行为习惯在他搜索或点击时展示符合该用户特点和偏好的商品，给用户以友好舒适的购买体验，能大幅提高用户的购买转化率甚至重复购买，提高用户忠诚度和用户黏性。基于用户点击数据、浏览页面信息等信息的数据模型和数据资源在经过淘宝商城的挖掘和分析之后，向用户和商家开放了查询APP。通过数据挖掘和分析为淘宝提供了定向广告投递的能力。开放查询APP则为用户和商家提供了便捷的选择服务。淘宝网还建立了“淘宝CPI”，通过采集、编制淘宝上390个类目的热门商品价格来统计CPI。
不过，研究机构中国信息通信研究院研究成果表明，大数据应用呈散发状，并没有形成燎原之势。目前主要集中于互联网的市场营销场景。尽管金融、电信、零售、制造、医疗、交通、物流、IT等行业对大数据应用表现出极大热情，但目前在媒体和各种论坛上所公开的大数据应用案例仍然非常零散，这表明大家虽然都很关注大数据，但推进实际的应用仍然存在一定的困难。唯一众多企业都推出或者采纳大数据应用的领域是基于互联网的市场营销。
另外，从技术角度看，大数据仍以初级应用为主，多数应用仍然使用传统分析流程和工具，只是扩大了数据的来源、增加了数量。中国信息通信研究院调研发现，与传统数据分析相比，新的大数据应用虽然开始使用非结构化数据，但在实际应用过程中，这些非结构化数据只是被压缩、清洗和结构化后，放入传统的ETL 和分析流程中去。另一些大数据应用通过采用云存储和云处理技术，提高了数据处理效率，从而增加了数据处理的规模，但这些应用也仍然采用原有的ETL和分析流程。缺乏应用模式上的创新，使得目前大数据应用仍停留在初级技术阶段。
陈伟也认为，目前我国数据资源建设和应用水平较低。“目前，用户普遍不重视数据资源的建设，即使有数据意识的机构也大多只重视数据的简单存储，很少针对后续应用需求进行加工整理。数据资源普遍存在质量差，标准规范缺乏，管理能力弱，数据价值难以被有效挖掘利用。”陈伟说。
与新一代信息技术集成应用势在必行
物联网、3D打印等新一代信息技术与大数据相互作用，促进应用落地。
业界认为，新一代信息技术与经济社会各领域的深度融合，引发了数据量的爆发式增长，使得数据资源成为国家重要的战略资源和核心创新要素。利用大数据分析，能够总结经验、发现规律、预测趋势、辅助决策，充分释放和利用海量数据资源中蕴含的巨大价值，推动新一代信息技术与各行业的深度耦合、交叉创新。
事实上，国家战略层面也已经意识到这个趋势。国务院正式印发的《促进大数据发展行动纲要》指出，推动大数据与新一代信息技术融合发展。抓住互联网跨界融合机遇，促进大数据、物联网、云计算和3D打印技术、个性化定制等在制造业全产业链集成运用，推动制造模式变革和工业转型升级。
记者从工信部获悉，工信部将组织实施“工业和新兴产业大数据工程”，促进大数据、云计算、工业互联网、3D打印、个性化定制等的融合集成，推动制造模式变革和工业转型升级。
对于大数据与新一代信息技术集成应用，三迪时空网络科技股份有限公司董事长李培学在接受《中国电子报》记者采访时表示，以大数据为中心的3D打印分布式智能制造将是趋势。在未来的云智造平台上，任何人即使不具备建模的知识，但只要有创意，就可以和设计师沟通，设计出自己想要的三维模型，然后通过3D打印机来实现，同时，云智造平台必须能够确保设计师赢利，设计师的创造力、创意思维才能源源不断地发挥出来。有了完善的设计师平台，在人群聚集的互联网上，创新就可以得到实现，有了以3D打印机为工具的分布式制造单元，可以为周边的普通用户提供个性化定制的产品，而这一切都基于大数据。
例如，以大数据平台为基础的3D打印定制鞋是3D打印技术在垂直行业领域中的具体应用。通过对人足部特征扫描、采样，将三维数据和人员信息汇聚到数据中心，构建大数据平台，再结合3D打印定制化生产的特点和传统制造批量生产的优势，将虚拟的三维数据对象转化为实体成品。“用户可以利用大数据平台的查询检索功能，找到真正适合自己的鞋类，实现个性化定制；鞋类厂商则可以根据大数据分析，精确地定位消费群体的需求，包括特殊人群的脚型数据，将精确估算出产品的订单需求，更加精确地批量生产。定制化数据可以跟踪人们足部生长的阶段来进行调整，用户可以根据数据分析来选择不同的品牌不同的类型。”李培学表示。
PTC全球副总裁兼中国区总裁寿宇澄在接受《中国电子报》记者采访时也表示，大数据在物联网中起到至关重要的作用，相互依赖。
“在制造业一些核心技术领域，例如飞机发动机的研发，我国的研发水平要追上国际先进水平还需要一定的时间积累，但是我们若把信息化扩大到产品全生命周期尤其是重视产品出厂后的流程优化，把产品出厂前的虚拟世界和出厂后的实体世界并行发展，那么我国的制造业整体实力也能得到有效提升，而物联网恰恰能实现这一点。物联网的初衷之一就是把信息化延伸到产品全生命周期，不仅包括研发环节，还包括产品出厂后的流程。当然，物联网应用的形态也发生了变化。
以前是过程驱动模式，是以企业家的经验为主，但当企业发展到一定阶段，面临的市场环境更为复杂，企业产生的数据量更大，面对这些庞大的数据，公司管理者很难再像以前那样以事先定好的流程和经验进行处理和决策，必须要依靠机器的智能帮助人们进行大数据分析，这就需要数据驱动模式。从流程的驱动变为数据的驱动，产品出厂前以研发为主的数据只是一类数据，但当这类产品出厂后每个产品流向市场后的数据则成几何规模扩大，这就形成了大数据。这时，企业就需要对这些大量的数据进行分析，从而对公司决策进行支持。
以上是小编为大家分享的关于大数据应用如何开启新局面的相关内容，更多信息可以关注环球青藤分享更多干货
Ⅷ 大数据 掌握话语权要关注基础技术
大数据：掌握话语权要关注基础技术
《2015年中国大数据交易白皮书》显示，预计到2020年，中国大数据产业市场规模将是2014年规模的10倍，由2014年的767亿元扩大至8228.81亿元。全球大数据市场高速增长，已经成为全球IT领域中的增长亮点。在中国尽管大数据仍处于起步阶段，但各地发展大数据的积极性较高，行业应用推广迅速。在这个热情高涨的大数据市场，中国要想进一步释放大数据的价值，掌控大数据的技术话语权，必须关注大数据的基础技术。
眼下，虽然中国对大数据的热情很高，但我们必须看到目前中国在大数据关键技术上的布局其实是有所欠缺的。目前世界各国都在抢先布局大数据的关键技术、基础技术，因为从目前的技术架构和技术基础来看，用现成的技术来解决大数据的问题还面临诸多的挑战。不久前，IBM中国研究院院长沈晓卫接受《中国电子报》记者采访时坦言，我们要想真正从数据中获得洞察、获得价值，需要更高效、更智能的数据处理和分析平台，以及相应的工具。其一，传统的IT技术，需要有更大的突破。比如物联网处理系统需要一秒钟处理上百万信息，比如对非结构化的数据进行存储和处理，需要新的技术。其二，需要引入物理模型来模拟物理世界。比如对天气的理解，比如对疾病的风险控制的理解，比如对智能工厂的理解，都需要构建大量的物理模型，并挑出更合适的模型，对物理世界作出更好的模拟和理解。其三，需要更强大的认知计算，要求认知计算有更强大的自然语言的能力、更强的机器学习能力等。
基于对市场需求和技术趋势的判断，事实上国外IT巨头在大数据的关键技术上投入了大量人力、物力和财力来进行关于大数据关键技术的研发。我们大家都知道现在谈及大数据的利用，一定都会提及开源的Hadoop技术，事实上对于大数据的利用仅仅依靠Hadoop是不够的。我们朝向产业互联网推进时面临非常多的挑战，我们的计算架构、计算模式也面临很大挑战。比如传统的计算机分析和数据整理方式，首先是收集数据，然后储存在数据库程序中，然后在收到请求后搜索这些数据。这是一个高效的处理方式，但却是一个紧绷的结构，而且通常会造成时间的浪费。而在流计算当中，高级软件的运算法则在接收流数据时就开始对其进行分析。流计算在实时数据分析领域具有巨大的应用空间，包括天气、江河、电力、股票交易等等。但目前，中国的IT产业在流计算方面并没有太多的话语权。面对大数据的挑战，有非常多类似流计算的新技术，关键技术都需要中国IT企业做更多的布局，只有这样，我们的大数据发展，大数据利用才不会变成“无根”的产业。
事实上不仅仅是在平台和工具等基础技术维度，中国要想在大数据领域拥有更大的话语权，更好地释放数据的价值，还必须在数据模型的维度、在数据科学家等维度进行大量的投入。目前全球前1500强的企业都有自己的数据科学家。据国外职业人士社交网站LinkedIn公布的2014年最受雇主喜欢、最炙手可热的25项技能，统计分析和数据挖掘技能位列榜首。研究机构Gartner预测，2015年，全球将新增440万个与大数据相关的工作岗位，25%的组织将设立首席数据官职位。
不久前，阿里云宣布启动阿里云大学合作计划AUCP，联合国内8所高校开设云计算与数据科学专业方向，目标是到大学里培养大数据的科学家。应该说阿里巴巴是国内企业中“大数据意识”觉醒比较早的企业。对于大数据这样的应用学科的人才培养，需要充分借助企业的资源。在国外企业中，IBM对于全球大数据的人才培养投入了巨大资源，已与全球1000多所大学一同合作，构建一个输送数据科学家的“通道”。
推进大数据应用需要大量的数据科学家，需要教育体系更重视大数据的人才培养，需要更多的领先企业参与进来，仅仅有阿里巴巴或者是IBM是远远不够的。
以上是小编为大家分享的关于大数据 掌握话语权要关注基础技术的相关内容，更多信息可以关注环球青藤分享更多干货
Ⅸ 大数据之父舍恩伯格:互联网比你更了解你
大数据之父舍恩伯格:互联网比你更了解你
牛津大学网络研究院网络监督及管理学教授，研究领域为网络经济。曾任哈佛大学肯尼迪学院信息监管科研项目负责人，哈佛国家电子商务研究中心网络监管项目负责人；曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。
有100多篇论文公开发表在《科学》、《自然》等著名学术期刊上，同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。
信息权威与顾问，咨询客户包括微软、惠普和IBM等全球顶级企业。早在1986年与1995年就担任两家软件公司的总裁兼CEO，1991年跻身奥地利软件企业家前5名之列，2000年被评为奥地利萨尔斯堡州的年度人物。
机构和国家政府高层的信息政策智囊，专注于信息安全与信息政策与战略的研究，是欧盟专家之一，也是世界经济论坛、马歇尔计划基金会等机构的咨询顾问，先后担任新加坡商务部高层、文莱国防部高层、科威特商务部高层、迪拜及中东政府高层的咨询顾问。
超过两年没穿的衣服会送人，拍得不好看的照片要当即删除
大数据之父舍恩伯格：互联网比你更了解你
时代周报记者 韩玮 发自上海
舍恩伯格又要戴着他标志性的约翰·列侬式的圆眼镜来中国了。
9月25日，时代周报举办2015“影响力·中国”秋季峰会，舍恩伯格将受邀出席，讲他最擅长的大数据。
最近两年，这位数据科学领域的权威学者每隔几个月就会出现在中国，而他所到之处，无不受到媒体、读者的簇拥。
舍恩伯格之所以在国内名声大噪，主要是因为他的两本畅销书、关于大数据的先河之作—《大数据：一场将改变我们生活、工作和思考方式的革命》（Big Data :A Revolution That Will Transform How We Live, Work, and Think，中文版又名《大数据时代》）以及《删除：大数据取舍之道》（Delete: The Virtue of Forgetting in the Digital Age）。前者揭示了大数据给人类带来的巨大改变，后者则尝试探索大数据时代人类应该如何构建积极而安全的未来。
作为最早洞悉大数据发展趋势的数据科学家，舍恩伯格在国内受追捧并不奇怪。毕竟，此刻的中国—国务院刚刚印发《促进大数据发展行动纲要》，提出推动大数据发展和应用在未来5-10年逐步实现的目标及主要任务。国内的大数据产业正迎来大发展时期。
而由于大数据太火，在这个新淘金时代，人们对舍恩伯格的兴趣不再停留于他的研究，还延伸至他本人以及他获得一系列学术成就的过程。
恰好，舍恩伯格是个性格有趣而经历丰富的人。比如，他曾因不想继承家业而与父亲争执数十年，最终走上学术之路。
代码少年
“我母亲以前经营一家电影院，我每年都会问她，过去一年最好的电影是什么？她总是说，我知道，是×××。但她总是错的。”
舍恩伯格常常在演讲中提起这个例子，尽管只是为了佐证大多数人都需要数据分析工具这个观点，但无意间却把很多人的兴趣引向了他的过去。
这位如今在全球数据科学领域极具名望的科学家其实算得上是“富二代”。他出生在距离莫扎特故乡奥地利萨尔茨堡两小时车程的一个小镇上，父亲是当地的税务律师，有自己的事务所；母亲则打理着小型电影院、花店等生意。
1966年，舍恩伯格出生那年，他的父亲买来了小镇上的第一台电脑，价格不菲。当时，镇上所有人都觉得他疯了，肯定会破产。而这台巨大的个人电脑运转时发出的嗡嗡声陪伴了舍恩伯格的整个童年。
小时候，舍恩伯格喜欢看阿斯特丽德·林德格伦的童话书。这位已故瑞典作家最著名的作品是那本充满想象力的《长袜子皮皮》。而那时的舍恩伯格梦想成为发明家，因为，让想法变成现实是一件特别诱人的事。
“如果还可以和林德格伦共进午餐，我想问她，她如何激发自身的想象力？爱因斯坦说过，想象力比知识更重要。”舍恩伯格说。
读书时，舍恩伯格最喜欢的科目是物理和数学，进而又对计算机着迷。十一二岁时，他就想用那台嗡嗡作响的电脑编程。
“当时，只有大学才有计算机，我就去当地大学报了一门编程课。但老师觉得我不可能学会，就让我自己玩。于是，我便在角落里自学。”到了高中时期，这位天赋异禀的少年先后在国际物理奥林匹克竞赛和奥地利青年程序员竞赛中获了奖。
17岁时，舍恩伯格第一次触网。当时，他无意间得到一个声音耦合器，其实不过是简陋的调制解调器—使用者得把电话听筒与之连接，从而激活以声音传送方式进行的数据传输。
在此之前，舍恩伯格听说过互联网，但从没体验过。于是，他捣鼓了好几个月，试掉了一大笔电话费，最终连上了一个提供初级的邮件、论坛等商业在线服务的无线电通讯网站“The Source”。此后，舍恩伯格便一发不可收拾，对网络着了迷。
1986年，年仅20岁、没读完大学的舍恩伯格“创业”了—成立杀毒软件公司Ikarus，并开发了一款当时奥地利最畅销的软件Virus Utilities。至今，网络对Virus Utilities的介绍上写着，这是一款剽悍的杀毒软件。1991年，年轻的舍恩伯格还被评选为奥地利最顶尖的5位软件企业家之一。
这段程序员的经历为舍恩伯格的未来打下了基础。许多年后，在《大数据时代》这本书中，舍恩伯格写道，真正的数据科学家是统计学家、软件程序员、图形设计师与作家的结合体。
父与子
在舍恩伯格的学术之路上，很难绕开的一个人物，就是买来了小镇上第一台电脑的父亲。
舍恩伯格与父亲的关系并不差。至今，他记忆最深的关于父母的细节是，每天晚餐后，父亲都会耐心听他讲述那天发生的事以及他的一些想法。舍恩伯格觉得，这是父亲的“超能力”。
不过，父亲始终不希望舍恩伯格满脑子想着如何成为计算机学家，尽管他迁就儿子喜欢计算机。这位在小镇上有头有脸的税务律师总在劝说自己的孩子尽早学完法律，继承家业。在子承父业和投身计算科学之间，舍恩伯格与父亲争执了数十年，直到后者去世。
而在20岁左右的年龄，舍恩伯格还是顺从父亲，先在奥地利萨尔茨堡大学读了法学本科。据说，因为法律太无趣，这位学霸硬是在3年半里读完了7年的书。
接着，父亲要求舍恩伯格继续在法律上深造，但这个年轻人心不甘情不愿，于是便赌气地只申请了一所学校—哈佛。他觉得，自己肯定不会被录取。
收到录取通知书那天，舍恩伯格以为是朋友开玩笑，于是按照上面的电话号码打过去斥责，“这是愚蠢的玩笑！”而电话另一头却有声音说，“不，这里是哈佛。有什么能帮你吗？”
这不是舍恩伯格唯一一次“厚积薄发”。其实，在学生时代的大部分时期，舍恩伯格虽然出色，但不是最出色的那个。但到了最后一个学年，他就像突然间开了窍，过去学过的东西顿时“融会贯通”了。于是，出乎所有人包括他自己的意料，他在毕业前的最后一次考试中获得了学生生涯唯一一次的全A。
而在美国最古老的法学院哈佛法学院，舍恩伯格开始觉得自己学的法律不再像本科时那么了无生趣。尽管如此，他依然不想学成后接手父亲的公司。
有记者采访舍恩伯格时曾问，“你后来为什么当上了大学教授？”他说，“我一直想成为发明家，直到我那个一直‘逼’我接手家业的父亲有天问我，如果不想做税务律师，你想做什么时，我才下定决心当大学教授。至少，对于我父母来说，这会是一个比发明家更容易接受、更受人尊敬的工作。”
从哈佛毕业后，舍恩伯格又拿到了萨尔茨堡大学的法学博士以及伦敦政经学院的理学硕士学位，并依照对父亲的承诺，在伦敦一所大学谋得了教职。
当时，舍恩伯格的父亲面对这样的局面依然感到有些失落，最后竟然猝然辞世。父亲去世的第二天，舍恩伯格选择离开伦敦，放弃自己的事业和学术，回到自家的镇子上，做起了以前无数次拒绝的税务律师。
“我的人生，和大多数人一样，既是连贯的，同时又屡受波折。我最初喜欢物理、数学，转而对计算机产生兴趣，进而关注数据安全和数据编码，并喜欢上了研究隐私法、知识产权法以及网络法。依照这个路径，数据逐渐成为我关注的重点。但我的生活又被一次次打乱。比如，父亲的离世让我放弃了原来的事业规划，回到了老家；但一年后，我又卖掉父亲的公司，艰难地重回学术圈；后来，偶然的机会让我得以到哈佛大学肯尼迪学院任教。某种意义上说，这些波折给我制造了意想不到的困难，但也带来了意想不到的机会。”舍恩伯格告诉时代周报记者。
大数据之父
自1998年始，舍恩伯格的学术研究步入正轨。他进入哈佛大学肯尼迪学院任教，并在那里度过了10年。此后，他曾在新加坡国立大学李光耀公共政策学院做过3年副教授，借机观察亚洲的信息政策，而今则在牛津大学互联网研究院担任治理与监管专业的教授。
这10余年间，互联网飞速发展，人们开始使用手机上网、聊天、购物，完成很多过去必须线下操作的事。而这些变化都被舍恩伯格陆续记录在论著里。
2010年，在舍恩伯格组织的一次研讨会上，几乎所有参会者发言时都开始提及社会运转模式正在发生某种改变，但谁也说不出这种变化的实质是什么。当时，《经济学人》的数据编辑肯尼思·库克耶（Kenn Cukier）也在会场，他不久前刚做过一期《大数据的冲击》的特刊报道。
那场研讨会后，舍恩伯格与库克耶进行了很多次深入交谈，“然后，我们决定合写一本书，探讨大数据对于当下的意义以及大数据时代的本质”。
2012年12月，舍恩伯格与库克耶合写的《大数据时代》出版。这本大数据研究的先河之作不仅广受媒体好评，还让舍恩伯格知名度大涨。
在书里，舍恩伯格通过各种例子展现大数据带来的改变。比如，一家叫Farecast的公司通过近十万亿条价格记录来预测美国国内航班的票价。到2012年为止，票价预测的准确率达到75%，使用Farecast票价预测工具购买机票的旅客，平均每张机票可节省50美元。
“大数据的核心是预测。它通常被视为人工智能的一部分，或者说是一种机器学习。但其实，这种定义具有误导性。大数据不是要教机器像人一样思考，相反，它是把数学算法运用到海量数据上来预测事情发生的可能性。”舍恩伯格写道。
在这本书里，舍恩伯格还提出了一个广为引用的观点—大数据关注的不是随机样本，而是全体数据；不是精确性，而是混杂性；不是因果关系，而是相关关系。
“具体来说，大数据的目的是全面的数据收集和分析；同时，我们要明白，在数据质量和数据数量之间要有一个平衡，所以，‘不是精确性，而是混杂性’，而‘不是因果关系，而是相关关系’，这是让我们意识到，因果关系不再是解释这个世界的唯一逻辑。”舍恩伯格告诉时代周报记者。
此外，舍恩伯格还是倡导大数据商业应用的第一人。在《大数据时代》中，他指出，如今的数据已经成为一种商业资本、一项重要的经济投入，可以创造新的经济利益。而这也是他屡屡被正在大力推动大数据产业发展的中国人当作座上宾的原因之一。
在关注数据的价值之余，舍恩伯格感兴趣的另一重要领域是如何避免数据被滥用。在早于《大数据时代》出版的《删除：大数据取舍之道》一书中，舍恩伯格提出了数字时代最大的问题：互联网记住了人们希望自己忘记的东西。当遗忘成为例外，记住变成常态，人类理性决策的能力就会受到威胁。所以，在大数据时代，所有人都应该享受“被遗忘的权利”。
事实上，舍恩伯格本人早早地为自己确立了一套关于删除的生活准则。比如，那些超过两年没穿的衣服会被他送人或处理；那些拍得不好看的照片，他会当即删除。因为，“如果不删除，在数字时代，互联网可能会比你自己更加了解你”。
舍恩伯格这些新颖的想法曾一度让读者直呼开了眼界。而目前，他告诉时代周报记者，自己的兴趣点转到了小型无人机上。其实，一直以来，舍恩伯格对飞机驾驶以及基于大数据分析的无人驾驶都颇感兴趣。只是不知道，这位数据科学家未来又会在这个问题上带来怎样“让人感觉脑洞大开”的思考。
对话舍恩伯格：
“只要他们不滥用权力，不必对数据寡头反垄断”
时代周报记者 韩玮 发自上海
9月13日，在接受时代周报记者独家专访时，舍恩伯格讲述了自己对大数据的一些理解，以及收获这些理解的过程。
影响最深的人是高中物理老师
时代周报：今年暑假，以艾伦·图灵为原型的传记电影《模仿游戏》在中国上映，感动了很多人。你看过这部影片吗？艾伦·图灵是计算机科学之父，他对你从事数据科学研究是否有影响？
舍恩伯格：我看过这部电影。事实上，很多年前，我就读过一些图灵的论著。你可能记得，我以前做软件公司时就需要编码，所以，图灵的书肯定要看。
不过，影响我最深的人不是图灵，而是我的高中物理老师。他让我开始接触到熵的概念、相对论、量子理论等。对于我来说，他就像是为我打开了通往新世界的大门。
时代周报：大家都认为你是当今最重要的数据科学家之一。我特别好奇，大数据给你本人的日常生活带来改变了吗？
舍恩伯格：我是大数据服务的“大用户”。平常，我会戴苹果手表，一直以来，它为我的身体健康提供了很多帮助；我也喜欢诸如亚马逊一类的电子商务公司，同时，还经常使用谷歌地图。此外，维基网络对我来说是个难得的好帮手，它让我比过去更加容易获得有用的信息，对我的帮助很大。
时代周报：我今年曾采访过畅销书《大停滞》（The Great Stagnation）的作者、美国经济学家泰勒·考恩。在谈到对大数据的看法时，他告诉我，“大数据被高估了，因为，大多数人都不知道他们手握的这些数据要用来干什么，企业也一样。大数据能帮助我们在某些边缘地带提高效率，比如针对性的广告，但它无法改变全局。这其中，最困难的是问对问题，并且找到问题背后特定的模式，再用数据去加以匹配。这非常难以实现。”你认同他的观点吗？
舍恩伯格：我非常欣赏泰勒·考恩，《大停滞》是一本很棒的著作。我还曾引用过这本书里的一些观点。但在大数据的问题上，我觉得他的观点是错误的，或许，这是因为这方面不是他所研究的核心专业领域。
大数据可减少资源不公平的危害
时代周报：现在，大多数行业提起大数据就言必称“这是一场行业革命，要颠覆过去”。你认为，大数据真的会颠覆那些传统行业吗？
舍恩伯格：会的，这种颠覆已经发生，并在快速进行。施乐帕罗奥尔托研究中心前主管约翰·西里·布朗（John Seely Brown）就发现，过去几十年，超大型企业的寿命正在缩短。与此同时，我们看到，就在最近几年，大数据驱动、估值达到数百亿美元以上的互联网企业不断涌现。在人类历史上，没有哪个时期在比今天更多的领域，发生比今天更快的变化。
时代周报：目前，中国存在网络、阿里巴巴、腾讯三大互联网巨头，分别统治着搜索、电商、社交三个领域，他们不断吸纳着用户的网上行为数据，几乎肯定会成为中国的数据寡头。你认为，在数据层面是否需要反垄断？
舍恩伯格：我认为必要的一点是，互联网要对新的创新主体保持开放的状态。只要大企业不滥用自己的权力，将那些更小但更好的初创企业赶出市场，那么，他们就不会制造太多的威胁。所以，我更关注的是这些企业的实际行为，而非他们的规模。
时代周报：除了数据，我知道，你还对教育问题有着深入研究。今年1月，你出版了一本名为《与大数据同行：学习和教育的未来》的新书，专门探讨大数据研究在教育领域的应用，以求真正实现因材施教。而中国教育的主要问题是教育资源分配不公平，大数据能解决这个问题吗？
舍恩伯格：大数据不能从根本上消除这种不公平，但是，通过大数据的手段，我们能以相对较低的成本提供高度个性化的教育，从而减少这种不公平带来的危害。换言之，大数据能让学生以很低的成本，获得至少像“私人家教”那样的订制教育。所以，大数据可以成为改变整个游戏的因子。
以上是小编为大家分享的关于大数据之父舍恩伯格:互联网比你更了解你的相关内容，更多信息可以关注环球青藤分享更多干货
Ⅹ 为何说大数据是“看得见的生产力”(1)
为何说大数据是“看得见的生产力”(1)
有人曾说，未来社会是数据社会；就连阿里巴巴也标榜自己不是电商，而是大数据公司。近日，国务院又刚刚印发《促进大数据发展行动纲要》，提出未来5至10年大数据发展和应用目标。
记者采访了国家“千人计划”专家、北京百分点信息科技有限公司创始人苏萌。作为从事大数据研究和创业多年的学者型企业家，在他眼里，这些“看不见的大数据”，有着“看得见的生产力”。
大数据把消费者送到商家“碗里来”
还能不能让人安静的工作？作为一个网络时代的消费者，你可能经常会有这样的经历：忽然有一天心血来潮，特别想买一台微单相机，可是在购物网站上看了半个多小时，还是没有下单的决心，毕竟不是一个小数目。接着你会发现，在未来几天上网时，很多网站的插入广告都会向你推荐那几款曾经让你犹豫不决的微单相机，有时候还会推荐一些功能和价格相似，但你却从来没有点击查看过的品牌，引诱你每天都点进去看一下。经过几天甚至几周的犹豫，你终于决定下单。
“这就是创业初期几年我们在做的事情，成立一家基于大数据的个性化推荐引擎技术公司，帮电商发现用户的潜在需求，变被动接受用户为主动了解用户。”苏萌介绍，对于大多数中小型电商而言，虽然掌握着大量的用户数据，但是却并不知道如何去有效应用和分析，将数据转化为生产力也就更加无从谈起。
随着电商之间的竞争加剧，大数据技术公司的存在价值和专业性也就体现出来了。苏萌表示，“通过对电商用户数据的分析建立数据模型，分析消费者的行为轨迹，能够知道那个用户更关心价格，哪个用户更关注性能或外观，帮商家找到最佳的商品推荐模式，尽量减少无效推荐。”在他看来，做到推荐容易，但是做到精准的个性化推荐则很难，对大数据公司的技术能力要求也就越来越高。
（图片来自网络）
大数据让传统企业成为用户“肚子里的蛔虫”
如果认为只有互联网企业需要大数据服务那就错了，因为越来越多的企业认识到，发展到最后所有的企业都会成为数字企业，能够挖掘自身数据的价值，决定着企业运营和发展。
“然而，对大多数传统企业来说，普遍缺乏对大数据价值的认识，造成数据散落，数据管理技术薄弱，缺少数据应用，在业务发展中，往往偏向于经验主义而非精准的数据分析。”如今，苏萌感受到，越来越多的传统企业意识到数据的价值，因此就给了专业大数据公司与传统企业合作的契机。
通过与一些3C产品生产企业和汽车制造企业的合作，苏萌意识到，为传统企业实现其用户的标签化至关重要。传统企业不像互联网企业，它需要大数据企业提供给业务人员的是直接的信息指导，来帮助企业的日程运营，对企业的销售和服务提供直接建议。
“大数据分析能为企业建立一个独有的‘标签工厂’，通过将繁复的用户数据高度提炼成一些短语，给用户打上一个个标签，成为用户的身份标示。”苏萌解释，如此一来，企业就像成了用户肚子里的蛔虫。比如，促销活动还没有开始，企业就能知道哪些老用户和目标用户对哪种信息更加敏感，更容易出现购买倾向。用户的数据标签在售后领域也能够有效发挥作用，当售后人员接到用户投诉电话时，能够迅速掌握用户的行为特点，提供更具针对性的服务。
以上是小编为大家分享的关于为何说大数据是“看得见的生产力”(1)的相关内容，更多信息可以关注环球青藤分享更多干货