㈠ 关于大数据分析的四个关键环节
关于大数据分析的四个关键环节
随着大数据时代的到来，AI 概念的火热，人们的认知有所提高。为什么说大数据有价值 这是不是只是一个虚的概念 大家怎么考虑数据驱动问题 为什么掌握更多的数据就会更有效 这些问题很难回答，但是，大数据绝不是大而空洞的。
信息论之父香农曾表示，信息是用来消除不信任的东西，比如预测明天会不会下雨，如果知道了今天的天气、风速、云层、气压等信息，有助于得出更准确的结论。所以大数据是用来消除不确定性的，掌握更多的有效数据，可以驱动企业进行科学客观的决策。桑文锋对大数据有着自己的理解，数据采集遵循“大”、“全”、“细”、“时”四字法则。“大”强调宏观的“大”，而非物理的“大”。大数据不是一味追求数据量的“大”。比如每天各地级市的苹果价格数据统计只有 2MB，但基于此研发出一款苹果智能调度系统，就是一个大数据应用，而有些数据虽然很大，却价值有限;“全”强调多种数据源。大数据采集讲求全量，而不是抽样。除了采集客户端数据，还需采集服务端日志、业务数据库，以及第三方服务等数据，全面覆盖，比如美国大选前的民意调查，希拉里有70%以上胜算，但是川普成为了美国总统，因为采样数据有偏差，支持川普的底层人民不会上网回复。“细”强调多维度数据采集，即把事件的维度、属性、字段等都进行采集。如电商行业“加入购物车”的事件，除了采集用户的 click 数据，还应采集用户点击的是哪个商品、对应的商户等数据，方便后续交叉分析。“时”强调数据的时效性。显然，具有时效性的数据才有参考价值。如国家指数，CPI 指数，月初收集到信息和月中拿到信息，价值显然不同，数据需要实时拿到，实时分析。从另一个视角看待数据的价值，可以分为两点，数据驱动决策，数据驱动产品智能。数据的最大价值是产品智能，有了数据基础，再搭建好策略算法，去回灌产品，提升产品本身的学习能力，可以不断迭代。如今日头条的新闻推荐，网络搜索的搜索引擎优化，都是数据驱动产品智能的体现。
数据分析四个关键环节 桑文锋把数据分析分为四个环节，数据采集、数据建模、数据分析、指标。他提出了一个观点，要想做好数据分析，一定要有自底向上的理念。很多公司的数据分析自顶向下推动，用业务分析指标来决定收集什么数据，这是需求驱动工程师的模式，不利于公司长久的数据采集。而一个健康的自底向上模式，可以帮助公司真正建立符合自己业务的数据流和数据分析体系。 一、数据采集 想要真正做好大数据分析，首先要把数据基础建好，核心就是“全”和“细”。 搜集数据时不能只通过 APP 或客户端收集数据，服务器的数据、数据库数据都要同时收集打通，收集全量数据，而非抽样数据，同时还要记录相关维度，否则分析业务时可能会发现历史数据不够，所以不要在意数据量过大，磁盘存储的成本相比数据积累的价值，非常廉价。 常见的数据采集方式归结为三类，可视化/全埋点、代码埋点、数据导入工具。
第一种是可视化/全埋点，这种方式不需要工程师做太多配合，产品经理、运营经理想做分析直接在界面点选，系统把数据收集起来，比较灵活。但是也有不好的地方，有许多维度信息会丢失，数据不够精准。第二种是代码埋点，代码埋点不特指前端埋点，后端服务器数据模块、日志，这些深层次的都可以代码埋点，比如电商行业中交易相关的数据可以在后端采集。代码埋点的优势是，数据更加准确，通过前端去采集数据，常会发现数据对不上，跟自己的实际后台数据差异非常大。可能有三个原因：第一个原因是本身统计口径不一样，一定出现丢失;第二点是流量过大，导致数据丢失异常;第三点是SDK兼容，某些客户的某些设备数据发不出去，导致数据不对称。而代码埋点的后台是公司自己的服务器，自己核心的模拟可以做校准，基本进行更准确的数据采集。第三种是通过导入辅助工具，将后台生成的日志、数据表、线下数据用实时批量方式灌到里面，这是一个很强的耦合。数据采集需要采集数据和分析数据的人共同参与进来，分析数据的人明确业务指标，并且对于数据的准确性有敏感的判断力，采集数据的人再结合业务进行系统性的采集。二、数据建模很多公司都有业务数据库，里面存放着用户注册信息、交易信息等，然后产品经理、运营人员向技术人员寻求帮助，用业务数据库支持业务上的数据分析。但是这样维护成本很高，且几千万、几亿条数据不能很好地操作。所以，数据分析和正常业务运转有两项分析，数据分析单独建模、单独解决问题。数据建模有两大标准：易理解和性能好。数据驱动不是数据分析师、数据库管理员的专利，让公司每一个业务人员都能在工作中运用数据进行数据分析，并能在获得秒级响应，验证自己的新点子新思维，尝试新方法，才是全员数据驱动的健康状态。多维数据分析模型(OLAP)是用户数据分析中最有效的模型，它把用户的访问数据都归类为维度和指标，城市是维度，操作系统也是维度，销售额、用户量是指标。建立好多维数据分析模型，解决的不是某个业务指标分析的问题，使用者可以灵活组合，满足各种需求。三、数据分析数据分析支持产品改进产品经理在改进产品功能时，往往是拍脑袋灵光一现，再对初级的点子进行再加工，这是不科学的。《精益创业》中讲过一个理念，把数据分析引入产品迭代，对已有的功能进行数据采集和数据分析，得出有用的结论引入下一轮迭代，从而改进产品。在这个过程中大数据分析很关键。Facebook 的创始人曾经介绍过他的公司如何确定产品改进方向。Facebook 采用了一种机制：每一个员工如果有一个点子，可以抽样几十万用户进行尝试，如果结果不行，就放弃这个点子，如果这个效果非常好，就推广到更大范围。这是把数据分析引入产品迭代的科学方法。桑文锋在 2007 年加入网络时，也发现了一个现象，他打开邮箱会收到几十封报表，将网络知道的访问量、提问量、回答量等一一介绍。当网络的产品经理提出一个需求时，工程师会从数据的角度提出疑问，这个功能为什么好 有什么数据支撑 这个功能上线时如何评估 有什么预期数据 这也是一种数据驱动产品的体现。数据驱动运营监控运营监控通常使用海盗模型，所谓的运营就是五件事：触达是怎么吸引用户过来;然后激活用户，让用户真正变成有效的用户;然后留存，提高用户粘性，让用户能停留在你的产品中不断使用;接下来是引荐，获取用户这么困难，能不能发动已有的用户，让已有用户带来新用户，实现自传播;最后是营收，做产品最终要赚钱。要用数据分析，让运营做的更好。数据分析方法互联网常见分析方法有几种，多维分析、漏斗分析、留存分析、用户路径、用户分群、点击分析等等，不同的数据分析方法适用于不同的业务场景，需要自主选择。举个多维分析的例子，神策数据有一个视频行业的客户叫做开眼，他们的软件有一个下载页面，运营人员曾经发现他们的安卓 APP 下载量远低于 iOS，这是不合理的。他们考虑过是不是 iOS 用户更愿意看视频，随后从多个维度进行了分析，否定了这个结论，当他们发现某些安卓版本的下载量为零，分析到屏幕宽高时，看出这个版本下载按钮显示不出来，所以下载比例非常低。就这样通过多维分析，找出了产品改进点。举个漏斗分析的例子，神策数据的官网访问量很高，但是注册-登录用户的转化率很低，需要进行改进。所以大家就思考如何把转化漏斗激活地更好，后来神策做了小的改变，在提交申请试用后加了一个查看登录页面，这样用户收到账户名密码后可以随手登录，优化了用户体验，转化率也有了可观的提升。四、指标如何定义指标 对于创业公司来说，有两种方法非常有效：第一关键指标法和海盗指标法。第一关键指标法是《精益数据分析》中提出的理论，任何一个产品在某个阶段，都有一个最需要关注的指标，其他指标都是这个指标的衍生，这个指标决定了公司当前的工作重点，对一个初创公司来说，可能开始关注日活，围绕日活又扩展了一些指标，当公司的产品成熟后，变现就会成为关键，净收入(GMV)会变成第一关键指标。
㈡ 大数据正在潜移默化的十三个行业
1、电视媒体
大数据应用案例之电视媒体——对于体育爱好者，追踪电视播放的最新运动赛事几乎是一件不可能的事情，因为有超过上百个赛事在 8000 多个电视频道播出。而现在市面上有开发者开发了一个可追踪所有运动赛事的应用程序—— RUWT，它已经可以在 iOS 和 Android 设备，以及在 Web 浏览器上使用，它不断地分析运动数据流来让球迷知道他们应该转换成哪个台看到想看的节目，在电视的哪个频道上找到，并让他们在比赛中进行投票。
对于谷歌电视和 TiVo 用户来说，实际上 RUWT 就是让他们改变频道调到一个比赛中。该程序能基于赛事的紧张激烈程度对比赛进行评分排名，用户可通过该应用程序找到值得收看的频道和赛事。
2、社交网络
大数据应用案例之社交网络——数据基础设施工程部高级主管 Ghosh 描绘的 LinkedIn 数据构建图，其中就包括 Hadoop 战略部署。
几年前，LinkedIn只是一家普通的科技公司。而现在，其俨然成为一个工程强国。LinkedIn 建成的一个最重要的数据库是 Espresso。不像 Voldemort，这是继亚马逊 Dynamo 数据库之后的一个最终一致性关键值存储，用于高速存储某些确定数据，Espresso作为一个事务一致性文件存储，通过对整个公司的网络操作将取代遗留的 Oracle 数据库。
它最初的设计就是为了提供 LinkedIn InMail 消息服务的可用性，该公司计划今年晚些时候将推出开源
3、医疗行业
大数据应用案例之医疗行业—— Seton Healthcare 是采用 IBM 最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。
在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过 3000 次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。
它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类 App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。
Express Scripts 就是这么一家处方药管理服务公司，目前它正在通过一些复杂模型来检测虚假药品，这些模型还能及时提醒人们何时应该停止用药。Express Scripts 能够解决该问题的原因在于所有有关数据。因为它每年管理着 1.4 亿处方，覆盖了一亿美国人和 65,000 家药店，虽然该公司是能够识别潜在问题的信号模式，但它也使用数据来尝试解决某些情况下之前曾经发现的问题。
他们还着眼于一些事情，如所开处方的药物种类，甚至有人在网上谈论医生。如果一个医生的行为被标记为红色的旗帜，那么他在网络上是个好人的形象，更是你所需要的医生。
4、保险行业
大数据应用案例之保险行业——保险行业并非技术创新的指示灯，然而 MetLife 保险公司已经投资 3 亿美金建立一个新式系统，其中的第一款产品是一个基于 MongoDB 的应用程序，它将所有客户信息放在同一个地方。
MongoDB 汇聚了来自 70 多个遗留系统的数据，并将它合并成一个单一的记录。它运行在两个数据中心的 6 个服务器上，目前存储了 24TB 的数据。这包括 MetLife 的全部美国客户，尽管它的目标是扩大它的国际客户和多种语言，同时也可能创建一个面向客户的版本。它的更新几乎是实时的，当新客户的数据输入时，就好像 Facebook 墙一样。
大多数疾病可以通过药物来达到治疗效果，但如何让医生和病人能够专注参加一两个可以真正改善病人健康状况的干预项目却极具挑战。安泰保险目前正尝试通过大数据达到此目的。安泰保险为了帮助改善代谢综合症患者的预测，从千名患者中选择 102 个完成实验。在一个独立的实验室工作内，通过患者的一系列代谢综合症的检测试验结果，在连续三年内，扫描 600,000 个化验结果和 18 万索赔事件。将最后的结果组成一个高度个性化的治疗方案，以评估患者的危险因素和重点治疗方案。这样，医生可以通过食用他汀类药物及减重5磅等建议而减少未来 10 年内 50% 的发病率。或者通过你目前体内高于 20% 的含糖量，而建议你降低体内甘油三酯总量。
5、职业篮球赛
大数据应用案例之职业篮球赛——专业篮球队会通过搜集大量数据来分析赛事情况，然而他们还在为这些数据的整理和实际意义而发愁。通过分析这些数据，可否找到两三个制胜法宝，或者至少能保证球队获得高分， Krossover 公司正致力于此。
在每场比赛过后，教练只需要上传比赛视频。接下来，来自 Krossover 团队的大学生将会对其分解。等到第二天教练再看昨晚的比赛时，他只需检查任何他想要的——数据统计、比赛中的个人表现、比赛反应等等。通过分析比赛视频，毫不夸张地分析所有的可量化的数据。
6、能源行业
大数据应用案例之能源行业——智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来 2 ~ 3 个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。
维斯塔斯风力系统，依靠的是 BigInsights 软件和 IBM 超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足 1 小时便可完成。
7、社会生活
大数据应用案例之社会生活——印度有一档非常受欢迎的电视节目 Satyamev jayate，该节目整理并分析社会民众关于争议话题的各种意见，包括女性堕胎、种姓歧视和虐待儿童等社会热点问题，并使用这些数据来推进政治改革。
虽然目前只播放了 13 集，但是来自各方的反馈数据不容小觑。来自印度电视和世界各地的 YouTube 上的 400 万观众;超过 1.2 亿人在其网站、Facebook，Twitter，YouTube 和移动设备上已连接 Satyamev jayate ;超过 800 万的人通过 Facebook，网络注释，文本消息及电话热线等方式发送 14 万个回应，每周有超过 10 万个新观众进行回应。
8、公路交通
大数据应用案例之公路交通——在洛杉矶开过车的人一定都经历过那里噩梦般的交通拥堵情况。目前政府在 I-10 和 I-110 州际公路上建立了一条收费的快速通道。政府可通过大数据引导驾驶人员在该通道上的行驶情况，保证交通畅通。
施乐就是参与此次项目的公司，它的抗拥塞项目，包括用 ExpressLanes 、动态定价，上升的需求等等以维持某种秩序的想法。施乐公司的首席技术执行官表示，如果司机支付给驾驶热车道(高占用收费系统)，他必须保证车速每小时 45 英里左右。如果交通开始拥堵，私家汽车的支付价格将上升，以减少他们进入，而将车道用于高占用率的车辆，例如公共汽车和大巴车。
施乐还有另一个项目在洛杉矶称为 Express Park，目标是让人们知道他们何时即将离开房子，在哪能找到停车场和花费金额。不仅要确保定价，同时更要确保数据实时到达用户手中。例如，应当提前 40 分钟告知用户停车位置。
9、汽车制造
大数据应用案例之汽车制造——当问起汽车的制造过程，大多数人脑子里随即浮现的是各种生产装配流水线和制造机器。然而在福特，在产品的研发设计阶段，大数据就已经对汽车的部件和功能产生了重要影响。
比如，福特产品开发团队曾经对 SUV 是否应该采取掀背式(即手动打开车后行李箱车门)或电动式进行分析。如果选择后者，门会自动打开、便捷智能，但这种方式会影响到车门开启有限的困恼。此前采用定期调查的方式并没有发现这个问题，但后来根据对社交媒体的关注和分析，发现很多人都在谈论这些问题。
10、零售业
大数据应用案例之零售业，某公司是一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从 Twitter 和 Facebook 上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。
希望通过接受免费化妆服务，让用户进行口碑宣传，这是交易数据与交互数据的完美结合，为业务挑战提供了解决方案。Informatica 的技术帮助这家零售商用社交平台上的数据充实了客户主数据，使他的业务服务更具有目标性。
零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17% 的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。
11、总统竞选
大数据应用案例之总统竞选——许多人通过 Facebook 更新个人状态、分享图片以及他们"喜欢"的内容。奥巴马的总统竞选运动也通过使用社交网络的各种数据功能完成了竞选，他们不仅通过社交网络寻找支持者，而且还通过社交网络召集了一批志愿军。
早在 2006 年，Facebook 联合创始人，克里斯·休斯就建议扎克伯格在网站上推出相关服务，帮助总统候选人在 Facebook 上建立个人主页，以便他们进行形象推广。2006 年 9 月，Facebook 全面开放，用户数量爆炸式增长，在年底达到 1200 万。这一过程恰好有利地推升了奥巴马的知名度。此后，在克里斯的辅佐下，奥巴马掀起了一系列的网络活动，在 Facebook、MySpace 等社交网站上发表公开演讲、推广施政理念，赢得大量网民支持，募集到 5 亿多美元的竞选经费。
最终，"黑人平民"战胜了实力雄厚的对手，成为美国历史上第一位黑人总统，之后，在第二次的选举中更获得连任。此次选举被认为是美国民主的巨大进步，而互联网则提供了前所未有的实施手段，其中尤以 Facebook 代表的社交网站最为突出，以至于有人戏称之为 " Facebook 之选"。
最近上任的川普...算了不说了...简直就是一个喷子...
12、电子邮件
大数据应用案例之电子邮件—— MailChimp 的核心业务是提供电子邮件服务，它在一年内为大约 300 万用户发送了 350 亿封邮件。不过真正能体现 MailChimp 未来价值的则是该公司对这些邮件数据的处理和分析。
MailChimp 的一个重要任务就是搞清楚如何帮助客户更好地了解他们所发送的信息。考虑到这一点，该公司建立了一个服务叫 Wavelength，向客户展示了与他们相似的其他讯息。这个系统使得 Wavelength 能够储存公司数据库中每个邮件地址发生的互动。这意味着告诉了你,用户打开了什么样的邮件，何时打开，他们点击了什么链接，还有订阅了什么邮件。MailChimp 也有一个功能叫做 Ecommerce360，能让客户通过转换来跟踪点击。
13、音乐
大数据应用案例之音乐—— 十多年前，音乐元数据公司 Gracenote 收到来自苹果公司的神秘忠告，建议其购买更多的服务器。Gracenote 照做了，而后苹果推出 iTunes 和 iPod，Gracenote 从而成为了元数据的帝国。
在车内听的歌曲很可能反映你的真实喜好， Gracenote 就拥有此种技术。它采用智能手机和平板电脑内置的麦克风识别用户电视或音响中播放的歌曲，并可检测掌声或嘘声等反应，甚至还能检测用户是否调高了音量。这样，Gracenote 可以研究用户真正喜欢的歌曲，听歌的时间和地点。
Gracenote 拥有数百万首歌曲的音频和元数据，因而可以快速识别歌曲信息，并按音乐风格、歌手、地理位置等分类。 作者 佚名 本文转载至网络，如涉及抄袭请联系我们