大数据消费者流程

『壹』 如何利用大数据做好卷烟消费者行为分析

最普遍的介绍：在麦肯锡全球研究所给出的定义中指出：大数据即是一种规模大到在获取，存储，管理，分析方面大大超出了传统数据库软件工具能力范围的数据集合。简单而言大数据是数据多到爆表。大数据的单位一般以PB衡量。那么PB是多大呢？1GB=1024MB，1PB=1024GB才足以称为大数据。

大数据特点：大数据从整体上看分为四个特点，第一，大量。
衡量单位PB级别，存储内容多。
第二，高速。
大数据需要在获取速度和分析速度上要及时迅速。保证在短时间内更多的人接收到信息。
第二，多样。
数据的来源是各种渠道上获取的，有文本数据，图片数据，视频数据等。因此数据是多种多样的。
第三，价值。
大数据不仅仅拥有本身的信息价值，还拥有商业价值。

举例说明应用场景：在交通设施监控方面运用的的大数据，医疗方面，在人们生活的方面都充斥着大数据的身影。

『贰』 大数据营销的三个步骤

• 1、数据层：采集和处理数据

  传统采集数据的过程一般是有限的、有意识的、结构化的进行数据采集，例如问卷调研的形式。你能采集到的数据一定是你能设想到的情况。数据的结构化较好。一般的数据库Mysql甚至Excel就能满足数据处理过程。

• 2、业务层：建模分析数据

  使用的数据分析模型，例如基本统计、机器学习、例如数据挖掘的分类、聚类、关联、预测等算法，传统数据和大数据的做法差别不大，例如银行、通信运营商、零售商早已成熟运用消费者的属性和行为数据来识别风险和付费可能性。但是由于数据量的极大扩增，算法也获得极大优化提升的空间。

• 3、应用层：解读数据

  数据指导营销最重要的是解读。

  传统一般是定义营销问题之后，采集对应的数据，然后根据确定的建模或分析框架，数据进行分析，验证假设，进行解读。解读的空间是有限的。

  而大数据提供了一种可能性，既可以根据营销问题，封闭性地去挖掘对应数据进行验证，也可以开放性地探索，得出一些可能与常识或经验判断完全相异的结论出来。可解读的点变得非常丰富。

经验内容仅供参考，如果您需解决具体问题(尤其法律、医学等领域)，建议您详细咨询相关领域专业人士。

来源：网络经验

『叁』 大数据处理的基本流程有几个步骤

步骤一：采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，所以需要在采集端部署大量数据库才能支撑。
步骤二：导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
步骤三：统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
步骤四：挖掘
数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。
该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

『肆』 如何通过顾客大数据分析消费者的行为呢

定位好行业，然后看数据消费具体物品，分析时间点，分析客户的人群，收集客户基本的消费场所，这些都是行为里面的。

『伍』 一步一步教你分析消费者大数据

一步一步教你分析消费者大数据
做过面向消费者产品解决方案的人都知道，每个项目开始前，客户都会提一些要求或者对现在营销状况的顾虑，比如我们想了解一下我们潜在消费者是谁；怎么发优惠券效果最好；或者，我们应该推出什么样子的新产品，能够赢得消费者口碑和青睐。在量化决策分析法中，这一系列的前期需求，我们把他称作为：客户需求或未来期望。
接下来，你需要了解该问题的现状，比如现有产品或服务的消费者是怎么样的，以前发的优惠券效果怎么样，现在市场的销量趋势如何等等。
当了解了客户需求和现在的现状后，我们需要慢慢抽丝剥茧，找出解决方案，填补这个空档。
一般来说，没有任何方法论或者经验的咨询员或者分析师听到客户的这些期望后，他们会开始不知所措，无从下手。他们完全不知道该从哪个角度切入，收集哪些数据，做哪些假设，用什么方法分析。
其实像这类问题是有方法论的，我们可以用四步循序渐进的方法来搭建现状与未来的桥梁。

第一步：描述性分析－What

发现问题。我们可以用看病的场景来类比下，病人去看病，说最近不舒服。于是医生让病人进一步描述一下怎么不舒服。这里也是一样，拿优惠促销的案例来说，我们会先了解客户以往有没有做过类似的促销案例，什么时候做的，效果怎么样。经由这些的问题产生一系列的KPI。
KPI产生的方法有以下几种：
1）我们提问，客户解答
2）从客户公司数据库获得信息（SQL）
3）从外部数据获得信息（第三方数据加强）
4）竞争伙伴信息
5）政策信息
6）语义分析
7）其他
获得KPI的工具：
1）问答（座谈，电话，Email，短信，问卷）
2）数据库（SQL）
3）Excel
4）R，Python等软件
5）网站搜索资料
6）自然语言学习
7）其他
分析这些KPI变量：

这些KPI可以是绝对数，百分数，也可以是指数。可以是过去不同时期的对比数据，也可以是不同分组（如：人群分组，模式分组）的对比数据，或者和竞争对手的对比数据等。
通常 KPI分析的方法有：
1）单变量分析（univariate）
2）双变量分析（bivariate）
3）多变量分析（multivariate）
4）假设验证（hypothesis）
5）简单建模（clustering分组）
经过对这些KPI的分析，可以帮助我们形成：
1）已有消费者人物画像
2）潜在消费者人物画像
3）忠诚客户画像
4）消费者价值分组
5）其他
第二步：诊断性分析（why）

回答问题。我们同样用医生看病的例子来类比一下，当医生问完病人问题，通过问诊，X光等等，医生开始利用自己掌握的知识来对病人的病情做出诊断。
放到分析法中，这一步通常我们需要：
1）了解因果关系
2）了解各因素间敏感性如何
我们需要了解是由哪个原因，或者哪些原因造成了现在的市场现状。比如在前一个阶段，我们得到了50个非常有用的KPI，通过因果关系分析，我们确定了，其中有10个KPI起着重要的作用。结下来，我们会问，这10个因素中，每个因素单独的贡献是多少，有些可能非常高，有些可能相对较低。
那这个问题，我们可以通过建模来得到每个因素的贡献大小，同时模型还能起到剔除高相关变量的作用。还有一种用到模型的原因是，当因素达到上百，上千个的时候，很难用传统方法在如此多的因素中，甄别出最有用的事那些，这种情况下，也需要用到模型来帮助选变量，最后一个原因是我们可以甄别这个因素是正向促进因素，还是反向促进因素。
通过建模的结果，我们可以得到以下以下关于消费者的模型：
1）忠诚度模型
2）满意度模型
3）价格敏感度模型
4）归因模型
5）客户流失模型
产生这些模型背后的算法有：
1）线性回归
2）逻辑回归
3）决策树
4）时间序列
5）Random forest，boosting，SVM，PCA等等

第三步：预测分析

预测正确的时机，得到先发制人的营销效果。有了第一步和第二步的准备，我们需要预测一下，如果我做一些调整，将会有什么变化和影响。
用到的模型有：
1）意向打分模型
2）品牌忠诚度打分
3）购买渠道偏好模型
4）触媒使用习惯
6）销量预测
5）生存分析模型
比如： 意向打分模型 。我们发现，如果用现有的因素，消费者会转换的倾向可能是60%，但是如果我对一些因素做了一些调整，如：我给现有客户多发2个广告，客户会购买的可能性上升到65%；如果，给客户多发5个广告，客户会购买的可能性上升到85%。通过这样的调整，我能够预估，将来的广告成本，或者转化带来的收入等。
又比如： 通过时间序列模型，我们可以预测到明年购买某品牌车型的消费者有10万人，这样对明年的生产计划和营销计划就能有一个前期的应对准备。

第四步：决策分析应用

1）提供战略推荐
2）优化
3）市场模拟
4）A／B测试

第三步的例子提到多发2个广告，转化率为65%；多发5个广告转化率为85%。那么如果多发3个？多发4个广告，结果又会如何呢？学术界一直在寻找最优化完美的答案来解决这个问题：我到底发几个广告，才能让我的利润达到最大化呢？
我们都知道在做回归模型的时候，有以下几个假设条件：
1、随机误差项是一个期望值或平均值为0的随机变量；
2、对于解释变量的所有观测值，随机误差项有相同的方差；
3、随机误差项彼此不相关；
4、解释变量是确定性变量，不是随机变量，与随机误差项彼此之间互相独立
5、解释变量之间不存在精确的线性关系，即解释变量的样本观测值矩阵是满秩矩阵
6、随机误差项服从正态分布
实际上，现实生活中很难达到这种理想的状态，而且最大化这个概念，从数学角度讲，会涉及到优化求极值的问题，很多情况下，我们实际上求到是局部优化（localoptimization）的解，而不是全局优化（globaloptimization）的解。
所以在这种情况下，管理学中衍生出了市场模拟方法来决定最后方案，最有名的一个方法是沙盘模拟，但是这些模拟往往到了真正落地的时候，又会和之前的结果有差距。
所以近些年来，越来越多的公司选择做A/B测试。当你对几个方案没有很大的把握，或者对预测结果不是特别自信的时候，A／B测试的出现，解决了这些顾虑。最近的一个成功的案例是Amazon通过A/B测试的方法，把“order”从账户栏，放入了主页的菜单栏，为公司带来的非常可观的营收增长。
A/B测试需要注意的是：
1）样本的数量
2）人群的选择
3）时间的跨度
4）显著性统计
整个决策分析法即是阶梯又是一个闭环，根据实际的市场反应，再进行进一步的分析与迭代优化。
读完整个量化决策分析法后，你应该对以消费者为核心的大数据解决方案有了一定的思路框架。