1. 零售银行如何玩转大数据
零售银行如何玩转大数据
我们可以从备用数据库里收集有关联的数组和数据,并使用Hadoop进行分析。或者我们可以通过机器学习技术现有数据中隐藏的关联关系。
普通数据组的介绍
针对所有客户每月收入和支出的分类分析数组是一直存在的。这类数组是因为客户银行账户借记、贷记等各种日常操作而产生的。每一笔交易的产生通常都伴随着一个电子号码,比如电费话费单、商户类别码等等。此外,我们还可以通过商户名称、描述以及留言来对交易进行区分。
我们可以识别出很多消费类别,比如房产类消费(租金或者按揭)、能源类消费(加油或者电费)、食品及家居类消费、教育类、汽车消费、餐饮、大额项目(购买电视、家具)、税费、娱乐、信用卡和贷款支付、奢侈品等等。
同样,收入分类有工资、分红、退税交易、社会福利收入、房租收入、销售等等。通过简单的回归分析可以得到针对每个客户的收入支出情况的整体趋势,以及每个细分类别的趋势。
机器学习和预测
我们可以使用各种机器学习算法和模型来做预测。这里我们介绍两种算法：监督学习以及非监督学习。
监督学习算法通过分析和验证历史数据来得到模型,这个模型可以通过输入数据之间的联系得到确定的结果。样本数据可以随意选取,但是最好提前进行分组处理以得到更准备的结果。通常可以将客户数组数据按照年龄、收入、地域、教育背影以及储蓄量进行分类。每一类还会继续细分，比如年龄可以分成5个20的层级。我们能直接看到每一层级中客户的数量,从而我们可以从每一层级里抽取5%的样本数据来进行分析。这类样本数据能够让我们最直接地看出哪个类别对最后结果的影响最大。比如我们可以很明显地看出教育背影对投资产品的影响最大。
非监督机器学习算法则会从现有的数据中寻找未知的关联模型。我们可以通过那些非正常的客户行为模式中来找到欺诈信息的蛛丝马迹。
1. 产品的私人订制
银行可以把钱省下来去做那些昂贵的市场推广活动来宣传银行产品。产品应该最大程度地提供给那些有可能需要并接受它们的人，所以应该针对客户推荐与其最相关的产品。这些就需要好好研究客户之前都爱使用哪些产品。
客户所使用的银行产品和服务的历史数据都可以拿来做分析，并生成独立的模型。我们筛选并验证出最好的学习算法,然后用它们计算哪些类别和变量能产生最大的效果。
2. 金融欺诈的早期侦测以及减少欺诈损失
这项内容包括识别身份造假、信用卡欺诈、电信欺诈、洗钱以及对网上银行和移动银行的攻击。不断出现的新型欺诈手段需要灵活、迅速的检测算法。过去,银行只使用基于统计学和规则的算法去识别可疑行为。这些算法有很大的局限性，因为它们只能识别已知的欺诈手段,维护成本高，计算中无法覆盖每个用户的全部历史数据,并且经常误报。
我们使用了包含已知欺诈案件的数据集。这些欺诈案件被分为几类储存，如盗取身份透支欺诈，信用卡盗窃，消费信贷欺诈，伪造支票偿还信用卡，盗窃支票，盗录磁条复制卡片，使用窃取的客户凭证或安全设备攻击网上银行，流氓电商运用信用卡诈骗等等。我们使用了利用反向传播进行训练的神经网络和决策树两种算法。这些算法对已有数据进行处理,从而识别新型诈骗的出现。
3. 预测客户流失和取消服务
银行对客户流失和取消服务的预测有很强的时间敏感性，因为在客户不可挽回地决定取消某项服务或转投竞争对手之前，留给银行的时间仅有几天而已。银行必须及早识别那些有可能流失的客户并联系他们，为他们提供其它可选择的服务或是解决他们的问题。留存能带来高利润的活跃客户的成本比起流失他们之后再吸引回来的成本要低得多。
我们预测时使用的原始数据包括账户流动情况，借记卡和信用卡流动情况,CRM中记录的客户数据，服务订购数据，服务中心和分支机构的访问交易数据以及登录信息等。常用的收入和支出数据也被纳入其中。
我们还建立关键事件的时间序列,诸如注销借记卡，从其它银行转入的工资、分红、租金等收入,客户主动联系服务中心或是访问分支机构，注销信用卡等等。
我们还建立了另外一组客户集，他们符合年龄、收入、存款和地理位置分布等画像但仍然是银行的存留客户。
基于以上，我们建立了有效的模型以预测客户在不可挽回地转投竞争对手之前的一系列行为。我们已经使用了一些监督学习算法，例如支撑向量机进行二类分类以及利用用反向传播的神经网络。在使用主成分分析对输入数据进行降维后，我们使用非监督学习算法中的K聚类算法和KCm算法来降低输入数据的维度。
我们在最近的数据中识别出了数百名符合模式的活跃用户，在他们转投竞争对手之前，相关分行应当及早进行联络。
4. ATM机和银行网点中现金分配的最优解决方案
对于ATM机和银行网点而言，一年之中不同时段的现金需求量是在不断变化的。这种变化可能由天气、突发事件、假期及旅游等各种因素引发。准确预测出ATM机和银行网点的现金需求量非常重要。无论是频繁地往ATM机里放现金，还是ATM机因缺少现金而停止使用,成本都很高。另一方面，我们又不希望出现ATM机和网点长期持有冗余现金的情况，因为这既不是最优的现金分配方法，同时也会加大引发犯罪的可能。
我们会使用多个维度的数据进行分析，包括：ATM机的服务日志,ATM机和银行网点的地理位置信息，每台ATM机的提款数据，ATM机和银行网点当地的天气预报,赛事安排,每个地区的文化活动、重要事件以及节假日安排。此外，信用卡和借记卡的流动情况也是重要的数据源，可以判断不同地区在每年不同时间的现金需求量。我们使用普通数据组来确定不同地区客户的工资、社会福利和其它收入的到账时间。
我们提取并分析了这样一些数据，包括：所有ATM机在一年中每一天取现数量的中位数，所有ATM机一天中每小时取现数量的中位数。这一数据集被用来计算天气、重要事件、星期几及节假日对某一具体地区的现金需求量的影响。我们还将过去4年间的重要文化、体育及其它事件与其发生的地理坐标数据结合加以处理，计算出了每项事件对其辐射范围100米以内的ATM机的现金需求量的影响。根据影响程度的不同,我们对这些事件进行了分类。这一数据组可以预测以后类似事件的影响。
同时，我们计算了天气与当地每台ATM机现金需求量的相关性，过程中涉及到的天气相关的参数包括降水量、温度和风力等。
另外,我们还建立数组分析了不同地区收入(包括工资、社会福利等)到账日和现金需求量的相关性。
基于以上数据集，我们建立了预测每台ATM机和网点一年中任意一天现金需求量的模型。这些模型考虑了历史天气预报数据和重要事件安排，也用到了很多高级算法如波尔兹曼机、感知机和高斯判别分析等。
5. 昂贵银行渠道使用的最小化
在昂贵的银行渠道比如柜台服务或光顾支行或电话客服的使用率最小化上我们做出了巨大的投入。
使用率的最小化可以由优化网上银行或手机银行应用、帮助页、帮助软件以及优化网站界面实现。另一个方法鼓励正在犹豫的客人转而使用更便宜的方式是目标更加明确的推广活动。
可分析数据最主要的来源是来源于网上银行以及手机银行应用的网页记录。我们曾用过带银行账号的使用记录，客服中心交易记录数据组，用户信息的CRM数据组，或分行交易记录的数据组。
另一个重要的数据组是客服中心、支行的投诉以及咨询的来电、邮件、来信。我们将数据以网络帮助页的咨询点的相关兴趣点分类。这能帮助找出解释不清晰、造成误解的以及不必要咨询电话的帮助页面。这还能帮助管理网上银行那些复杂的造成投诉的操作。它发现了许多领域比如关于帮助页面没有涵盖的信用卡支付汇率，这反而常常在电话或分行咨询中常常被提到。网上银行的产品据此修改，提供自助咨询、搜索优化、网上银行管理、以及手机银行应用等服务,以减少客服中心以及分行的使用率。
我们分析了以转化客户到网上银行、手机银行以及自助柜员机的市场营销活动的结果数据。根据相关性分析，许多大范围的营销活动并不十分有效。我们也分析了最近将大部分业务转移到网上的银行客户的规律。这帮助我们找出更有可能转移到网上的客户。对这些客户我们应该使用更有针对性的个性化的营销策略,根据各个分行的特点进行活动。
6. 评估债务产品的客户
为了可靠地评估风险，对现有客户批准借记产品，不仅需要考虑现有的信用状况、可支配收入状况，还需要客户的全部历史和社交记录。这样以减少银行承担的风险并增加来自有价值客户的收入。
我们使用通用收入支出数据库分析，客户全部的信用卡、借贷、透支或其他金融产品的交易记录以及CRM信息。
使用MarkovChain随机分析评估与客户行为相关的借贷支付可能。此类模型在盈利性借贷、信用卡以及其他金融产品的历史数据中得到验证。我们注意到信用记录的可靠性得到增加,并能够据此为被拒绝的客户提供替代产品。
以上是小编为大家分享的关于零售银行如何玩转大数据的相关内容，更多信息可以关注环球青藤分享更多干货
2. 如何运用大数据开展银行业精准营销
在运营商大数据精准获客弥漫的今天，我们仿佛看见了眼前影影绰绰的都是客户，但当伸手去抓，却发现寥寥无几，什么原因？让我们的客户变成了镜花水月，主要原因，还在于对客户的把握不够精准。
未来，营销人才的数量越来越少，门槛越来越高。除了懂营销，营销从业者必须更加了解技术发展的趋势，包括现阶段炙手可热的移动营销和跨屏营销。以后，网络推广的成本越来越高。无论是甲方还是乙方的营销人员，或者中间商，都需要更有服务意识，运营商大数据精准获客对媒体更为了解，掌握如何根据不同的产品或者广告去选择合适的终端、人群进行传播，仅靠传统营销根本不能满足。
可以这么说，只要客户浏览过公司的网站，甚至相关行业的网站或者APP，大数据系统便可以准确的获取到相关访客的信息，这时候公司的业务可以直接面对意向非常之高的用户，成功实现跨越诸多环节实现精准营销！
举个例子，你是希望男性或女性更青睐你的产品？还是年轻人或中青年有兴趣？什么职业的客户更对你产品的路子…如果你将行业的网站或者APP提供给我，我这边将会利用最新的网络抓取技术获取这些访客的信息，欢迎大家与我一同讨论交流大数据相关知识哦。
3. 建设银行 网点如何运用大数据营销
建行最抄近通过大数据进行“建袭行快贷”这个业务，采用的大数据营销案例如下：
个人客户只需在建设银行开过户，或者开户一段时间，并在建设银行有一定消费、资金交易的情况下，个人用户一旦登录网络银行申请快贷的话，短短十秒之内便能迅速获得一笔为其量身而定的个人信用贷款。
4. 大数据能为银行做什么
随着移动互联网、云计算、物联网和社交网络的广泛应用，人类社会已经迈入一个全新的“大数据”信息化时代。而银行信贷的未来，也离不开大数据。
国内不少银行已经开始尝试通过大数据来驱动业务运营，如中信银行信用卡中心使用大数据技术实现了实时营销，光大银行建立了社交网络信息数据库，招商银行则利用大数据发展小微贷款。从发展趋势来看，银行大数据应用总的可以分为四大方面：
第一方面：客户画像应用。
客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等；企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。值得注意的是，银行拥有的客户信息并不全面，基于自身拥有的数据有时难以得出理想的结果甚至可能得出错误的结论。
比如，如果某位信用卡客户月均刷卡8次，平均每年打4次客服电话，从未有过投诉，按照传统的数据分析，该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博，真实情况是：工资卡和信用卡不在同一家银行，还款不方便，好几次打客服电话没接通，客户多次在微博上抱怨，该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据，更应考虑整合外部更多的数据，以扩展对客户的了解。包括：
（1）客户在社交媒体上的行为数据（如光大银行建立了社交网络信息数据库）。通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图，从而进行更为精准的营销和管理；
（2）客户在电商网站的交易数据，如建设银行则将自己的电子商务平台和信贷业务结合起来，阿里金融为阿里巴巴用户提供无抵押贷款，用户只需要凭借过去的信用即可；
（3）企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据，可以更好掌握企业的外部环境发展情况，从而可以预测企业未来的状况；
（4）其他有利于扩展银行对客户兴趣爱好的数据，如网络广告界目前正在兴起的DMP数据平台的互联网用户行为数据。
第二方面：精准营销
在客户画像的基础上银行可以有效的开展精准营销，包括：
（1）实时营销。实时营销是根据客户的实时状态来进行营销，比如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销（某客户采用信用卡采购孕妇用品，可以通过建模推测怀孕的概率并推荐孕妇类喜欢的业务）；或者将改变生活状态的事件（换工作、改变婚姻状况、置居等）视为营销机会；
（2）交叉营销。即不同业务或产品的交叉推荐，如招商银行可以根据客户交易记录分析，有效地识别小微企业客户，然后用远程银行来实施交叉销售；
（3）个性化推荐。银行可以根据客户的喜欢进行服务或者银行产品的个性化推荐，如根据客户的年龄、资产规模、理财偏好等，对客户群进行精准定位，分析出其潜在金融服务需求，进而有针对性的营销推广；
（4）客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。如招商银行通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点。
第三方面：风险管控
包括中小企业贷款风险评估和欺诈交易识别等手段。
（1）中小企业贷款风险评估。银行可通过企业的产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析，量化企业的信用额度，更有效的开展中小企业贷款。
（2）实时欺诈交易识别和反洗钱分析。银行可以利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为模式（如转账）等，结合智能规则引擎进行实时的交易反欺诈分析。如IBM金融犯罪管理解决方案帮助银行利用大数据有效地预防与管理金融犯罪，摩根大通银行则利用大数据技术追踪盗取客户账号或侵入自动柜员机(ATM)系统的罪犯。
第四方面：运营优化。
（1）市场和渠道分析优化。通过大数据，银行可以监控不同市场推广渠道尤其是网络渠道推广的质量，从而进行合作渠道的调整和优化。同时，也可以分析哪些渠道更适合推广哪类银行产品或者服务，从而进行渠道推广策略的优化。
（2）产品和服务优化：银行可以将客户行为转化为信息流，并从中分析客户的个性特征和风险偏好，更深层次地理解客户的习惯，智能化分析和预测客户需求，从而进行产品创新和服务优化。如兴业银行目前对大数据进行初步分析，通过对还款数据挖掘比较区分优质客户，根据客户还款数额的差别，提供差异化的金融产品和服务方式。
（3）舆情分析：银行可以通过爬虫技术，抓取社区、论坛和微博上关于银行以及银行产品和服务的相关信息，并通过自然语言处理技术进行正负面判断，尤其是及时掌握银行以及银行产品和服务的负面信息，及时发现和处理问题；对于正面信息，可以加以总结并继续强化。同时，银行也可以抓取同行业的银行正负面信息，及时了解同行做的好的方面，以作为自身业务优化的借鉴。
银行是经营信用的企业，数据的力量尤为关键和重要。在“大数据”时代，以互联网为代表的现代信息科技，特别是门户网站、社区论坛、微博、微信等新型传播方式的蓬勃发展，移动支付、搜索引擎和云计算的广泛应用，构建起了全新的虚拟客户信息体系，并将改变现代金融运营模式。
大数据海量化、多样化、传输快速化和价值化等特征，将给商业银行市场竞争带来全新的挑战和机遇。数据时代，智者生存，未来的银行信贷，是从数据中赢得未来，是从风控中获得安稳。
5. [恒丰银行]基于大数据的精准营销模型应用
【案例】恒丰银行——基于大数据的精准营销模型应用 https://mp.weixin.qq.com/s?src=3×tamp=1500159788&ver=1&signature=-86itFcexY XKcX3Vb1ypwGo8v0IU6fkNgcs *=
本篇案例为数据猿推出的大型 “金融大数据主题策划” 活动 （查看详情） 第一部分的系列案例/征文；感谢** 恒丰银行** 的投递
作为整体活动的第二部分，2017年6月29日，由数据猿主办，上海金融信息行业协会、互联网普惠金融研究院合办，中国信息通信研究院、大数据发展促进委员会、上海大数据联盟、首席数据官联盟、中国大数据技术与应用联盟协办的 《「数据猿·超声波」之金融科技·商业价值探索高峰论坛》 还将在上海隆重举办 【论坛详情】 【上届回顾（点击阅读原文查看）】
在论坛现场，也将颁发 “技术创新奖”、“应用创新奖”、“最佳实践奖”、“优秀案例奖” 四大类案例奖
本文长度为 6000 字，建议阅读 12 分钟
如今，商业银行信息化的迅速发展，产生了大量的业务数据、中间数据和非结构化数据，大数据随之兴起。要从这些海量数据中提取出有价值的信息，为商业银行的各类决策提供参考和服务，需要结合大数据和人工智能技术。国外的汇丰、花旗和瑞士银行是数据挖掘技术应用的先行者。在国内的商业银行中，大数据的思想和技术逐步开始在业务中获得实践和尝试。
面对日趋激烈的行业内部竞争及互联网金融带来的冲击，传统的上门营销、电话营销，甚至是扫街营销等方式跟不上时代的节奏。利用精准营销可节约大量的人力物力、提高营销精准程度，并减少业务环节，无形中为商业银行节约了大量的营销成本。
虽然恒丰银行内部拥有客户的基本信息和交易等大量数据，但是传统的营销系统并没有挖掘出行内大量数据的价值，仍然停留在传统的规则模型。当下，恒丰银行接入了大量的外部数据，有着更多的维度，如果将内部数据与外部数据进行交叉，则能产生更大的价值。客户信息收集越全面、完整，数据分析得到的结论就越趋向于合理和客观。利用人工智能技术，建立精准营销系统变得可能且必要。
恒丰银行基于大数据的精准营销方案是利用大数据平台上的机器学习模型深入洞察客户行为、客户需求，客户偏好，挖掘潜出在客户，实现可持续的营销计划。
周期/节奏
2016.4-2016.5 完成需求梳理和业务调研，并在此基础上进行总体方案设计。
2016.5-2016.8 整理银行内、外部数据，根据营销需求制定客户标签和设计文档，实施用户画像。
2016.8-2016.10 在用户画像的基础上，构建理财产品个性化推荐系统。其中包括个性化推荐算法调研，模型对比等一系列工作。
2016.10-2017.1 客户需求预测并对客户价值进行建模，并完善整合精准营销应用模型。
2017.1-2017.3 用户画像、个性化推荐、客户价值预测等精准营销模型上线。
客户名称/所属分类
恒丰银行/客户管理
任务/目标
根据零售业务营销要求，运用多种数据源分析客户行为洞察客户需求，实现精准营销与服务，提高银行客户满意度和忠诚度。
针对不同的客户特征、产品特征和渠道特征，制定不同市场推广策略。为了完成以上任务，主要从以下几个方面构建精准营销系统：
1.用户画像： 结合用户的历史行为和基本属性给用户打标签。
2.精准推荐系统： 给用户推荐个性化理财产品， 例如在微信银行中给每个客户推荐他喜欢的产品，帮客户找到其最适合的产品，增加产品的购买率。
3.需求预测和客户价值： 新产品发售的时候，找到最有可能购买该产品的客户，进行短信营销，进而提高产品响应率。客户价值精准定位，根据客户价值水平制定不同的推荐策略。银行通过计算客户使用其产品与服务后所形成的实际业务收益，充分了解每一个客户的贡献度，为管理层提供决策支撑。
挑战
项目实施过程由用户画像，精准推荐系统，需求预测和客户价值建模三部分组成，采用TDH机器学习平台Discover所提供的算法和模型库进行开发和验证。
（一）用户画像的建立
客户标签主要包含客户基本属性，客户等级标签，客户偏好标签，客户交易特征，客户流失特征，客户信用特征，客户终身价值标签，客户潜在需求标签。
（二）精准推荐系统的建立
由于系统复杂，且篇幅有限，仅对其中最重要的理财推荐系统做详细阐述。精准推荐系统架构图如下。
2.1业务问题转化为机器学习问题
业务问题
银行理财产品个性化推荐给客户。 例如在微信银行中给每个客户推荐此客户喜欢的产品，帮客户找到其最适合的产品，增加产品的购买率。
将业务问题转化为机器学习问题
理财产品种类繁多，产品迭代速度很快，客户在繁多的产品中不能快速找到适合自己的产品，因此有必要建立一个自动化推荐模型，建立客户理财偏好，给客户推荐最适合的产品。
将银行理财产品推荐业务问题转化为机器学习问题，进而利用人工智能技术提高推荐产品的点击率和购买率。例如在恰当的时间，通过用户偏好的渠道给用户推荐产品，推荐的结果为用户购买或者未购买。这个问题可以看作一个典型机器学习二分类问题：基于历史营销数据来训练模型，让模型自动学到客户购买的产品偏好，并预测客户下次购买理财产品的概率。对模型预测出所有客户对所有产品的响应概率进行排序，可选择客户购买概率最高的topN个产品推荐给客户。
下面将叙述如何构建该推荐预测模型。
2.2数据源准备
在建立的一个理财推荐模型之前，可以预见到相似的客户可能会喜好相似的产品（需要表征客户和产品的数据），同一个人的喜好可能具有连续性（购买历史交易数据，包括基金国债等），他的存款、贷款资金可能决定了他能购买什么档次的理财等等。因此，我们需要准备以下数据。
客户基本属性：客户性别，年龄，开户时间，评估的风险等级等等。
产品基本属性：产品的逾期收益率，产品周期，保本非保本，风险等级等。
客户购买理财产品的历史：在什么时候购买什么产品以及购买的金额。
客户的存款历史： 客户历史存款日均余额等。
客户的贷款历史： 客户历史贷款信息等。
客户工资：客户工资的多少也决定了客户购买理财的额度和偏好。
用户画像提取的特征：用户的AUM等级，贡献度，之前购买基金，国债的金额等。
2.3特征转换和抽取
有了这么多数据，但是有一部分特征是算法不能直接处理的，还有一部分数据是算法不能直接利用的。
特征转换
把不能处理的特征做一些转换，处理成算法容易处理的干净特征。举例如下：
开户日期。就时间属性本身来说，对模型来说不具有任何意义，需要把开户日期转变成到购买理财时的时间间隔。
产品特征。从理财产品信息表里面可以得到风险等级，起点金额等。但是并没有标志这款产品是否是新手专属，是否是忠诚客户专属。这就需要我们从产品名字抽取这款产品的上述特征。
客户交易的时间信息。同客户的开户日期，孤立时间点的交易信息不具有任何意义，我们可以把交易时间转变为距离上次购买的时间间隔。
特征抽取
还有一部分数据算法不能直接利用，例如客户存款信息，客户交易信息。我们需用从理财交易和存款表中抽取可能有用的信息。
用户存款信息：根据我们的经验，客户购买理财之前的存款变动信息更能表明客户购买理财的真实想法，因此我们需要从客户历史存款数据抽取客户近三个月，近一个月，近一周的日均余额，以体现客户存款变化。
客户交易信息：客户最近一次购买的产品、购买的金额、及其相关属性，最近一个月购买的产品、购买的金额及其相关属性等等。
以上例举的只是部分特征。
2.4构造、划分训练和测试集
构造
以上说明了如何抽取客户购买理财的相关特征，只是针对正样本的，即客户购买某种理财时候的特征。隐藏着的信息是，此客户当时没有购买其他在发售的产品。假设把客户购买了产品的标签设为1，没有购买的产品样本设为0，我们大致有如下训练样本（只列举部分特征）。
其中客户是否购买产品是我们在有监督训练的标签，也就是我们建立的是一个预测客户是否会购买产的模型。
划分训练集和测试集
考虑到最终模型会预测将来的某时间客户购买某种产品的概率，为了更真实的测试模型效果，以时间来切分训练集和测试集。具体做法如下。假设我们有2016-09-01 ~ 2017-03-20 的理财购买相关数据。以2016-09-01 ~ 2017-03-19的理财交易数据作为训练，2017-03-20这一天的客户对每个产品是否购买的数据作为测试。以2016-09-01 ~ 2017-03-18的理财交易数据作为训练，2017-03-19这一天的客户对每个产品是否购买的数据作为测试，以此类推。
2.5模型训练
根据提取的特征，组成样本宽表，输入到分类模型，这里选择了TDH平台机器学习组件Discover所提供的近百个分布式算法进行建模和训练，同时我们还使用了特征的高阶交叉特性进行推荐的预测和分析。
2.6模型评估
评价推荐好坏的指标很多，比较常用的有
1.ROC曲线下面积（AUC）
2.logloss
3.推荐产品第一次命中rank的倒数（MRR）
4.TopN
针对银行的理财推荐实际业务，客户当天绝大多数是只购买了某一款理财，MRR(Mean Average Precision 的特殊情况)能反应这种情况下推荐的好坏。另一种直观的评价指标是TopN，假定我们只推荐N个模型认为客户最有可能购买的产品，并和真实情况比较，就能得到当天推荐的结果的混淆矩阵，TN，TP，FN，FP，recall，precision等。
我们在生产上验证了最近十天的推荐效果，即测试了2017-03-20， 2017-03-19，…… , 2017-03-11等十天的推荐效果，以下是这些结果的评价。
AUC
Logloss
MRR
0.89
0.45
0.78
也可以把新客户（之前没有购买理财）和老客户（至少购买过一次）分开评估效果。 新客户的购买占了整个理财购买的1/3 以上。
测试新客户的预测效果，可以看出模型对冷启动问题解决的好坏。
对新客户的预测效果
AUC
Logloss
MRR
0.80
0.73
0.32
对老客户的预测效果
AUC
Logloss
MRR
0.92
0.38
0.88
2.7模型优化
1.上线之前的优化：特征提取，样本抽样，参数调参
2.上线之后的迭代，根据实际的A/B testing和业务人员的建议改进模型
（三）需求预测和客户价值
“顾客终生价值”(Customer Lifetime Value)指的是每个购买者在未来可能为企业带来的收益总和。研究表明，如同某种产品一样，顾客对于企业利润的贡献也可以分为导入期、快速增长期、成熟期和衰退期。
经典的客户终身价值建模的模型基于客户RFM模型。模型简单的把客户划分为几个状态，有一定意义但不一定准确，毕竟RFM模型用到的特征不全面，不能很好的表征客户的价值以及客户银行关系管理。
为了方便的对客户终身价值建模，有几个假定条件。其一把客户的购买价值近似为客户为企业带来的总收益，其二把未来时间定义在未来一个季度、半年或者一年。也就是我们通过预测客户在下一个时间段内的购买价值来定义客户的终身价值。因此，我们将预测的问题分为两个步骤：第一步预测这个客户在下一个阶段是否会发生购买（需求预测）。第二步对预测有购买行为的客户继续建模预测会购买多大产品价值。
3.1需求预测
提取客户定活期存款、pos机刷卡、渠道端查询历史等特征，以这些特征作为输入预测用户在当前时间节点是否有购买需求，训练和测试样本构造如下：
1.历史用户购买记录作为正样本。
2.抽样一部分从未购买的理财产品的用户作为负样本集合Un，对于每一个正样本Un中随机选取一个用户构造负样本。
3.选取2016.04-201610 的购买数据作为训练样本，2016.11的数据作为测试样本。
使用机器学习算法进行分类训练和预测，重复上述实验，得到下列结果:
AUC: 0.930451274
precision: 0.8993963783
recall: 0.8357507082
fmeasure: 0.8664062729
进一步对客户分群之后，可以更好的对新客户进行建模，对于老客户我们可以进一步提取他们的历史购买特征，预测他们在下一段时间内购买的产品价值（数量，金额等），对于新客户，可以进根据他的存款量预测其第一次购买的产品价值，把存款客户变成理财客户。通过分析客户存款变动于客户购买理财的关系，我们发现客户购买理财的前一段时间内定活期的增加的有不同的模式，如下图。
根据需求预测模型，我们给出新客户最有可能购买的top N 列表，然后由业务人员进行市场推广。
3.2客户价值预测
进一步预测有购买需求的客户的购买价值高低。这是个回归问题，但是预测变量从二分类变量变为预测连续的金额值。训练的时候预测值取训练周期内（一个月或者季度）客户所购买的总金额。
算出客户的当前价值（即当前阶段购买的产品价值）和未来价值（预测的下一个阶段的客户价值）可以帮助我们鉴定客户处于流失阶段，或者上升阶段，或者是稳定阶段。当前价值取的是当前时间前三个月的交易量。对流失阶段高价值客户可以适当给予营销优惠，对于有购买意向的客户适当引导。如下图所示。
结果/效果
一是提高银行营销准确性。随着客户不断增加，理财产品也在不断推陈出新，在实时精准营销平台的帮助下，银行从以前盲目撒网式的营销方式转变到对不同客户精准触达，提高了理财产品的营销成功率，降低销售和运作成本。理财产品推荐的上线以来，产品推荐成功率比专家经验排序模型最高提升10倍。
二是增加银行获客数量。精准营销系统洞察客户潜在需求和偏好，提高了银行获取目标客户群的准确率。从数百万客户中,通过机器学习模型,找到最有可能购买产品的客户群，通过渠道营销，实现响应率提升。相比传统盲发模式，发送原38%的短信即可覆盖80%的客户。
通过构建基于大数据的精准营销方案，恒丰银行深入洞察客户行为、需求、偏好，帮助银行深入了解客户，并打造个性化推荐系统和建立客户价值预测模型，实现可持续的营销计划。
6. 民生银行的数据化营销的成功之处有哪些
民生银来行大数据项目源首先将大数据平台与巨杉的数据解决方案作深度集成，而后期合作方如何对客户行业应用诉求作精准把握，才是决定项目成功落地的关键。
日前，中国民生银行大数据项目正式启动。该项目由IBM和巨杉数据库公司（SequoiaDB）携手，通过IBM BigInsights大数据解决方案和企业级NoSQL数据库SequoiaDB为民生银行搭建低成本、高性能、高可靠且水平扩张的数据平台，帮助民生银行通过大数据分析应对金融业的大数据挑战，实现深刻的行业洞察。该平台使用IBM BigInsights与合作伙伴SequoiaDB的完整集成，全面提升民生银行作为金融业领导者在大数据时代的价值。
竞争驱使应用
互联网基因的融合
应用趋向业务洞察
在不同的应用场景中，实现全面的数据分析。特别是内置的集群内文本语义分析功能，为多种来源的文本提供高性能的处理、标注及分析功能。
7. 如何运用大数据做好精细化营销
现在大数据不断发展衍生出了很多用途，而在营销上面的用途是彻底改变了营销模式。而该如何利用大数据来进行精准营销呢？
1、针对性营销
大数据可以提供某些企业交易特点和资金需求特点，可以帮助业务部门对企业的资金需求进行分析和筛选，提供现金管理产品，帮助企业解决流动性问题。大数据可以帮助信用卡中心追踪热点信息，针对特定人群提供精准营销产品，增加新卡用户，例如热映电影、娱乐活动、餐饮团购等。银行针对特定人群推出定制的理财产品，保险产品。
2、社交化营销-善融商务
人们的社交行为产生了巨大的数据，利用社交平台，结合大数据分析，金融行业可以开展成本较低的社交化营销，借助于开放的互联网平台，依据大量的客户需求数据，进轿培铅行产品和渠道推广。通过互联网社交平台返回的海量数据，评测营销方案的阶段成果，实时调整营销能够方案，利用口碑传销和病毒式传播来帮助金融行业快速进行产品宣传、品牌宣传、渠道宣传等。
3、信用风险评估
银行可以利用大数据增加信用风险输入纬度，提高信用风险管理水平，动态管理企业和个人客户的形用风险。建立基于大数据的信用风险评估模型和方法，将会提高银行对中小企业和个人的资金支持。个人信用评分标准的建立，将会帮助银行在即将到来的信用消费时代取得领先。基闭好于大数据的动态的信用风险管理机制，将会帮助银行提前预测高风险信用违约时间，及时介入，降低违约概率，同时预防信用欺诈。
4、欺诈风险管理
信用卡公司可以利用大数据及时预测和发现恶意欺诈事件，即使采取措施，降低信用开欺诈风险。银行可以基于大数据建立防欺诈监控系统，动态管理网上银行、POS机、ATM等渠道的欺诈事件，大数据提供了多纬度的监控指标和联动方式，可以弥补和完善目前反欺诈监控方式的不足。特别在识别客户行为趋势方面，大数据具有较大的优势。
5、提升客户体验
银行可以依据大数据分析，可以对进入网点的客户提供定制服务和问候，在节假日为客户提供定制服务，预知企业客户未来资金需求，提前进行预约，提高客户体验。私人银行可以依据大数据分析报告，帮助客户进行金融市场产品投资，赚取超额利润，形成竞争优势，提高客户体验。保险业务可以依据大数据预测为客户提前提供有效服务，提高客户体验，同时增加商业机会。理财业务可以利用大数分析，快速推出行业报告和市场趋势报告，帮助投资者及时了解热点，提高客户满意度。
6、需求分析和产品创新
大数据提供了整体数据，银行可以利用整体样本数据，从中进行筛选。可以从客户职业，年龄，收入，居住地，习惯爱好，资产，信用等各个方面中散对客户进行分类，依据其他的数据输入纬度来确定客户的需求来定制产品。银行还可以依据企业的交易数据来预测行业发展特点，为企业客户提供金融产品服务。
7、运营效率提升
大数据可以展现不同产品线的实际收入和成本，帮助银行进行产品管理。同时大数据为管理层提供全方面报表，揭示内部运营管理效率，有力于内部效率提升。大数据可以帮助市场部门有效监测营销方案和市场推广情况，提高营销精度，降低营销费用。大数据可以展现风险视图控制信用风险，同时加快信用审批。大数据可以帮助保险行业快速为客户提供保险方案，提高效率，降低成本。理财产品也可以利用大数据动态提供行业报告，快速帮助投资人。
8、决策支持
大数据可以帮助金融企业，为即将实施的决策提供数据支撑，同时也可以依据大数据分析归纳出规律，进一步演绎出新的决策。基于大数据和人工智能技术的决策树模型将会有效帮助金融行业分析信用风险，为业务决策提供有力支持。金融行业新产品或新服务推向市场前，可以在局部地区进行试验，大数据技术可以对采集的数据精准营销进行分析，通过统计分析报告为新产品的市场推广提供决策支持。
8. 大数据在银行业的应用与实践
大数据在银行业的应用
一、舆情分析
对于银行来说，舆情分析包括：银行的声誉分析、品牌分析和客户质量分析。它主要是通过分析网络社交媒体的评论，对于客户的流失情况进行预警，还可以通过对新闻热点的跟踪以及政府报道的分析，为银行提供个性化的分析场所。
二、客户信用评级
银行可以通过手机客户申请信用卡的数据，分析客户的信用程度，从而帮助业务人员做出相应的决策。
三、客户与市场洞察
银行可以通过跟踪社交媒体的评论信息，利用各种非结构化数据，对客户进行细分，改进客户的流失情况。这是银行对于市场的趋势分析。
四、运营优化
银行通过大数据平台对各种历史数据进行保存和管理，同时可以对系统日志进行维护、预测系统故障，从而提升系统的运营效率。
五、风险与欺诈分析
主要包括财务风险分析、贷款风险分析、各种反洗钱和欺诈调查和实时欺诈分析等内容。所谓财务风险分析是分析信用风险和市场风险产生的数据；贷款风险分析是从媒体或者社会公众信息中提取企业客户和潜在客户的信息。提高对于风险的预测能力和预警能力；反洗钱与欺诈调查是提取犯罪记录的信息；实时欺诈分析则是对大量的欺诈数据进行分析。
银行数据架构规划
随着银行业务的扩展，可以对数据进行架构规划。大数据的数据架构规划可以采用Hadoop技术，即通过与节后或数据进行关联，进一步拓展对非结构化数据的处理。其数据源包括结构化数据、半结构化数据和非结构化数据。半结构化数据和非结构化数据通过网络爬虫的方式来搜集，再经过内容管理处理，将数据进行结构化处理，然后可以将内容管理处理得出的数据信息存放到基础数据存储中。这是基于HDFS存放的非结构化数据。
大数据为银行创造的价值
当银行客户与银行产生交易，会产生大量的数据，这些数据具有大量的业务价值，为银行进行有针对性的营销创造了机会。
在大部分的应用中，随着数据量指数级的增长，特别是一些非结构化数据的快速增长，大量的数据导致分析时间增长，传统的商业智能已经无法满足需求，阻碍了业务的发展，以FineBI为代表的新型BI的涌现，无论在数据处理量和速度上都相比传统BI有突破性的进步。
在很长的一段时间内，银行的大部分业务是建立在客户和银行的交易过程中的，但是为了能更好地为客户服务，光靠依赖这些数据是不够的。随着技术的进步，银行可以通过很多途径来搜集客户的资料。从而进行有针对性的营销。
随着互联网技术的发展，客户可以通过电子渠道对银行业务发表看法或者购买银行产品。这些操作都是为增强对于客户的了解，降低信息的不对称性。
目前来说，在利率市场化的趋势下，存款的稳定性降低，存贷款的利差收窄，数据分析已经逐渐成为银行实现核心业务价值的重要手段。金融脱媒会导致大量客户的流失和客户忠诚度的降低。银行作为“支付中介”的地位开始动摇，客户对于银行服务的要求越来越高。
在这种情况下，银行需要通过大数据深入全名了解客户的基本信息，提升业务运行的效率，逐步提高客户的体验。通过对大数据的加工以及挖掘，可能为银行带来极大的效益，特别是商业银行。
对于银行来说，风险管控和用户营销是未来最重要的两个方向。而对客户的信用评分是实现这两个方向的重要条件之一。信用评分是根据申请人的申请信息和证明材料，帮助业务员作出决策，降低坏账率。
比如：我们可以根据大数据的分析和查询，有针对性地为客户提供理财产品建议和提醒，同时通过对大数据的分析和挖掘，来评估客户的信用风险和资金偿还能力，降低了银行的各种风险。