国外金融大数据云计算应用研究

Ⅰ 大数据的产生与发展现状研究

摘 要：大数据的产生给未来信息技术带来新的机遇与挑战。大数据对数据处理的有效性、实时性提出了更高要求，需要根据大数据的特点对当前数据处理技术实施变革，从而形成更有益于大数据采集、存储、处理、管理、分析、共享的新兴技术。本文从大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。

关键词 ：大数据 物联网 信息处理 海量计算

一、大数据的产生与发展现状

随着物联网、云计算等信息技术的飞速发展，大数据技术(Big Data)也越发进入人们的视线。大数据是用传统方法或工具很难处理或分析的数据信息。目前，人们对大数据的理解还不够全面和深入，关于大数据的含义也没有一个统一的定义。亚马逊大数据科学家John Rauser认为：大数据是超过任何一台计算机处理能力的庞大数据量。Informatica 的中国区首席顾问但彬指出：大数据是海量数据与复杂类型的数据的结合。而维基网络则把大数据定义成诸多大而复杂的、难以用当前数据库处理的数据集合。

大数据研究受到国内外学术界和工业界的广泛关注，已成为当今信息时代全世界讨论的热点。2008年，Nature杂志就推出大数据专刊，计算社区联盟也在同一年发表了报告《Big data computing; Creating revolutionary breakthroughs in commerce， science and society》，报告阐述了解决大数据问题所需的关键技术以及所面临的挑战。美国奥x政府于2012年3月在白宫网站发布了《大数据研究和发展倡议》，提出了通过收集、处理海量、复杂的数据信息，从而提升能力，加快科学和工程领域的创新步伐，转变学习教育模式，强化美国本土的安全”。2011年1月，微软公司同惠普公司合作开发了一系列能够提升生产力，同时提高决策速度的设备。此外，欧盟委员会也提出驾驳大数据浪潮的战略思路，日本发布的《面向 2020 的 ICT综合战略》也提出需要构造大量丰富的数据基础。

近年来，我国也积极开展对大数据的研究。2011年10月，工信部确认京沪深杭等 5 城市为“云计算中心”试点城市。2012年6月，中国计算机学会青年计算机科技论坛也举办了“大数据时代，智谋未来”学术报告研讨会。大数据及其科学研究方法涉及应用领域很广，并将与国计民生密切相关的科学决策、金融工程以及知识经济领域紧紧接合。

二、大数据的特点

目前，企业界和学术界都一致认为，大数据具有4个“V”特征，即：容量(Volume)、种类(Variety)、速度(Velocity)和至关重要的`价值(Value)。

(1) 容量(Volume)巨大。海量的数据集从TB 级别提升到PB 级别。

(2) 种类(Variety)繁多。大数据数据源有多种，数据格式和种类不同于以前所规定的结构化数据范畴。

(3)价值(Value)密度低。如视频的例子，在不间断连续监控的过程中，可能有意义的数据仅有一两秒。

(4)速度(Velocity)快。包含大量实时、在线数据处理分析的需求1秒钟定律。

三、大数据应用的领域

大数据产业的发展将推动全球经济由粗放型向集约型转变，这将对提升企业整体竞争力和政府监管能力具有意义深远的影响。

商业作为大数据的重要应用领域。沃尔玛公司通过对消费者购物行为等一系列非结构化数据的分析，了解不同顾客的购物习惯，公司从所销售的数据进行分析，从而选出适合在一起搭配出售的商品;淘宝也针对买家开设了大数据平台，为客户量身打造了一整套完善的网购体验产品。

大数据在金融业也起到了至关重要的作用。美国Equifax公司利用大数据技术，通过对其的数据库中与财务有关的记录海量信息进行索引处理和交叉分享，从而得到客户的个人信用等级，以推断出客户的支付需求与能力。

随着大数据在医疗与生命科学研究过程中的广泛应用和不断扩展。2010年，中国公布的《十二五规划》指出：要重点建设国家级、省级和地市级三级医疗卫生信息平台，建设电子病历和电子档案两个最为基础的数据库。各级医院也将在医疗信息仓库、数据中心等领域加大投入，医疗数据信息的存储将愈加被关注，医疗信息中心的关注焦点也将由传统的计算领域转为存储领域。

除此之外，大数据在制造业领域也有着广阔的应用。制造业企业积累了广泛的数据信息，在开展对业务数据进行技术管理的同时，企业需要通过大数据处理技术来帮助决策者从数据库储存的海量信息中找到有价值的信息，并且对其进行分析处理，从而增强决策的正确性、规避风险。

四、大数据所面临的挑战

大数据技术使人们能够更好地利用之前不能使用的各个数据类型，找出被忽略的信息，促进企业组织更加高效、智能。但随着对大数据研究的不断深入，人们也更加意识到当大数据技术向人们敞开“方便之门”的同时，也带来了众多的挑战：

(1)大数据需要更为专业化的管理技术人才。

(2) 大数据的合理利用需要解决容量大、类别多和时效性高的数据处理问题。

(3)大数据的利用对信息安全提出了更高要求。

(4)大数据的集成与管理问题。

这些挑战已成为关系到未来大数据发展的重要因素，同时也成为未来引领大数据发展的推动力。

五、结束语

大数据已经逐步渗透到人们工作生活的诸多领域中，对于大数据的研究也在不断的深化。本文针对大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。大数据的发展还处于初级阶段，还有更为广阔的空间需要人们不断开拓，如何合理地利用大数据、更加高效地处理大数据来为人们服务仍需要广大研究者不断地研究和探索。

参考文献：

[1]刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报，2014，46(6)：957- 972.

[2]严霄凤，张德馨.大数据研究[J].计算机技术与发展，2013，23(4)：168-172.

[3]刘俊.基于大数据流的Multi-Agent系统模型研究[J].计算机技术与发展， 2007，17(5)：166-169.

Ⅱ 云计算和大数据对互联网金融产生什么影响

数据大，存储多，价值比重低

Ⅲ 大数据在金融领域的应用

大数据在金融领域的应用

大数据产业链覆盖范围广，上游是基础支撑层，主要包括网络设备、计算机设备、存储设备等硬件供应，此外，相关云计算资源管理平台、大数据平台建设也属于产业链上游 ;

大数据产业中游立足海量数据资源，围绕各类应用和市场需求，提供辅助性的服务，包括数据交易、数据资产管理、数据采集、数据加工分析、数据安全，以及基于数据的 IT 运维等 ;

Ⅳ 大数据在金融行业的应用与挑战

大数据在金融行业的应用与挑战
A 具有四大基本特征
金融业基本是全世界各个行业中最依赖于数据的，而且最容易实现数据的变现。全球最大的金融数据公司Bloomberg在1981年成立时“大数据”概念还没有出现。Bloomberg的最初产品是投资市场系统（IMS），主要向各类投资者提供实时数据、财务分析等。
随着信息时代降临，1983年估值仅1亿美元的Bloomberg以30%股份的代价换取美林3000万美元投资，先后推出Bloomberg Terminal、News、Radio、TV等各类产品。1996年Bloomberg身价已达20亿美元，并以2亿美元从美林回购了10%的股份。2004年Bloomberg在纽约曼哈顿中心建成246米摩天高楼。到2008年次贷危机，美林面临崩盘，其剩余20%的Bloomberg股份成为救命稻草。Bloomberg趁美林之危赎回所有股份，估值跃升至225亿美元。2016年Bloomberg全球布局192个办公室，拥有1.5万名员工，年收入约100亿美元，估值约1000亿美元，超过同年市值为650亿美元的华尔街标杆高盛。
大数据概念形成于2000年前后，最初被定义为海量数据的集合。2011年，美国麦肯锡公司在《大数据的下一个前沿：创新、竞争和生产力》报告中最早提出：大数据指大小超出典型数据库软件工具收集、存储、管理和分析能力的数据集。
具体来说，大数据具有四大基本特征：
一是数据体量大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量。
二是数据类别大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据。
三是处理速度快，在数据量非常庞大的情况下，也能够做到数据的实时处理。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。
四是数据的真实性高，随着社交数据、企业内容、交易与应用数据等新数据源的兴起，传统数据源的局限被打破，信息的真实性和安全性显得极其重要。
而相比其他行业，金融数据逻辑关系紧密，安全性、稳定性和实时性要求更高，通常包含以下关键技术：数据分析，包括数据挖掘、机器学习、人工智能等，主要用于客户信用、聚类、特征、营销、产品关联分析等；数据管理，包括关系型和非关系型数据、融合集成、数据抽取、数据清洗和转换等；数据使用，包括分布式计算、内存计算、云计算、流处理、任务配置等；数据展示，包括可视化、历史流及空间信息流展示等，主要应用于对金融产品健康度、产品发展趋势、客户价值变化、反洗钱反欺诈等监控和预警。
B 重塑金融行业竞争新格局
“互联网+”之后，随着世界正快速兴起“大数据+”，金融行业悄然出现以下变化：
大数据特征从传统数据的“3个V”增加到“5个V”。在数量（Volume）、速度（Velocity）、种类（Variety）基础上，进一步完善了价值（Value）和真实性（Veracity），真实性包括数据的可信性、来源和信誉、有效性和可审计性等。
金融业按经营产品分类变为按运营模式分类。传统金融业按经营产品划分为银行、证券、期货、保险、基金五类，随着大数据产业兴起和混业经营的发展，现代金融业按运营模式划分为存贷款类、投资类、保险类三大类别。
大数据市场从垄断演变为充分市场竞争。全球大数据市场企业数量迅速增多，产品和服务的差异增大，技术门槛逐步降低，市场竞争日益激烈。行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用成为市场份额排名最靠前的五大细分市场。
大数据形成新的经济增长点。Wikibon数据显示，2016年，全球大数据硬件、软件和服务整体市场增长22%达到281亿美元，预计到2027年，全球在大数据硬件、软件和服务上的整体开支的复合年增长率为12%，将达到大约970亿美元。
数据和IT技术替代“重复性”业务岗位。数据服务公司Eurekahedge通过追踪23家对冲基金，发现5位对冲基金经理薪金总额为10亿美元甚至更高。过去10年，靠数学模型分析金融市场的物理学家和数学家“宽客”一直是对冲基金的宠儿，其实大数据+人工智能更精于此道。高盛的纽约股票现金交易部门2000年有600名交易员而如今只剩两人，其任务全由机器包办，专家称10年后高盛员工肯定比今天还要少。
美国大数据发展走在全球前列。美国政府宣称：“数据是一项有价值的国家资本，应对公众开放，而不是将其禁锢在政府体制内。”作为大数据的策源地和创新引领者，美国大数据发展一直走在全球最前列。自20世纪以来，美国先后出台系列法规，对数据的收集、发布、使用和管理等做出具体的规定。2009年，美国政府推出Data.gov政府数据开放平台，方便应用领域的开发者利用平台开发应用程序，满足公共需求或创新创业。2010年，美国国会通过更新法案，进一步提高了数据采集精度和上报频度。2012年3月，奥巴马政府推出《大数据研究与开发计划》，大数据迎来新一轮高速发展。
英国是欧洲金融中心，大数据成为其领先科技之一。2013年，英国投资1.89亿英镑发展大数据。2015年，新增7300万英镑，创建了“英国数据银行”data.gov.uk网站。2016年，伦敦举办了超过22000场科技活动，同年，英国数字科技投资逾68亿英镑，而收入则超过1700亿英镑。另外，英国统计局利用政府资源开展“虚拟人口普查”，仅此一项每年节省5亿英镑经费。
C 打造高效金融监管体系
大数据用已发生的总体行为模式和关联逻辑预测未来，决策未来,作为现代数字科技的核心，其灵魂就是——预测。
侦测、打击逃税、洗钱与金融诈骗
全球每年因欺诈造成的经济损失约3.7万亿美元，企业因欺诈受损通常为年营收额的5%。全球最大软件公司之一美国SAS公司与税务、海关等政府部门和全球各国银行、保险、医疗保健等机构合作，有效应对日益复杂化的金融犯罪行为。如在发放许可之前，通过预先的数据分析检测客户是否有过行受贿、欺诈等前科，再确定是否发放借贷或海关通关。SAS开发的系统已被国际公认为统计分析的标准软件，在各领域广泛应用。英国政府利用大数据检测行为模式检索出200亿英镑的逃税与诈骗，追回了数十亿美元损失。被福布斯评为美国最佳银行的德克萨斯资本银行（TCBank），不断投资大数据技术，反金融犯罪系统与银行发展同步，近3年资产从90亿美元增至210亿美元。荷兰第三大人寿保险公司CZ依靠大数据对骗保和虚假索赔行为进行侦测，在支付赔偿金之前先期阻断，有效减少了欺诈发生后的司法补救。
大数据风控建立客户信用评分、监测对照体系
美国注册舞弊审核师协会（ACFE）统计发现，缺乏反欺诈控制的企业会遭受高额损失。美国主流个人信用评分工具FICO能自动将借款人的历史资料与数据库中全体借款人总体信用习惯相比较，预测借款人行为趋势，评估其与各类不良借款人之间的相似度。美国SAS公司则通过集中浏览和分析评估客户银行账户的基本信息、历史行为模式、正在发生行为模式（如转账）等，结合智能规则引擎（如搜索到该客户从新出现的国家为特有用户转账，或在新位置在线交易等），进行实时反欺诈分析。
美国一家互联网信用评估机构通过分析客户在Facebook、Twitter等社交平台留下的信息，对银行的信贷和投保申请客户进行风险评估，并将结果出售给银行、保险公司等，成为多家金融机构的合作伙伴。
D 数据整合困难
应用经济指标预测系统分析市场走势
IBM使用大数据信息技术成功开发了“经济指标预测系统”，该系统基于单体数据进行提炼整合，通过搜索、统计、分析新闻中出现的“新订单”等与股价指标有关的单词来预测走势，然后结合其他相关经济数据、历史数据分析其与股价的关系，从而得出行情预测结果。
追踪社交媒体上的海量信息评估行情变化
当今搜索引擎、社交网络和智能手机上的微博、微信、论坛、新闻评论、电商平台等每天生成几百亿甚至千亿条文本、音像、视频、数据等，涵盖厂商动态、个人情绪、行业资讯、产品体验、商品浏览和成交记录、价格走势等，蕴含巨大财富价值。
2011年5月，规模为4000万美元的英国对冲基金DC Markets，通过大数据分析Twitter的信息内容来感知市场情绪指导投资，首月盈利并以1.85%的收益率一举战胜其他对冲基金仅0.76%的平均收益率。
美国佩斯大学一位博士则利用大数据追踪星巴克、可口可乐和耐克公司在社交媒体的围观程度对比其股价，证明Facebook、Twitter和 Youtube上的粉丝数与股价密切相关。
提供广泛的投资选择和交易切换
日本个人投资理财产品Money Design在应用程序Theo中使用算法+人工智能，最低门槛924美元，用户只需回答风险承受水平、退休计划等9个问题，就可使用35种不同货币对65个国家的1.19万只股票进行交易和切换，年度管理费仅1%。Money Design还能根据用户投资目标自动平衡其账户金额，预计2020年将超过2万亿美元投资该类产品。
利用云端数据库为客户提供记账服务
日本财富管理工具商Money Forward提供云基础记账服务，可管理工资、收付款、寄送发票账单、针对性推送理财新项目等，其软件系统连接并整合了2580家各类金融机构的各类型帐户，运用大数据分析的智能仪表盘显示用户当前财富状况，还能分析用户以往的数据以预测未来的金融轨迹。目前其已拥有50万商家和350万个体用户，并与市值2.5万亿美元的山口金融集团联合开发新一款APP。
为客户定制差异化产品和营销方案
金融机构迫切需要掌握更多用户信息，继而构建用户360度立体画像，从而对细分客户进行精准营销、实时营销、智慧营销。
一些海外银行围绕客户“人生大事”，分析推算出大致生活节点，有效激发其对高价值金融产品的购买意愿。如一家澳大利亚银行通过大数据分析发现，家中即将诞生婴儿的客户对寿险产品的潜在需求最大，于是通过银行卡数据监控准妈妈开始购买保胎药品和婴儿相关产品等现象，识别出即将添丁的家庭，精准推出定制化金融产品套餐，受到了客户的积极响应，相比传统的短信群发模式大幅提高了成功率。
催生并支撑人工智能交易
“量化投资之王”西蒙斯被公认为是最能赚钱的基金经理人，自1988年创立文艺复兴科技公司的旗舰产品——大奖章基金以来，其凭借不断更新完善的大数据分析系统，20年中创造出35%的年均净回报率，比索罗斯同期高10%，比股神巴菲特同期高18%，成为有史以来最成功的对冲基金，并于1993年基金规模达2.7亿美元时停止接受新投资。在美国《Alpha》杂志每年公布的对冲基金经理排行榜上，西蒙斯2005年、2006年分别以15亿美元、17亿美元净收入稳居全球之冠，2007年以13亿美元位列第五，2008年再以25亿美元重返榜首。
推动金融产品和服务创新
E 面临三大挑战
目前，全球各行业数据量的增长速度惊人，在我国尤其集中在金融、交通、电信、制造业等重点行业，信息化的不断深入正在进一步催生更多新的海量数据。
据统计，2015年中国的数据总量达到1700EB以上，同比增长90%，预计到2020年这一数值将超过8000EB。以银行业为例，每创收100万元，银行业平均产生130GB的数据，数据强度高踞各行业之首。但在金融企业内部数据处于割裂状态，业务条线、职能部门、渠道部门、风险部门等各个分支机构往往是数据的真正拥有者，缺乏顺畅的共享机制，导致海量数据往往处于分散和“睡眠”状态，虽然金融行业拥有的数据量“富可敌国”，但真正利用时却“捉襟见肘”。
数据安全暗藏隐患
大数据本质是开放与共享，但如何界定、保护个人隐私权却成为法律难题。大数据存储、处理、传输、共享过程中也存在多种风险，不仅需要技术手段保护，还需相关法律法规规范和金融机构自律。多项实际案例表明，即使无害的数据大量囤积也会滋生各种隐患。安全保护对象不仅包括大数据自身，也包含通过大数据分析得出的知识和结论。在线市场平台英国Handshake.uk.com就尝试允许用户协商个人数据被品牌分享所得的报酬。
人才梯队建设任重道远
人才是大数据之本。与信息技术其他细分领域人才相比，大数据发展对人才的复合型能力要求更高，需要掌握计算机软件技术，并具备数学、统计学等方面知识以及应用领域的专业知识。

Ⅳ 互联网金融与大数据应用论文

在中国庞大的应用市场和人群下，深入观察变化且复杂的市场，探索以大数据为基础的解决方案成为了银行提高自身竞争力的一大重要手段。大数据技术是互联网金融的一大技术支撑，通过对人们在互联网上活动信息形成的数据的收集、挖掘、整理、分析和进一步应用，来创新思维、产品、技术、风险管理和营销。而数据是互联网金融的核心，未来计算机网络互联网金融业的竞争力将取决于数据的规模、有效性、真实性以及数据分析应用的能力。

一、我国互联网金融的概况

互联网金融作为二十一世纪高新产物，是传统的金融行业与互联网时代的有机结合，利用互联网技术和信息通信技术实现资金融通、支付、投资和信息中介服务的新型金融业务模式。这种新型金融模式具有颠覆式的影响，创新型巨大改革，不仅推动了我国利率市场化的进程，甚至影响整个经济与社会发展水平。

二、互联网金融的运作模式

(一)第三方支付模式

第三方支付模式，即某些具有一定实力和信誉保障的第三方独立机构，与各大银行签约后所提供的交易支持平台。

(二)P2P模式

又称点对点信贷，即一方贷款，一方借款，通过互联网作为中间平台的新型模式。这个模式对于微型小额的'信贷以及需要紧急周转资金的创业者是一个很好的选择。

(三)众筹模式

众筹就是大众筹资，需要筹资的企业或个人通过互联网这个众筹平台运用自己独特的号召力并发挥创意，获得来自大众的资金援助。

(四)互联网金融门户

互联网金融门户的核心就是“搜索比价”的模式，采用垂直比价的方法让顾客在互联网上“货比三家”，选择自己最满意的商品。

(五)大数据金融

大数据金融就是从大量数据中提取有利用价值的信息，以云计算为基础来进行融资的模式。最具代表性的就是余额宝，用高于银行的利率吸引消费者融资，不断推动着金融业的发展与进步。

三、互联网金融中的大数据应用及意义

(一)反映市场情况：电商和统计部门通过利用大数据对指数的编制来反映市场的基本情况，有效的分析交易数据，识别出市场交易模式，帮助决策者制定高效率的套利战略。比如国家的统计局与网络、阿里巴巴等电商、电信、互联网企业签订合作协议，共同开发利用大数据。

(二)金融产品定价：金融的核心内容之一就是金融产品定价问题(尤其是金融衍生产品定价)，这一直是大家关心的重要领域，其中涉及有计算和数学建模等。以信用违约互换定价为例，除了考虑违约的传染性和相关性，还要考虑违约过程的建模和估计，通常需要复杂的数学模型并且验证困难。最近一种基于大数据的解决方法即利用实际交易数据估计违约概率使其简单方便。因此大数据能为互联网金融市场提供运营平台，有效的整合互联网金融资源，，促进资源优化配置。

(三)精确营销：通过对一些场景类环境数据、朋友关系和用户经历的人文数据、位置和购物等的行为数据，建立模型进行分析，进一步细分客户。之后，可以定向推出产品并投放广告，实现精确营销。这也符合STP战略思想。大数据通过分析社交网络市场的信息， 特别关注搜索引擎中的搜索热点，从而制定投资策略，使互联网金融实现了一种新的营销模式。

(四)监管风险：互联网金融虽提高了金融效率，但也使风险呈现出许多新形式。因此需要对互联网金融活动产生的大数据进行分析，及时准确发现风险暴露，采取相应的措施加以规避、防范，提高互联网金融安全性，促进互联网金融的创新。

(五)信用：利用大数据，可以在法律和道德所容许的范围内对评估对象的静态动态信用行为进行收集、整理、分析挖掘，使人的信用立体化，进而评估个人或群体的信用，建立用户的增信模型和信用评分，打破了金融机构垄断用户信息的状况。

四、互联网金融大数据应用中存在的问题

互联网金融业本就拥有大数据，已成为自然产生大数据的重要领域，因此在互联网金融大数据应用中体现出了一些问题和挑战。

1、大数据处理速度满足不了各方的需求，体量大，噪声水平、数据来源和其他因素引起的内容和频率变化快，增加了大数据问题的复杂性。

2、大数据中含有大量的噪声信息甚至是虚假信息，出现信息过载的问题。

3、部分企业不愿公开、上传数据，造成不公开数据部门占便宜、公开数据部门吃亏的状况，形成了数据的公开、共享等方面不尽人意的局面。

4、容易泄露用户信息，造成滥用法律法规建设及滞后的现象。如商家对客户交易信息的过度营销，下载不安全的APP、用户扫描二维码支付都可能泄露个人的信息，买卖用户信息的不法交易等。

5、并非互联网金融的所有参与者都具备大数据分析的能力，数据分析挖掘能力不平衡。

五、结论

通过对互联网金融大数据的运行模式以及应用初步探究，我们发现还有很多问题等待我们去解决，严峻的考验只会让我们的路走得更稳固，金融业近些年的巨大发展和变革让我们更加坚定的去深思时代产物与新型科技的碰撞带来的丰硕成果，不断更新互联网金融时代，带领我们进入更美好的时代。

Ⅵ 大数据和人工智能在互联网金融领域有哪些应用

大
数据从四个方面改变了金融机构传统的数据运作方式，从而实现了巨大的商业价值。这四个方面（“四个C”）包括：数据质量的兼容性
（Compatibility）、数据运用的关联性（Connectedness）、数据分析的成本（Cost）以及数据价值的转化
（Capitalization）。


大数据在金融业的应用场景正在逐步拓展。在海外，大数据已经在金融行业的风险控制、运营管理、销售支持和商业模式创新等领域得到了全面尝试。在国内，金
融机构对大数据的应用还基本处于起步阶段。数据整合和部门协调等关键环节的挑战仍是阻碍金融机构将数据转化为价值的主要瓶颈。


数据技术与数据经济的发展是持续实现大数据价值的支撑。深度应用正在将传统IT从“后端”不断推向“前台”，而存量架构与创新模块的有效整合是传统金融
机构在技术层面所面临的主要挑战。此外，数据生态的发展演进有其显著的社会特征。作为其中的一员，金融机构在促进数据经济的发展上任重道远。

为了驾驭大数据，国内金融机构要在技术的基础上着重引入以价值为导向的管理视角，最终形成自上而下的内嵌式变革。其中的三个关键点（“TMT”）包括：团队（Team）、机制（Mechanism）和思维（Thinking）。

1.价值导向与内嵌式变革—BCG对大数据的理解

“让数据发声！”—随着大数据时代的来临，这个声音正在变得日益响亮。为了在喧嚣背后探寻本质，我们的讨论将从大数据的定义开始。

1.1成就大数据的“第四个V”

大数据是什么？在这个问题上，国内目前常用的是“3V”定义，即数量（Volume）、速度（Velocity）和种类（Variety）。


虽然有着这样的定义，但人们从未停止讨论什么才是成就大数据的“关键节点”。人们热议的焦点之一是“到底多大才算是大数据？”其实这个问题在“量”的层
面上并没有绝对的标准，因为“量”的大小是相对于特定时期的技术处理和分析能力而言的。在上个世纪90年代，10GB的数据需要当时计算能力一流的计算机
处理几个小时，而这个量现在只是一台普通智能手机存储量的一半而已。在这个层面上颇具影响力的说法是，当“全量数据”取代了“样本数据”时，人们就拥有了
大数据。


另外一个成为讨论焦点的问题是，今天的海量数据都来源于何处。在商业环境中，企业过去最关注的是ERP（Enterprise Resource
Planning）和CRM（Customer Relationship
Management）系统中的数据。这些数据的共性在于，它们都是由一个机构有意识、有目的地收集到的数据，而且基本上都是结构化数据。随着互联网的深
入普及，特别是移动互联网的爆发式增长，人机互动所产生的数据已经成为了另一个重要的数据来源，比如人们在互联网世界中留下的各种“数据足迹”。但所有这
些都还不是构成“大量数据”的主体。机器之间交互处理时沉淀下来的数据才是使数据量级实现跨越式增长的主要原因。“物联网”是当前人们将现实世界数据化的
最时髦的代名词。海量的数据就是以这样的方式源源不断地产生和积累。

“3V”的定义专注于对数据本身的特征进行描述。然而，是否是量级庞大、实时传输、格式多样的数据就是大数据？

BCG认为，成就大数据的关键点在于“第四个V”，即价值（Value）。当量级庞大、实时传输、格式多样的全量数据通过某种手段得到利用并创造出商业价值，而且能够进一步推动商业模式的变革时，大数据才真正诞生。

1.2变革中的数据运作与数据推动的内嵌式变革

多元化格式的数据已呈海量爆发，人类分析、利用数据的能力也日益精进，我们已经能够从大数据中创造出不同于传统数据挖掘的价值。那么，大数据带来的“大价值”究竟是如何产生的？


无论是在金融企业还是非金融企业中，数据应用及业务创新的生命周期都包含五个阶段：业务定义需求；IT部门获取并整合数据；数据科学家构建并完善算法与
模型；IT发布新洞察；业务应用并衡量洞察的实际成效。在今天的大数据环境下，生命周期仍维持原样，而唯一变化的是“数据科学家”在生命周期中所扮演的角
色。大数据将允许其运用各种新的算法与技术手段，帮助IT不断挖掘新的关联洞察，更好地满足业务需求。


因此，BCG认为，大数据改变的并不是传统数据的生命周期，而是具体的运作模式。在传统的数据基础和技术环境下，这样的周期可能要经历一年乃至更长的时
间。但是有了现在的数据量和技术，机构可能只需几周甚至更短的时间就能走完这个生命周期。新的数据运作模式使快速、低成本的试错成为可能。这样，商业机构
就有条件关注过去由于种种原因而被忽略的大量“小机会”，并将这些“小机会”累积形成“大价值”。

具体而言，与传统的数据应用相比，大数据在四个方面（“4C”）改变了传统数据的运作模式，为机构带来了新的价值。

1.2.1数据质量的兼容性（Compatibility）：大数据通过“量”提升了数据分析对“质”的宽容度


在“小数据”时代，数据的获取门槛相对较高，这就导致“样本思维”占据统治地位。人们大多是通过抽样和截取的方式来捕获数据。同时，人们分析数据的手段
和能力也相对有限。为了保证分析结果的准确性，人们通常会有意识地收集可量化的、清洁的、准确的数据，对数据的“质”提出了很高的要求。而在大数据时代，
“全量思维”得到了用武之地，人们有条件去获取多维度、全过程的数据。但在海量数据出现后，数据的清洗与验证几乎成为了不可能的事。正是这样的困境催生了
数据应用的新视角与新方法。类似于分布式技术的新算法使数据的“量”可以弥补“质”的不足，从而大大提升了数据分析对于数据质量的兼容能力。

1.2.2数据运用的关联性（Connectedness）：大数据使技术与算法从“静态”走向“持续”


在大数据时代，对“全量”的追求使“实时”变得异常重要，而这一点也不仅仅只体现在数据采集阶段。在云计算、流处理和内存分析等技术的支撑下，一系列新
的算法使实时分析成为可能。人们还可以通过使用持续的增量数据来优化分析结果。在这些因素的共同作用下，人们一贯以来对“因果关系”的追求开始松动，而
“相关关系”正在逐步获得一席之地。

1.2.3数据分析的成本（Cost）：大数据降低了数据分析的成本门槛


大数据改变了数据处理资源稀缺的局面。过去，数据挖掘往往意味着不菲的投入。因此，企业希望能够从数据中发掘出“大机会”，或是将有限的数据处理资源投
入到有可能产生大机会的“大客户、大项目”中去，以此获得健康的投入产出比。而在大数据时代，数据处理的成本不断下降，数据中大量存在的“小机会”得见天
日。每个机会本身带来的商业价值可能并不可观，但是累积起来就会实现质的飞跃。所以，大数据往往并非意味着“大机会”，而是“大量机会”。

1.2.4数据价值的转化（Capitalization）：大数据实现了从数据到价值的高效转化


在《互联网金融生态系统2020：新动力、新格局、新战略》报告中，我们探讨了传统金融机构在大变革时代所需采取的新战略思考框架，即适应型战略。采取
适应型战略有助于企业构筑以下五大优势：试错优势、触角优势、组织优势、系统优势和社会优势，而大数据将为金融机构建立这些优势提供新的工具和动力。从数
据到价值的转化与机构的整体转型相辅相成，“内嵌式变革”由此而生。


例如，金融机构传统做法中按部就班的长周期模式（从规划、立项、收集数据到分析、试点、落地、总结）不再适用。快速试错、宽进严出成为了实现大数据价值
的关键：以低成本的方式大量尝试大数据中蕴藏的海量机会，一旦发现某些有价值的规律，马上进行商业化推广，否则果断退出。此外，大数据为金融机构打造“触
角优势”提供了新的工具，使其能够更加灵敏地感知商业环境，更加顺畅地搭建反馈闭环。此外，数据的聚合与共享为金融机构搭建生态系统提供了新的场景与动
力。

2.应用场景与基础设施—纵览海内外金融机构的大数据发展实践


金融行业在发展大数据能力方面具有天然优势：受行业特性影响，金融机构在开展业务的过程中积累了海量的高价值数据，其中包括客户身份、资产负债情况、资
金收付交易等数据。以银行业为例，其数据强度高踞各行业之首—银行业每创收100万美元，平均就会产生820GB的数据。

2.1大数据的金融应用场景正在逐步拓展

大数据发出的声音已经在金融行业全面响起。作为行业中的“巨无霸”，银行业与保险业对大数据的应用尤其可圈可点。

2.1.1海外实践：全面尝试

2.1.1.1银行是金融行业中发展大数据能力的“领军者”


在发展大数据能力方面，银行业堪称是“领军者”。纵观银行业的六个主要业务板块（零售银行、公司银行、资本市场、交易银行、资产管理、财富管理），每个
业务板块都可以借助大数据来更深入地了解客户，并为其制定更具针对性的价值主张，同时提升风险管理能力。其中，大数据在零售银行和交易银行业务板块中的应
用潜力尤为可观。


BCG通过研究发现，海外银行在大数据能力的发展方面基本处于三个阶段：大约三分之一的银行还处在思考大数据、理解大数据、制定大数据战略及实施路径的
起点阶段。还有三分之一的银行向前发展到了尝试阶段，也就是按照规划出的路径和方案，通过试点项目进行测验，甄选出许多有价值的小机会，并且不停地进行试
错和调整。而另外三分之一左右的银行则已经跨越了尝试阶段。基于多年的试错经验，他们已经识别出几个较大的机会，并且已经成功地将这些机会转化为可持续的
商业价值。而且这些银行已经将匹配大数据的工作方式嵌入到组织当中。他们正在成熟运用先进的分析手段，并且不断获得新的商业洞察。


银行业应用举例1：将大数据技术应用到信贷风险控制领域。在美国，一家互联网信用评估机构已成为多家银行在个人信贷风险评估方面的好帮手。该机构通过分
析客户在各个社交平台（如Facebook和Twitter）留下的数据，对银行的信贷申请客户进行风险评估，并将结果卖给银行。银行将这家机构的评估结
果与内部评估相结合，从而形成更完善更准确的违约评估。这样的做法既帮助银行降低了风险成本，同时也为银行带来了风险定价方面的竞争优势。


相较于零售银行业务，公司银行业务对大数据的应用似乎缺乏亮点。但实际上，大数据在公司银行业务的风险领域正在发挥着前所未有的作用。在传统方法中，银
行对企业客户的违约风险评估多是基于过往的营业数据和信用信息。这种方式的最大弊端就是缺少前瞻性，因为影响企业违约的重要因素并不仅仅只是企业自身的经
营状况，还包括行业的整体发展状况，正所谓“覆巢之下，焉有完卵”。但要进行这样的分析往往需要大量的资源投入，因此在数据处理资源稀缺的环境下无法得到
广泛应用，而大数据手段则大幅减少了此类分析对资源的需求。西班牙一家大型银行正是利用大数据来为企业客户提供全面深入的信用风险分析。该行首先识别出影
响行业发展的主要因素，然后对这些因素一一进行模拟，以测试各种事件对其客户业务发展的潜在影响，并综合评判每个企业客户的违约风险。这样的做法不仅成本
低，而且对风险评估的速度快，同时显著提升了评估的准确性。


银行业应用举例2：用大数据为客户制定差异化产品和营销方案。在零售银行业务中，通过数据分析来判断客户行为并匹配营销手段并不是一件新鲜事。但大数据
为精准营销提供了广阔的创新空间。例如，海外银行开始围绕客户的“人生大事”进行交叉销售。这些银行对客户的交易数据进行分析，由此推算出客户经历“人生
大事”的大致节点。人生中的这些重要时刻往往能够激发客户对高价值金融产品的购买意愿。一家澳大利亚银行通过大数据分析发现，家中即将有婴儿诞生的客户对
寿险产品的潜在需求最大。通过对客户的银行卡交易数据进行分析，银行很容易识别出即将添丁的家庭：在这样的家庭中，准妈妈会开始购买某些药品，而婴儿相关
产品的消费会不断出现。该行面向这一人群推出定制化的营销活动，获得了客户的积极响应，从而大幅提高了交叉销售的成功率。


客户细分早已在银行业得到广泛应用，但细分维度往往大同小异，包括收入水平、年龄、职业等等。自从开始尝试大数据手段之后，银行的客户细分维度出现了突
破。例如，西班牙的一家银行从Facebook和Twitter等社交平台上直接抓取数据来分析客户的业余爱好。该行把客户细分为常旅客、足球爱好者、高
尔夫爱好者等类别。通过分析，该行发现高尔夫球爱好者对银行的利润度贡献最高，而足球爱好者对银行的忠诚度最高。此外，通过分析，该行还发现了另外一个小
客群：“败家族”，即财富水平不高、但消费行为奢侈的人群。这个客群由于人数不多，而且当前的财富水平尚未超越贵宾客户的门槛，因此往往被银行所忽略。但
分析显示这一人群能够为银行带来可观的利润，而且颇具成长潜力，因此该行决定将这些客户升级为贵宾客户，深入挖掘其潜在价值。


在对公业务中，银行同样可以借助大数据形成更有价值的客户细分。例如，在BCG与一家加拿大银行的合作项目中，项目组利用大数据分析技术将所有公司客户
按照行业和企业规模进行细分，一共建立了上百个细分客户群。不难想象，如果没有大数据的支持，这样深入的细分是很难实现的。然后，项目组在每个细分群中找
出标杆企业，分析其银行产品组合，并将该细分群中其他客户的银行产品组合与标杆企业进行比对，从而识别出差距和潜在的营销机会。项目组将这些分析结果与该
行的对公客户经理进行分享，帮助他们利用这些发现来制定更具针对性的销售计划和话术，并取得了良好的效果。客户对这种新的销售方式也十分欢迎，因为他们可
以从中了解到同行的财务状况和金融安排，有助于对自身的行业地位与发展空间进行判断。


银行业应用举例3：用大数据为优化银行运营提供决策基础。大数据不仅能在前台与中台大显身手，也能惠及后台运营领域。在互联网金融风生水起的当
下，“O2O”（OnlineToOffline）成为了银行的热点话题。哪些客户适合线上渠道？哪些客户不愿“触网”？BCG曾帮助西班牙一家银行通过
大数据技术应用对这些问题进行了解答。项目组对16个既可以在网点也可以在网络与移动渠道上完成的关键运营活动展开分析，建立了12个月的时间回溯深度，
把客户群体和运营活动按照网点使用强度以及非网点渠道使用潜力进行细分。分析结果显示，大约66%的交易活动对网点的使用强度较高，但同时对非网点渠道的
使用潜力也很高，因此可以从网点迁移到网络或移动渠道。项目组在客户细分中发现，年轻客户、老年客户以及高端客户在运营活动迁移方面潜力最大，可以优先作
为渠道迁徙的对象。通过这样的运营调整，大数据帮助银行在引导客户转移、减轻网点压力的同时保障了客户体验。


BCG还曾利用专有的大数据分析工具NetworkMax，帮助一家澳大利亚银行优化网点布局。虽然银行客户的线上活动日渐增多，但金融业的铁律在互联
网时代依然适用，也就是说在客户身边设立实体网点仍然是金融机构的竞争优势。然而，网点的运营成本往往不菲，如何实现网点资源的价值最大化成为了每家银行
面临的问题。在该项目中，项目组结合银行的内部数据（包括现有的网点分布和业绩状况等）和外部数据（如各个地区的人口数量、人口结构、收入水平等），对
350多个区域进行了评估，并按照主要产品系列为每个区域制定市场份额预测。项目组还通过对市场份额的驱动因素进行模拟，得出在现有网点数量不变的情况下
该行网点的理想布局图。该行根据项目组的建议对网点布局进行了调整，并取得了良好的成效。这个案例可以为许多银行带来启示：首先，银行十分清楚自身的网点
布局，有关网点的经营业绩和地址的信息全量存在于银行的数据库中。其次，有关一个地区的人口数量、人口结构、收入水平等数据都是可以公开获取的数据。通过
应用大数据技术来把这两组数据结合在一起，就可以帮助银行实现网点布局的优化。BCG基于大数据技术而研发的Network
Max正是用来解决类似问题的工具。


银行业应用举例4：创新商业模式，用大数据拓展中间收入。过去，坐拥海量数据的银行考虑的是如何使用数据来服务其核心业务。而如今，很多银行已经走得更
远。他们开始考虑如何把数据直接变成新产品并用来实现商业模式，进而直接创造收入。例如，澳大利亚一家大型银行通过分析支付数据来了解其零售客户的“消费
路径”，即客户进行日常消费时的典型顺序，包括客户的购物地点、购买内容和购物顺序，并对其中的关联进行分析。该银行将这些分析结果销售给公司客户（比如
零售业客户），帮助客户更准确地判断合适的产品广告投放地点以及适合在该地点进行推广的产品。这些公司客户过去往往需要花费大量金钱向市场调研公司购买此
类数据，但如今他们可以花少得多的钱向自己的银行购买这些分析结果，而且银行所提供的此类数据也要可靠得多。银行通过这种方式获得了传统业务之外的收入。
更重要的是，银行通过这样的创新为客户提供了增值服务，从而大大增强了客户粘性。