马云支付宝用到的大数据技术

1. 支付宝为什么要搞大数据

伟大的经济学家说过，羊毛出在羊身上！
虽说市面上移动支付类的产品不少，不过由于支付宝的功能更加丰富，尤其是花呗和借呗等功能，早已深入人心。除此之外，支付宝兼具了全面的理财功能，更全面、更完善的功能，使支付宝从众多产品中，脱颖而出。
首先，就是用户直观的可以感受到，支付宝中插入一些广告。毕竟作为一款移动支付软件，支付宝坐拥大量的稳定用户，而用户自然会产生大量的流量。而且使用支付宝的用户，通常都有一定的经济基础，或者一些消费方面的需求。而在支付宝中投放广告的话，对于商家来说，效果自然不会差。而支付宝自然也能获取一些投放广告，带来的效益。
可能说到大数据，大家都不陌生。但是如果要是说大数据收入，可能大家会觉得不太容易理解。其实，马云多次在演讲中提到大数据，在现如今的互联网时代中，数据对于任何行业或企业来说，都是一种不可估量的潜在价值。充分利用好手中的数据，依托支付宝的优势，可以开展更多商业方面的拓展。所以说，大数据可以说是阿里巴巴的一直潜力股，未来可以大展拳脚。
对于年轻白领或者学生来说，经常没到月底就没有零花钱了。除此之外，如果遇到自己喜欢的东西，而恰巧自己又刚好囊中羞涩，那就有点尴尬了。而借呗、花呗就很好的解决了用户的这一需求，快捷、方便，要避免因为借钱而产生的人情债。使用花呗付款后，支付宝会收取商家一定比例的服务费。虽然对用户来说是免费的，不过，如果逾期未还款的话，就需要缴纳一笔滞纳金和利息了，也是支付宝盈利的点。
最后，我们不得不承认，马云开创了一个移动支付时代！

2. 大数据技术有哪些常用工具

第一，Hadoop

Hadoop是用于分布式处理的大量数据软件框架。但是Hadoop以可靠，高效和可扩展的方式进行处理。Hadoop是可靠的，因为它假定计算元素和存储将发生故障，因此它维护工作数据的多个副本以确保可以为故障节点重新分配处理。Hadoop之所以高效是因为它可以并行工作，并通过并行处理来加快处理速度。Hadoop还具有可伸缩性，可以处理PB级的数据。此外，Hadoop依赖社区服务器，因此其成本相对较低，任何人都可以使用它。

第二，HPCC

HPCC，高性能计算和通信(High Performance Performance and Communications，高性能计算和通信)的缩写。1993年，美国科学，工程和技术联邦协调委员会向国会提交了有关“重大挑战项目：高性能计算和通信”的报告，也被称为HPCC计划的报告，即美国。总统的科学战略项目。目的是通过加强研发来解决许多重要的科学技术挑战。HPCC是一项计划在美国实施信息高速公路。该计划的实施将耗资数百亿美元。它的主要目标是开发可扩展的计算系统和相关软件，以支持TB级网络传输性能并开发数千美元。兆位网络技术扩展了研究和教育机构以及网络连接能力。

第三，暴风雨

Storm是免费的开源软件，是一种分布式的，容错的实时计算系统。Storm可以非常可靠地处理大量数据流，并用于处理Hadoop批处理数据。Storm非常简单，支持多种编程语言，并且使用起来非常有趣。Storm由Twitter开源，其他知名的应用程序公司包括Groupon，淘宝，支付宝，阿里巴巴，Le Element，Admaster等。

3. 马云的芝麻信用是怎么利用大数据评判用户信用的

芝麻信用来分其实是以现成的央行个人征自信为基础的，
再加上支付宝使用频度和流量，
相对大数据反而不那么重要，
因为央行提供了现成的个人征信数据，
而支付宝使用流量是自己的消费记录。
反而支付宝安全检测倒是用了大数据的，
譬如地理位置、使用设备等等。

4. 马云是靠什么赚钱的

1、他赚钱很大部分是套现，当然还有他自己靠着自己辉煌的背景，到处参加活动获得专的酬劳；
2、关于股属票，大多数人是买的趋势，不是他肯定是怎么回事，而是感觉能上涨就会买。人们的从众心理导致了股票不合常理的上涨或者下跌；

5. 蚂蚁金服刷脸支付为何上榜《MIT科技评论》全球十大突破性技术

2016年云栖大会上，蚂蚁金服展区开张了一家“未来咖啡馆”，客人对着摄像头刷刷脸，就能完成支付。据悉，刷脸支付很快就将落地真实场景。

在人脸识别研究领域，一批杰出的华人研究学者是推动技术不断发展的重要力量，可以说在世界范围内，中国的人脸识别技术不管是技术还是应用都处于领先地位。刷脸支付由蚂蚁金服与中国人脸识别技术公司Face++合作研发，在人脸识别核心比对算法的基础上，蚂蚁金服开发了具有专利的活体检测技术，并结合其基于金融云的风控防攻击安全策略等多个维度的核心技术，能够提供金融级的准确度和安全性。

您可以聊聊这几年蚂蚁金服在人脸识别领域的投入和发展吗？在整个人脸识别领域中，处于什么样的位置？

蚂蚁金服几年前就开始在人脸识别领域投入资金和人才，同时也在其他生物特征识别技术研发方面有持续投入，生物识别技术已成为蚂蚁金服技术体系和安全风控体系中的重要组成部分。蚂蚁金服从2015年开始将人脸识别技术应用于支付宝用户登录、实名认证、找回密码、支付风险校验等场景，迄今已有超过1.5亿用户使用，据我们所知，这是目前国内外用户量和访问量最大的人脸识别系统，更是在金融领域全球范围内第一家大规模商用的在线系统。

蚂蚁金服的人脸识别技术

人脸识别常用的算法模型您能不能简单介绍一下？蚂蚁金服又采用了什么样的算法策略呢？

通常大家说的人脸识别是指人脸比对算法，又分为1:1比对（verification）和1:N识别（identification），其算法核心是让机器自动判断不同人脸图片之间的相似度。人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，在这一技术发展过程中涉及到的算法模型既有基于人脸局部特征点的识别模型，也有基于全局特征变换或几何特征的识别模型，还有基于2D或3D模板建模的识别模型。目前人脸识别技术已经全面转向了基于卷积神经网络（CNN）的识别模型。

除了识别模型的准确性之外，人脸识别还有一个重要环节就是活体检测，也就是确保机器要识别的人脸图片是来自一个活体人脸，而不是照片、视频或面具等伪造的人脸，因此活体检测技术也是人脸识别成功应用的关键。活体检测涉及的算法也非常多，同时又与传感器技术关系非常紧密，比如指纹识别可以通过电容/电感传感器检测活体，虹膜识别可以通过红外摄像头检测活体。由于红外摄像头在在智能手机上的普及率还很低，目前活体人脸检测技术主要依赖一系列软件算法，包括基于动作交互的识别模型，以及基于图像分析的识别模型等。

蚂蚁金服在人脸识别和活体检测两方面都在同步推进，也同时在研发如眼纹识别和声纹识别等用于增强人脸识别的多因子生物特征识别技术。此外还基于大数据分析技术研发基于用户行为和不同场景的智能识别模型，从而形成一整套完备的身份识别解决方案

您能介绍下支付宝刷脸支付服务的人脸识别请求并发量峰值能达到多大？单日请求数能到什么数量级？蚂蚁金服又是使用什么样的技术架构做业务支撑的呢？

金融级人脸识别的技术要求和难点，我们总结以下几点：

1. 高安全性：人脸活体检测技术（防止照片伪造、视频、面具以及专业软件工具等攻击）

2. 高准确率：极低误识率下（<0.001%）的高识别通过率（90%以上）

3. 高可用性：海量并发人脸比对服务（tps="">1000）

4. 高实时性：人脸比对结果实时返回（响应时间<100ms）

支付宝的人脸识别，除了达到金融级的准确度和安全级别外，还需要极高的稳定性、可靠性和极低的实时响应。我们基于蚂蚁金融云的基础架构，实现了高可用、动态扩展的服务框架体系，来保证刷脸服务能够满足双十一、新春红包等高并发峰值要求。

蚂蚁金服是如何做数据回流的可以跟我们介绍一下吗？

数据回流确实是改进算法识别精度以及提高产品用户体验的有效手段，我们在严格遵守蚂蚁金服数据安全和隐私保护等相关规范的前提下，通过记录用户刷脸过程中的一些关键参数信息（如光照、距离、角度、时长等）来验证和分析人脸识别在各种真实环境下的鲁棒性，再基于这种实际场景下的分析结果进一步对算法和产品进行针对性改进，做到完全数据驱动的产品开发和优化闭环。

人脸识别的难点所在

能否介绍一下蚂蚁金服的人脸识别底库数据量级，单次从人脸检测到返回比对结果的耗时，以及人脸识别的准确率？准确率的适用范围？准确率是只针对汉族而言，还是所有种族（少数民族、白人、黑人）？在不同种族的人脸识别范畴，是否有什么难点？如何解决？

蚂蚁金服刷脸服务目前只针对中国大陆公民的支付宝实名用户。截止到目前，支付宝全部4.5亿实名用户中已经有三分之一使用过刷脸服务登录账户，实名认证，找回密码，或者在高风险交易中进行身份验证。人脸识别全流程（以刷脸登录为例）的通过率在95%以上（其中没通过的用户中还包括很大比例的主动退出）。不同种族的人脸具有更大的多样性，会给人脸识别系统的准确性带来挑战，但是目前基于深度学习的识别模型已具备处理海量数据的可能，如果能不断对不同种族的人脸数据持续训练和学习，这一问题也能很好的解决。

您能分别谈一谈人脸检测、活体检测、图像脱敏、人脸比对这几个方面当下的发展和难点么？对于配戴眼镜、口罩、面具，或者手持照片、视频刷脸的行为，如何处理？

人脸检测：人脸检测算法是目前最成熟的人脸识别技术分支，准确性和轻量化都已满足商用，除了能作为后台服务使用，也广泛应用在智能手机、数码相机等前端设备上。目前的挑战是低光照环境以及大角度侧脸条件下的人脸检测。

活体检测：活体检测技术在过去几年也有很大发展，已经能解决绝大部分照片和视频攻击，但活体攻击手段也在不断演进，特别是各种人脸相关建模软件合成或变换的人脸越来越逼真。人脸活体检测技术将是持续攻防和不断改进的过程。

图像脱敏：图像脱敏会带来信息损失，与提高人脸识别精度形成矛盾，蚂蚁金服研发了一套独特的单向变换脱敏技术，能够比较好的解决这个问题。目前学术上这方面的成果不多。

人脸比对：目前机器的识别能力已经超过人眼，但是低光照、夸张表情、重度化妆和整容、年龄老化、双胞胎仍然是人脸比对需要持续解决的问题，随着数据的不断累积和训练，性能也在不断提升。

挑战

您能谈谈目前人脸识别领域面临的最大挑战是什么吗？能否从人脸识别的算法和工程两个角度聊一聊各自的挑战？

算法方面仍然要不断提高人脸识别和活体检测的准确性，识别的难题上面已经提及，活体检测需要防范不断演进和出现的新型攻击方式。

工程方面的挑战主要在用户体验和系统的稳定性及可靠性，不断降低用户的使用门槛的同时保证极致的刷脸体验，涉及交互文案、设备兼容、算法加速、参数自适应等多方面。由于人脸识别核心是图像特征提取及比对，这是CPU密集型的计算应用，面对支付宝上亿用户的身份验证需求，特别是在双十一、新春红包等高并发峰值的情况下如何保证刷脸服务的性能和高可用性是系统方面的挑战。

蚂蚁金服人脸识别产品从2015年7月正式上线，在此之前做的都是小规模的测试，进行快速产品优化和迭代。我们发现，真实场景是十分复杂的，用户会在室内和室外，白天和晚上各种光线，不同角度和姿势下使用刷脸，有的是躺在床上刷脸，有的甚至在敷面膜的时候刷脸，如何解决各种复杂真实环境中的刷脸体验，尤其是用户达到亿级规模的时候，保证普通用户能够便捷的通过是很大的挑战。这不单单是算法问题，更是涉及从产品、交互、用户体验、环境参数适配，安全策略，高并发系统架构等一系列问题，这是一个系统工程。经过一年多的产品优化，现在能保证在各种复杂的环境下仍有不错的刷脸体验和安全性。

未来目标

您可以聊一下人脸识别在刷脸支付之外，未来还可能应用在哪些地方吗？

身份验证已经变成了互联网金融的基础设施，甚至是整个互联网+的基础设施。基于人脸识别的身份验证方式可以在数字世界中更好的证明“你是你”，提升便捷性和安全性。另外信用体系是整个社会的基础服务，而身份识别和身份验证又是信用体系的基础，所有的信贷类服务的核心基础就是要知道个人的信用等级，当然其前提还是要证明“你是你”，否则评价出来的信用等级也有可能变成别人的了。除了信用和金融的应用，安全领域也是人脸识别的重要应用，全国多个城市火车站上线了人脸识别验票、北京机场刷脸出关。

蚂蚁金服未来几年在人脸识别领域希望达到的阶段和目标可以介绍一下吗？

首先在技术上不断保持世界领先地位，驱动各个业务场景更深层次的应用，形成AI驱动、数据驱动的良性循环，同时不仅仅应用在中国，也随着蚂蚁金服国际化的推进，将人脸识别技术应用到全球，为世界上更多的用户提供既安全又便利的刷脸产品和服务。

您怎么看待整个人脸识别行业未来几年的发展？

人脸识别行业目前整体上还只是起步阶段，如前面讲的，要应用到各行各业和各个用户群体，还有很长的路要走，不管是国际还是国内，还没针对人脸识别的行业标准，目前的人脸识别相关产品使用上还具备一定门槛，没有达到普适性的程度。但是随着技术的持续投入，产业环境的不断成熟，以及相关标准不断出台，相信未来几年会迎来人脸识别行业应用真正的爆发期。

寄语

对于想转行人脸识别的新人，您有什么建议？是否门槛太高，很难切入？

人脸识别是一个系统工程，除了算法本身，产品、交互、工程都需要深入研究和探索，从算法到线上服务再到用户体验，从实验室性能到实际场景系统性能，仍然有很多挑战性问题需要解决，在各个环节都有很多可以切入的点，重要的在于是否真正解决了用户的问题。