馬雲支付寶用到的大數據技術

1. 支付寶為什麼要搞大數據

偉大的經濟學家說過，羊毛出在羊身上！
雖說市面上移動支付類的產品不少，不過由於支付寶的功能更加豐富，尤其是花唄和借唄等功能，早已深入人心。除此之外，支付寶兼具了全面的理財功能，更全面、更完善的功能，使支付寶從眾多產品中，脫穎而出。
首先，就是用戶直觀的可以感受到，支付寶中插入一些廣告。畢竟作為一款移動支付軟體，支付寶坐擁大量的穩定用戶，而用戶自然會產生大量的流量。而且使用支付寶的用戶，通常都有一定的經濟基礎，或者一些消費方面的需求。而在支付寶中投放廣告的話，對於商家來說，效果自然不會差。而支付寶自然也能獲取一些投放廣告，帶來的效益。
可能說到大數據，大家都不陌生。但是如果要是說大數據收入，可能大家會覺得不太容易理解。其實，馬雲多次在演講中提到大數據，在現如今的互聯網時代中，數據對於任何行業或企業來說，都是一種不可估量的潛在價值。充分利用好手中的數據，依託支付寶的優勢，可以開展更多商業方面的拓展。所以說，大數據可以說是阿里巴巴的一直潛力股，未來可以大展拳腳。
對於年輕白領或者學生來說，經常沒到月底就沒有零花錢了。除此之外，如果遇到自己喜歡的東西，而恰巧自己又剛好囊中羞澀，那就有點尷尬了。而借唄、花唄就很好的解決了用戶的這一需求，快捷、方便，要避免因為借錢而產生的人情債。使用花唄付款後，支付寶會收取商家一定比例的服務費。雖然對用戶來說是免費的，不過，如果逾期未還款的話，就需要繳納一筆滯納金和利息了，也是支付寶盈利的點。
最後，我們不得不承認，馬雲開創了一個移動支付時代！

2. 大數據技術有哪些常用工具

第一，Hadoop

Hadoop是用於分布式處理的大量數據軟體框架。但是Hadoop以可靠，高效和可擴展的方式進行處理。Hadoop是可靠的，因為它假定計算元素和存儲將發生故障，因此它維護工作數據的多個副本以確保可以為故障節點重新分配處理。Hadoop之所以高效是因為它可以並行工作，並通過並行處理來加快處理速度。Hadoop還具有可伸縮性，可以處理PB級的數據。此外，Hadoop依賴社區伺服器，因此其成本相對較低，任何人都可以使用它。

第二，HPCC

HPCC，高性能計算和通信(High Performance Performance and Communications，高性能計算和通信)的縮寫。1993年，美國科學，工程和技術聯邦協調委員會向國會提交了有關“重大挑戰項目：高性能計算和通信”的報告，也被稱為HPCC計劃的報告，即美國。總統的科學戰略項目。目的是通過加強研發來解決許多重要的科學技術挑戰。HPCC是一項計劃在美國實施信息高速公路。該計劃的實施將耗資數百億美元。它的主要目標是開發可擴展的計算系統和相關軟體，以支持TB級網路傳輸性能並開發數千美元。兆位網路技術擴展了研究和教育機構以及網路連接能力。

第三，暴風雨

Storm是免費的開源軟體，是一種分布式的，容錯的實時計算系統。Storm可以非常可靠地處理大量數據流，並用於處理Hadoop批處理數據。Storm非常簡單，支持多種編程語言，並且使用起來非常有趣。Storm由Twitter開源，其他知名的應用程序公司包括Groupon，淘寶，支付寶，阿里巴巴，Le Element，Admaster等。

3. 馬雲的芝麻信用是怎麼利用大數據評判用戶信用的

芝麻信用來分其實是以現成的央行個人征自信為基礎的，
再加上支付寶使用頻度和流量，
相對大數據反而不那麼重要，
因為央行提供了現成的個人徵信數據，
而支付寶使用流量是自己的消費記錄。
反而支付寶安全檢測倒是用了大數據的，
譬如地理位置、使用設備等等。

4. 馬雲是靠什麼賺錢的

1、他賺錢很大部分是套現，當然還有他自己靠著自己輝煌的背景，到處參加活動獲得專的酬勞；
2、關於股屬票，大多數人是買的趨勢，不是他肯定是怎麼回事，而是感覺能上漲就會買。人們的從眾心理導致了股票不合常理的上漲或者下跌；

5. 螞蟻金服刷臉支付為何上榜《MIT科技評論》全球十大突破性技術

2016年雲棲大會上，螞蟻金服展區開張了一家「未來咖啡館」，客人對著攝像頭刷刷臉，就能完成支付。據悉，刷臉支付很快就將落地真實場景。

在人臉識別研究領域，一批傑出的華人研究學者是推動技術不斷發展的重要力量，可以說在世界范圍內，中國的人臉識別技術不管是技術還是應用都處於領先地位。刷臉支付由螞蟻金服與中國人臉識別技術公司Face++合作研發，在人臉識別核心比對演算法的基礎上，螞蟻金服開發了具有專利的活體檢測技術，並結合其基於金融雲的風控防攻擊安全策略等多個維度的核心技術，能夠提供金融級的准確度和安全性。

您可以聊聊這幾年螞蟻金服在人臉識別領域的投入和發展嗎？在整個人臉識別領域中，處於什麼樣的位置？

螞蟻金服幾年前就開始在人臉識別領域投入資金和人才，同時也在其他生物特徵識別技術研發方面有持續投入，生物識別技術已成為螞蟻金服技術體系和安全風控體系中的重要組成部分。螞蟻金服從2015年開始將人臉識別技術應用於支付寶用戶登錄、實名認證、找回密碼、支付風險校驗等場景，迄今已有超過1.5億用戶使用，據我們所知，這是目前國內外用戶量和訪問量最大的人臉識別系統，更是在金融領域全球范圍內第一家大規模商用的在線系統。

螞蟻金服的人臉識別技術

人臉識別常用的演算法模型您能不能簡單介紹一下？螞蟻金服又採用了什麼樣的演算法策略呢？

通常大家說的人臉識別是指人臉比對演算法，又分為1:1比對（verification）和1:N識別（identification），其演算法核心是讓機器自動判斷不同人臉圖片之間的相似度。人臉識別系統的研究始於20世紀60年代，80年代後隨著計算機技術和光學成像技術的發展得到提高，在這一技術發展過程中涉及到的演算法模型既有基於人臉局部特徵點的識別模型，也有基於全局特徵變換或幾何特徵的識別模型，還有基於2D或3D模板建模的識別模型。目前人臉識別技術已經全面轉向了基於卷積神經網路（CNN）的識別模型。

除了識別模型的准確性之外，人臉識別還有一個重要環節就是活體檢測，也就是確保機器要識別的人臉圖片是來自一個活體人臉，而不是照片、視頻或面具等偽造的人臉，因此活體檢測技術也是人臉識別成功應用的關鍵。活體檢測涉及的演算法也非常多，同時又與感測器技術關系非常緊密，比如指紋識別可以通過電容/電感感測器檢測活體，虹膜識別可以通過紅外攝像頭檢測活體。由於紅外攝像頭在在智能手機上的普及率還很低，目前活體人臉檢測技術主要依賴一系列軟體演算法，包括基於動作交互的識別模型，以及基於圖像分析的識別模型等。

螞蟻金服在人臉識別和活體檢測兩方面都在同步推進，也同時在研發如眼紋識別和聲紋識別等用於增強人臉識別的多因子生物特徵識別技術。此外還基於大數據分析技術研發基於用戶行為和不同場景的智能識別模型，從而形成一整套完備的身份識別解決方案

您能介紹下支付寶刷臉支付服務的人臉識別請求並發量峰值能達到多大？單日請求數能到什麼數量級？螞蟻金服又是使用什麼樣的技術架構做業務支撐的呢？

金融級人臉識別的技術要求和難點，我們總結以下幾點：

1. 高安全性：人臉活體檢測技術（防止照片偽造、視頻、面具以及專業軟體工具等攻擊）

2. 高准確率：極低誤識率下（<0.001%）的高識別通過率（90%以上）

3. 高可用性：海量並發人臉比對服務（tps="">1000）

4. 高實時性：人臉比對結果實時返回（響應時間<100ms）

支付寶的人臉識別，除了達到金融級的准確度和安全級別外，還需要極高的穩定性、可靠性和極低的實時響應。我們基於螞蟻金融雲的基礎架構，實現了高可用、動態擴展的服務框架體系，來保證刷臉服務能夠滿足雙十一、新春紅包等高並發峰值要求。

螞蟻金服是如何做數據迴流的可以跟我們介紹一下嗎？

數據迴流確實是改進演算法識別精度以及提高產品用戶體驗的有效手段，我們在嚴格遵守螞蟻金服數據安全和隱私保護等相關規范的前提下，通過記錄用戶刷臉過程中的一些關鍵參數信息（如光照、距離、角度、時長等）來驗證和分析人臉識別在各種真實環境下的魯棒性，再基於這種實際場景下的分析結果進一步對演算法和產品進行針對性改進，做到完全數據驅動的產品開發和優化閉環。

人臉識別的難點所在

能否介紹一下螞蟻金服的人臉識別底庫數據量級，單次從人臉檢測到返回比對結果的耗時，以及人臉識別的准確率？准確率的適用范圍？准確率是只針對漢族而言，還是所有種族（少數民族、白人、黑人）？在不同種族的人臉識別范疇，是否有什麼難點？如何解決？

螞蟻金服刷臉服務目前只針對中國大陸公民的支付寶實名用戶。截止到目前，支付寶全部4.5億實名用戶中已經有三分之一使用過刷臉服務登錄賬戶，實名認證，找回密碼，或者在高風險交易中進行身份驗證。人臉識別全流程（以刷臉登錄為例）的通過率在95%以上（其中沒通過的用戶中還包括很大比例的主動退出）。不同種族的人臉具有更大的多樣性，會給人臉識別系統的准確性帶來挑戰，但是目前基於深度學習的識別模型已具備處理海量數據的可能，如果能不斷對不同種族的人臉數據持續訓練和學習，這一問題也能很好的解決。

您能分別談一談人臉檢測、活體檢測、圖像脫敏、人臉比對這幾個方面當下的發展和難點么？對於配戴眼鏡、口罩、面具，或者手持照片、視頻刷臉的行為，如何處理？

人臉檢測：人臉檢測演算法是目前最成熟的人臉識別技術分支，准確性和輕量化都已滿足商用，除了能作為後台服務使用，也廣泛應用在智能手機、數碼相機等前端設備上。目前的挑戰是低光照環境以及大角度側臉條件下的人臉檢測。

活體檢測：活體檢測技術在過去幾年也有很大發展，已經能解決絕大部分照片和視頻攻擊，但活體攻擊手段也在不斷演進，特別是各種人臉相關建模軟體合成或變換的人臉越來越逼真。人臉活體檢測技術將是持續攻防和不斷改進的過程。

圖像脫敏：圖像脫敏會帶來信息損失，與提高人臉識別精度形成矛盾，螞蟻金服研發了一套獨特的單向變換脫敏技術，能夠比較好的解決這個問題。目前學術上這方面的成果不多。

人臉比對：目前機器的識別能力已經超過人眼，但是低光照、誇張表情、重度化妝和整容、年齡老化、雙胞胎仍然是人臉比對需要持續解決的問題，隨著數據的不斷累積和訓練，性能也在不斷提升。

挑戰

您能談談目前人臉識別領域面臨的最大挑戰是什麼嗎？能否從人臉識別的演算法和工程兩個角度聊一聊各自的挑戰？

演算法方面仍然要不斷提高人臉識別和活體檢測的准確性，識別的難題上面已經提及，活體檢測需要防範不斷演進和出現的新型攻擊方式。

工程方面的挑戰主要在用戶體驗和系統的穩定性及可靠性，不斷降低用戶的使用門檻的同時保證極致的刷臉體驗，涉及交互文案、設備兼容、演算法加速、參數自適應等多方面。由於人臉識別核心是圖像特徵提取及比對，這是CPU密集型的計算應用，面對支付寶上億用戶的身份驗證需求，特別是在雙十一、新春紅包等高並發峰值的情況下如何保證刷臉服務的性能和高可用性是系統方面的挑戰。

螞蟻金服人臉識別產品從2015年7月正式上線，在此之前做的都是小規模的測試，進行快速產品優化和迭代。我們發現，真實場景是十分復雜的，用戶會在室內和室外，白天和晚上各種光線，不同角度和姿勢下使用刷臉，有的是躺在床上刷臉，有的甚至在敷面膜的時候刷臉，如何解決各種復雜真實環境中的刷臉體驗，尤其是用戶達到億級規模的時候，保證普通用戶能夠便捷的通過是很大的挑戰。這不單單是演算法問題，更是涉及從產品、交互、用戶體驗、環境參數適配，安全策略，高並發系統架構等一系列問題，這是一個系統工程。經過一年多的產品優化，現在能保證在各種復雜的環境下仍有不錯的刷臉體驗和安全性。

未來目標

您可以聊一下人臉識別在刷臉支付之外，未來還可能應用在哪些地方嗎？

身份驗證已經變成了互聯網金融的基礎設施，甚至是整個互聯網+的基礎設施。基於人臉識別的身份驗證方式可以在數字世界中更好的證明「你是你」，提升便捷性和安全性。另外信用體系是整個社會的基礎服務，而身份識別和身份驗證又是信用體系的基礎，所有的信貸類服務的核心基礎就是要知道個人的信用等級，當然其前提還是要證明「你是你」，否則評價出來的信用等級也有可能變成別人的了。除了信用和金融的應用，安全領域也是人臉識別的重要應用，全國多個城市火車站上線了人臉識別驗票、北京機場刷臉出關。

螞蟻金服未來幾年在人臉識別領域希望達到的階段和目標可以介紹一下嗎？

首先在技術上不斷保持世界領先地位，驅動各個業務場景更深層次的應用，形成AI驅動、數據驅動的良性循環，同時不僅僅應用在中國，也隨著螞蟻金服國際化的推進，將人臉識別技術應用到全球，為世界上更多的用戶提供既安全又便利的刷臉產品和服務。

您怎麼看待整個人臉識別行業未來幾年的發展？

人臉識別行業目前整體上還只是起步階段，如前面講的，要應用到各行各業和各個用戶群體，還有很長的路要走，不管是國際還是國內，還沒針對人臉識別的行業標准，目前的人臉識別相關產品使用上還具備一定門檻，沒有達到普適性的程度。但是隨著技術的持續投入，產業環境的不斷成熟，以及相關標准不斷出台，相信未來幾年會迎來人臉識別行業應用真正的爆發期。

寄語

對於想轉行人臉識別的新人，您有什麼建議？是否門檻太高，很難切入？

人臉識別是一個系統工程，除了演算法本身，產品、交互、工程都需要深入研究和探索，從演算法到線上服務再到用戶體驗，從實驗室性能到實際場景系統性能，仍然有很多挑戰性問題需要解決，在各個環節都有很多可以切入的點，重要的在於是否真正解決了用戶的問題。