大數據金融市場情緒分析

『壹』 大數據在金融行業的應用與挑戰

大數據在金融行業的應用與挑戰
A 具有四大基本特徵
金融業基本是全世界各個行業中最依賴於數據的，而且最容易實現數據的變現。全球最大的金融數據公司Bloomberg在1981年成立時「大數據」概念還沒有出現。Bloomberg的最初產品是投資市場系統（IMS），主要向各類投資者提供實時數據、財務分析等。
隨著信息時代降臨，1983年估值僅1億美元的Bloomberg以30%股份的代價換取美林3000萬美元投資，先後推出Bloomberg Terminal、News、Radio、TV等各類產品。1996年Bloomberg身價已達20億美元，並以2億美元從美林回購了10%的股份。2004年Bloomberg在紐約曼哈頓中心建成246米摩天高樓。到2008年次貸危機，美林面臨崩盤，其剩餘20%的Bloomberg股份成為救命稻草。Bloomberg趁美林之危贖回所有股份，估值躍升至225億美元。2016年Bloomberg全球布局192個辦公室，擁有1.5萬名員工，年收入約100億美元，估值約1000億美元，超過同年市值為650億美元的華爾街標桿高盛。
大數據概念形成於2000年前後，最初被定義為海量數據的集合。2011年，美國麥肯錫公司在《大數據的下一個前沿：創新、競爭和生產力》報告中最早提出：大數據指大小超出典型資料庫軟體工具收集、存儲、管理和分析能力的數據集。
具體來說，大數據具有四大基本特徵：
一是數據體量大，指代大型數據集，一般在10TB規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量。
二是數據類別大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。現在的數據類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數據。
三是處理速度快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。數據處理遵循「1秒定律」，可從各種類型的數據中快速獲得高價值的信息。
四是數據的真實性高，隨著社交數據、企業內容、交易與應用數據等新數據源的興起，傳統數據源的局限被打破，信息的真實性和安全性顯得極其重要。
而相比其他行業，金融數據邏輯關系緊密，安全性、穩定性和實時性要求更高，通常包含以下關鍵技術：數據分析，包括數據挖掘、機器學習、人工智慧等，主要用於客戶信用、聚類、特徵、營銷、產品關聯分析等；數據管理，包括關系型和非關系型數據、融合集成、數據抽取、數據清洗和轉換等；數據使用，包括分布式計算、內存計算、雲計算、流處理、任務配置等；數據展示，包括可視化、歷史流及空間信息流展示等，主要應用於對金融產品健康度、產品發展趨勢、客戶價值變化、反洗錢反欺詐等監控和預警。
B 重塑金融行業競爭新格局
「互聯網+」之後，隨著世界正快速興起「大數據+」，金融行業悄然出現以下變化：
大數據特徵從傳統數據的「3個V」增加到「5個V」。在數量（Volume）、速度（Velocity）、種類（Variety）基礎上，進一步完善了價值（Value）和真實性（Veracity），真實性包括數據的可信性、來源和信譽、有效性和可審計性等。
金融業按經營產品分類變為按運營模式分類。傳統金融業按經營產品劃分為銀行、證券、期貨、保險、基金五類，隨著大數據產業興起和混業經營的發展，現代金融業按運營模式劃分為存貸款類、投資類、保險類三大類別。
大數據市場從壟斷演變為充分市場競爭。全球大數據市場企業數量迅速增多，產品和服務的差異增大，技術門檻逐步降低，市場競爭日益激烈。行業解決方案、計算分析服務、存儲服務、資料庫服務和大數據應用成為市場份額排名最靠前的五大細分市場。
大數據形成新的經濟增長點。Wikibon數據顯示，2016年，全球大數據硬體、軟體和服務整體市場增長22%達到281億美元，預計到2027年，全球在大數據硬體、軟體和服務上的整體開支的復合年增長率為12%，將達到大約970億美元。
數據和IT技術替代「重復性」業務崗位。數據服務公司Eurekahedge通過追蹤23家對沖基金，發現5位對沖基金經理薪金總額為10億美元甚至更高。過去10年，靠數學模型分析金融市場的物理學家和數學家「寬客」一直是對沖基金的寵兒，其實大數據+人工智慧更精於此道。高盛的紐約股票現金交易部門2000年有600名交易員而如今只剩兩人，其任務全由機器包辦，專家稱10年後高盛員工肯定比今天還要少。
美國大數據發展走在全球前列。美國政府宣稱：「數據是一項有價值的國家資本，應對公眾開放，而不是將其禁錮在政府體制內。」作為大數據的策源地和創新引領者，美國大數據發展一直走在全球最前列。自20世紀以來，美國先後出台系列法規，對數據的收集、發布、使用和管理等做出具體的規定。2009年，美國政府推出Data.gov政府數據開放平台，方便應用領域的開發者利用平台開發應用程序，滿足公共需求或創新創業。2010年，美國國會通過更新法案，進一步提高了數據採集精度和上報頻度。2012年3月，奧巴馬政府推出《大數據研究與開發計劃》，大數據迎來新一輪高速發展。
英國是歐洲金融中心，大數據成為其領先科技之一。2013年，英國投資1.89億英鎊發展大數據。2015年，新增7300萬英鎊，創建了「英國數據銀行」data.gov.uk網站。2016年，倫敦舉辦了超過22000場科技活動，同年，英國數字科技投資逾68億英鎊，而收入則超過1700億英鎊。另外，英國統計局利用政府資源開展「虛擬人口普查」，僅此一項每年節省5億英鎊經費。
C 打造高效金融監管體系
大數據用已發生的總體行為模式和關聯邏輯預測未來，決策未來,作為現代數字科技的核心，其靈魂就是——預測。
偵測、打擊逃稅、洗錢與金融詐騙
全球每年因欺詐造成的經濟損失約3.7萬億美元，企業因欺詐受損通常為年營收額的5%。全球最大軟體公司之一美國SAS公司與稅務、海關等政府部門和全球各國銀行、保險、醫療保健等機構合作，有效應對日益復雜化的金融犯罪行為。如在發放許可之前，通過預先的數據分析檢測客戶是否有過行受賄、欺詐等前科，再確定是否發放借貸或海關通關。SAS開發的系統已被國際公認為統計分析的標准軟體，在各領域廣泛應用。英國政府利用大數據檢測行為模式檢索出200億英鎊的逃稅與詐騙，追回了數十億美元損失。被福布斯評為美國最佳銀行的德克薩斯資本銀行（TCBank），不斷投資大數據技術，反金融犯罪系統與銀行發展同步，近3年資產從90億美元增至210億美元。荷蘭第三大人壽保險公司CZ依靠大數據對騙保和虛假索賠行為進行偵測，在支付賠償金之前先期阻斷，有效減少了欺詐發生後的司法補救。
大數據風控建立客戶信用評分、監測對照體系
美國注冊舞弊審核師協會（ACFE）統計發現，缺乏反欺詐控制的企業會遭受高額損失。美國主流個人信用評分工具FICO能自動將借款人的歷史資料與資料庫中全體借款人總體信用習慣相比較，預測借款人行為趨勢，評估其與各類不良借款人之間的相似度。美國SAS公司則通過集中瀏覽和分析評估客戶銀行賬戶的基本信息、歷史行為模式、正在發生行為模式（如轉賬）等，結合智能規則引擎（如搜索到該客戶從新出現的國家為特有用戶轉賬，或在新位置在線交易等），進行實時反欺詐分析。
美國一家互聯網信用評估機構通過分析客戶在Facebook、Twitter等社交平台留下的信息，對銀行的信貸和投保申請客戶進行風險評估，並將結果出售給銀行、保險公司等，成為多家金融機構的合作夥伴。
D 數據整合困難
應用經濟指標預測系統分析市場走勢
IBM使用大數據信息技術成功開發了「經濟指標預測系統」，該系統基於單體數據進行提煉整合，通過搜索、統計、分析新聞中出現的「新訂單」等與股價指標有關的單詞來預測走勢，然後結合其他相關經濟數據、歷史數據分析其與股價的關系，從而得出行情預測結果。
追蹤社交媒體上的海量信息評估行情變化
當今搜索引擎、社交網路和智能手機上的微博、微信、論壇、新聞評論、電商平台等每天生成幾百億甚至千億條文本、音像、視頻、數據等，涵蓋廠商動態、個人情緒、行業資訊、產品體驗、商品瀏覽和成交記錄、價格走勢等，蘊含巨大財富價值。
2011年5月，規模為4000萬美元的英國對沖基金DC Markets，通過大數據分析Twitter的信息內容來感知市場情緒指導投資，首月盈利並以1.85%的收益率一舉戰勝其他對沖基金僅0.76%的平均收益率。
美國佩斯大學一位博士則利用大數據追蹤星巴克、可口可樂和耐克公司在社交媒體的圍觀程度對比其股價，證明Facebook、Twitter和 Youtube上的粉絲數與股價密切相關。
提供廣泛的投資選擇和交易切換
日本個人投資理財產品Money Design在應用程序Theo中使用演算法+人工智慧，最低門檻924美元，用戶只需回答風險承受水平、退休計劃等9個問題，就可使用35種不同貨幣對65個國家的1.19萬只股票進行交易和切換，年度管理費僅1%。Money Design還能根據用戶投資目標自動平衡其賬戶金額，預計2020年將超過2萬億美元投資該類產品。
利用雲端資料庫為客戶提供記賬服務
日本財富管理工具商Money Forward提供雲基礎記賬服務，可管理工資、收付款、寄送發票賬單、針對性推送理財新項目等，其軟體系統連接並整合了2580家各類金融機構的各類型帳戶，運用大數據分析的智能儀表盤顯示用戶當前財富狀況，還能分析用戶以往的數據以預測未來的金融軌跡。目前其已擁有50萬商家和350萬個體用戶，並與市值2.5萬億美元的山口金融集團聯合開發新一款APP。
為客戶定製差異化產品和營銷方案
金融機構迫切需要掌握更多用戶信息，繼而構建用戶360度立體畫像，從而對細分客戶進行精準營銷、實時營銷、智慧營銷。
一些海外銀行圍繞客戶「人生大事」，分析推算出大致生活節點，有效激發其對高價值金融產品的購買意願。如一家澳大利亞銀行通過大數據分析發現，家中即將誕生嬰兒的客戶對壽險產品的潛在需求最大，於是通過銀行卡數據監控准媽媽開始購買保胎葯品和嬰兒相關產品等現象，識別出即將添丁的家庭，精準推出定製化金融產品套餐，受到了客戶的積極響應，相比傳統的簡訊群發模式大幅提高了成功率。
催生並支撐人工智慧交易
「量化投資之王」西蒙斯被公認為是最能賺錢的基金經理人，自1988年創立文藝復興科技公司的旗艦產品——大獎章基金以來，其憑借不斷更新完善的大數據分析系統，20年中創造出35%的年均凈回報率，比索羅斯同期高10%，比股神巴菲特同期高18%，成為有史以來最成功的對沖基金，並於1993年基金規模達2.7億美元時停止接受新投資。在美國《Alpha》雜志每年公布的對沖基金經理排行榜上，西蒙斯2005年、2006年分別以15億美元、17億美元凈收入穩居全球之冠，2007年以13億美元位列第五，2008年再以25億美元重返榜首。
推動金融產品和服務創新
E 面臨三大挑戰
目前，全球各行業數據量的增長速度驚人，在我國尤其集中在金融、交通、電信、製造業等重點行業，信息化的不斷深入正在進一步催生更多新的海量數據。
據統計，2015年中國的數據總量達到1700EB以上，同比增長90%，預計到2020年這一數值將超過8000EB。以銀行業為例，每創收100萬元，銀行業平均產生130GB的數據，數據強度高踞各行業之首。但在金融企業內部數據處於割裂狀態，業務條線、職能部門、渠道部門、風險部門等各個分支機構往往是數據的真正擁有者，缺乏順暢的共享機制，導致海量數據往往處於分散和「睡眠」狀態，雖然金融行業擁有的數據量「富可敵國」，但真正利用時卻「捉襟見肘」。
數據安全暗藏隱患
大數據本質是開放與共享，但如何界定、保護個人隱私權卻成為法律難題。大數據存儲、處理、傳輸、共享過程中也存在多種風險，不僅需要技術手段保護，還需相關法律法規規范和金融機構自律。多項實際案例表明，即使無害的數據大量囤積也會滋生各種隱患。安全保護對象不僅包括大數據自身，也包含通過大數據分析得出的知識和結論。在線市場平台英國Handshake.uk.com就嘗試允許用戶協商個人數據被品牌分享所得的報酬。
人才梯隊建設任重道遠
人才是大數據之本。與信息技術其他細分領域人才相比，大數據發展對人才的復合型能力要求更高，需要掌握計算機軟體技術，並具備數學、統計學等方面知識以及應用領域的專業知識。

『貳』 什麼是金融大數據分析

金融大數據分析是指使用大數據技術來收集、整理、分析金融數據的過程。這些數據可以來自各種來源，包括市場信息、交易記錄、客戶信息等。金融大數據分析的目的是幫助金融機構更好地理解市場趨勢和客戶需求，提升決策效率並降低風險。

『叄』 是怎麼從大數據上對人們的情緒進行分析的

是怎麼從大數據上對人們的情緒進行分析的，這個的話就是通過數據的顯示，逐步的進行分析。

『肆』 大數據技術在金融行業有哪些應用前景

具體來說，比如說實時欺詐檢測，大數據徵信，社交媒體的輿情分析等等。就個人經驗來說，用機器學習去檢測用戶的信用記錄，監管貸款的風險，增強風險控制等方面都很有可行性。其他因為不太了解金融這里指的是什麼，如果說指商業，bus之類的，那應用前景簡直太多了。最後聽說一個CS PhD學長，被我認識的一個長輩忽悠去金融領域做量化交易模型，寫了一個模型一個小時賺數十萬，現在已經移民英國。大數據的意義是什麼。有一個觀點，就是如果我能掌握這個世界上每一個粒子的狀態，我能夠預測未來。其實萬事萬物都是有跡可循的，只不過影響因素太多，人類的認知能力有限，所以就要提煉特徵，提取主要的影響因素。

『伍』 如何用大數據炒股

我們如今生活在一個數據爆炸的世界裡。網路每天響應超過60億次的搜索請求，日處理數據超過100PB，相當於6000多座中國國家圖書館的書籍信息量總和。新浪微博每天都會發布上億條微博。在荒無人煙的郊外，暗藏著無數大公司的信息存儲中心，24小時夜以繼日地運轉著。
克托·邁爾-舍恩伯格在《大數據時代》一書中認為，大數據的核心就是預測，即只要數據豐富到一定程度，就可預測事情發生的可能性。例如，「從一個人亂穿馬路時行進的軌跡和速度來看他能及時穿過馬路的可能性」，或者通過一個人穿過馬路的速度，預測車子何時應該減速從而讓他及時穿過馬路。

那麼，如果把這種預測能力應用在股票投資上，又會如何？

目前，美國已經有許多對沖基金採用大數據技術進行投資，並且收獲甚豐。中國的中證廣發網路百發100指數基金（下稱百發100），上線四個多月以來已上漲68%。

和傳統量化投資類似，大數據投資也是依靠模型，但模型里的數據變數幾何倍地增加了，在原有的金融結構化數據基礎上，增加了社交言論、地理信息、衛星監測等非結構化數據，並且將這些非結構化數據進行量化，從而讓模型可以吸收。

由於大數據模型對成本要求極高，業內人士認為，大數據將成為共享平台化的服務，數據和技術相當於食材和鍋，基金經理和分析師可以通過平台製作自己的策略。

量化非結構數據

不要小看大數據的本領，正是這項剛剛興起的技術已經創造了無數「未卜先知」的奇跡。

2014年，網路用大數據技術預測命中了全國18卷中12卷高考作文題目，被網友稱為「神預測」。網路公司人士表示，在這個大數據池中，包含互聯網積累的用戶數據、歷年的命題數據以及教育機構對出題方向作出的判斷。

在2014年巴西世界盃比賽中，Google亦通過大數據技術成功預測了16強和8強名單。

從當年英格蘭報社的信鴿、費城股票交易所的信號燈到報紙電話，再到如今的互聯網、雲計算、大數據，前沿技術迅速在投資領域落地。在股票策略中，大數據日益嶄露頭角。

做股票投資策略，需要的大數據可以分為結構化數據和非結構化數據。結構化數據，簡單說就是「一堆數字」，通常包括傳統量化分析中常用的CPI、PMI、市值、交易量等專業信息；非結構化數據就是社交文字、地理位置、用戶行為等「還沒有進行量化的信息」。

量化非結構化就是用深度模型替代簡單線性模型的過程，其中所涉及的技術包括自然語言處理、語音識別、圖像識別等。

金融大數據平台-通聯數據CEO王政表示，通聯數據採用的非結構化數據可以分為三類：第一類和人相關，包括社交言論、消費、去過的地點等；第二類與物相關，如通過正在行駛的船隻和貨車判斷物聯網情況；第三類則是衛星監測的環境信息，包括汽車流、港口裝載量、新的建築開工等情況。

衛星監測信息在美國已被投入使用，2014年Google斥資5億美元收購了衛星公司Skybox，從而可以獲得實施衛星監測信息。

結構化和非結構化數據也常常相互轉化。「結構化和非結構化數據可以形象理解成把所有數據裝在一個籃子里，根據應用策略不同相互轉化。例如，在搜索頻率調查中，用戶搜索就是結構化數據；在金融策略分析中，用戶搜索就是非結構化數據。」網路公司人士表示。

華爾街拿著豐厚薪水的分析師們還不知道，自己的僱主已經將大量資本投向了取代自己的機器。
2014年11月23日，高盛向Kensho公司投資1500萬美元，以支持該公司的大數據平台建設。該平台很像iPhone里的Siri，可以快速整合海量數據進行分析，並且回答投資者提出的各種金融問題，例如「下月有颶風，將對美國建材板塊造成什麼影響？」

在Kensho處理的信息中，有80%是「非結構化」數據，例如政策文件、自然事件、地理環境、科技創新等。這類信息通常是電腦和模型難以消化的。因此，Kensho的CEO Daniel Nadler認為，華爾街過去是基於20%的信息做出100%的決策。

既然說到高盛，順便提一下，這家華爾街老牌投行如今對大數據可謂青睞有加。除了Kensho，高盛還和Fortress信貸集團在兩年前投資了8000萬美元給小額融資平台On Deck Capital。這家公司的核心競爭力也是大數據，它利用大數據對中小企業進行分析，從而選出值得投資的企業並以很快的速度為之提供短期貸款。

捕捉市場情緒

上述諸多非結構化數據，歸根結底是為了獲得一個信息：市場情緒。

在采訪中，2013年諾貝爾經濟學獎得主羅伯特•席勒的觀點被無數采訪對象引述。可以說，大數據策略投資的創業者們無一不是席勒的信奉者。

席勒於上世紀80年代設計的投資模型至今仍被業內稱道。在他的模型中，主要參考三個變數：投資項目計劃的現金流、公司資本的估算成本、股票市場對投資的反應（市場情緒）。他認為，市場本身帶有主觀判斷因素，投資者情緒會影響投資行為，而投資行為直接影響資產價格。
然而，在大數據技術誕生之前，市場情緒始終無法進行量化。

回顧人類股票投資發展史，其實就是將影響股價的因子不斷量化的過程。

上世紀70年代以前，股票投資是一種定性的分析，沒有數據應用，而是一門主觀的藝術。隨著電腦的普及，很多人開始研究驅動股價變化的規律，把傳統基本面研究方法用模型代替，市盈率、市凈率的概念誕生，量化投資由此興起。

量化投資技術的興起也帶動了一批華爾街大鱷的誕生。例如，巴克萊全球投資者（BGI）在上世紀70年代就以其超越同行的電腦模型成為全球最大的基金管理公司；進入80年代，另一家基金公司文藝復興（Renaissance）年均回報率在扣除管理費和投資收益分成等費用後仍高達34%，堪稱當時最佳的對沖基金，之後十多年該基金資產亦十分穩定。

「從主觀判斷到量化投資，是從藝術轉為科學的過程。」王政表示，上世紀70年代以前一個基本面研究員只能關注20隻到50隻股票，覆蓋面很有限。有了量化模型就可以覆蓋所有股票，這就是一個大的飛躍。此外，隨著計算機處理能力的發展，信息的用量也有一個飛躍變化。過去看三個指標就夠了，現在看的指標越來越多，做出的預測越來越准確。

隨著21世紀的到來，量化投資又遇到了新的瓶頸，就是同質化競爭。各家機構的量化模型越來越趨同，導致投資結果同漲同跌。「能否在看到報表數據之前，用更大的數據尋找規律？」這是大數據策略創業者們試圖解決的問題。

於是，量化投資的多米諾骨牌終於觸碰到了席勒理論的第三層變數——市場情緒。

計算機通過分析新聞、研究報告、社交信息、搜索行為等，藉助自然語言處理方法，提取有用的信息；而藉助機器學習智能分析，過去量化投資只能覆蓋幾十個策略，大數據投資則可以覆蓋成千上萬個策略。

基於互聯網搜索數據和社交行為的經濟預測研究，已逐漸成為一個新的學術熱點，並在經濟、社會以及健康等領域的研究中取得了一定成果。在資本市場應用上，研究發現搜索數據可有效預測未來股市活躍度（以交易量指標衡量）及股價走勢的變化。

海外就有學術研究指出，公司的名稱或者相關關鍵詞的搜索量，與該公司的股票交易量正相關。德國科學家Tobias Preis就進行了如此研究：Tobias利用谷歌搜索引擎和谷歌趨勢（Google Trends），以美國標普500指數的500隻股票為其樣本，以2004年至2010年為觀察區間，發現谷歌趨勢數據的公司名稱搜索量和對應股票的交易量，在每周一次的時間尺度上有高度關聯性。也就是說，當某個公司名稱在谷歌的搜索量活動增加時，無論股票的價格是上漲或者下跌，股票成交量與搜索量增加；反之亦然，搜索量下降，股票成交量下降。以標普500指數的樣本股為基礎，依據上述策略構建的模擬投資組合在六年的時間內獲得了高達329%的累計收益。

在美國市場上，還有多家私募對沖基金利用Twitter和Facebook的社交數據作為反映投資者情緒和市場趨勢的因子，構建對沖投資策略。利用互聯網大數據進行投資策略和工具的開發已經成為世界金融投資領域的新熱點。

保羅·霍丁管理的對沖基金Derwent成立於2011年5月，注冊在開曼群島，初始規模約為4000萬美元， 2013年投資收益高達23.77%。該基金的投資標的包括流動性較好的股票及股票指數產品。
通聯數據董事長肖風在《投資革命》中寫道，Derwent的投資策略是通過實時跟蹤Twitter用戶的情緒，以此感知市場參與者的「貪婪與恐懼」，從而判斷市場漲跌來獲利。

在Derwent的網頁上可以看到這樣一句話：「用實時的社交媒體解碼暗藏的交易機會。」保羅·霍丁在基金宣傳冊中表示：「多年以來，投資者已經普遍接受一種觀點，即恐懼和貪婪是金融市場的驅動力。但是以前人們沒有技術或數據來對人類情感進行量化。這是第四維。Derwent就是要通過即時關注Twitter中的公眾情緒，指導投資。」

另一家位於美國加州的對沖基金MarketPsych與湯普森·路透合作提供了分布在119個國家不低於18864項獨立指數，比如每分鍾更新的心情狀態（包括樂觀、憂郁、快樂、害怕、生氣，甚至還包括創新、訴訟及沖突情況等），而這些指數都是通過分析Twitter的數據文本，作為股市投資的信號。

此類基金還在不斷涌現。金融危機後，幾個台灣年輕人在波士頓組建了一家名為FlyBerry的對沖基金，口號是「Modeling the World（把世界建模）」。它的投資理念全部依託大數據技術，通過監測市場輿論和行為，對投資做出秒速判斷。

關於社交媒體信息的量化應用，在股票投資之外的領域也很常見：Twitter自己也十分注重信息的開發挖掘，它與DataSift和Gnip兩家公司達成了一項出售數據訪問許可權的協議，銷售人們的想法、情緒和溝通數據，從而作為顧客的反饋意見匯總後對商業營銷活動的效果進行判斷。從事類似工作的公司還有DMetics，它通過對人們的購物行為進行分析，尋找影響消費者最終選擇的細微原因。

回到股票世界，利用社交媒體信息做投資的公司還有StockTwits。打開這家網站，首先映入眼簾的宣傳語是「看看投資者和交易員此刻正如何討論你的股票」。正如其名，這家網站相當於「股票界的Twitter」，主要面向分析師、媒體和投資者。它通過機器和人工相結合的手段，將關於股票和市場的信息整理為140字以內的短消息供用戶參考。

此外，StockTwits還整合了社交功能，並作為插件可以嵌入Twitter、Facebook和LinkedIn等主要社交平台，讓人們可以輕易分享投資信息。

另一家公司Market Prophit也很有趣。這家網站的宣傳語是「從社交媒體噪音中提煉市場信號」。和StockTwits相比，Market Prophit更加註重大數據的應用。它採用了先進的語義分析法，可以將Twitter里的金融對話量化為「-1（極度看空）」到「1（極度看多）」之間的投資建議。網站還根據語義量化，每天公布前十名和後十名的股票熱度榜單。網站還設計了「熱度地圖」功能，根據投資者情緒和意見，按照不同板塊，將板塊內的個股按照顏色深淺進行標注，誰漲誰跌一目瞭然。

中國原創大數據指數

盡管大數據策略投資在美國貌似炙手可熱，但事實上，其應用尚僅限於中小型對沖基金和創業平台公司。大數據策略投資第一次被大規模應用，應歸於中國的百發100。

網路金融中心相關負責人表示，與歐美等成熟資本市場主要由理性機構投資者構成相比，東亞尤其是中國的股票類證券投資市場仍以散戶為主，因此市場受投資者情緒和宏觀政策性因素影響很大。而個人投資者行為可以更多地反映在互聯網用戶行為大數據上，從而為有效地預測市場情緒和趨勢提供了可能。這也就是中國國內公募基金在應用互聯網大數據投資方面比海外市場並不落後、甚至領先的原因。

百發100指數由網路、中證指數公司、廣發基金聯合研發推出，於2014年7月8日正式對市場發布，實盤運行以來一路上漲，漲幅超過60%。跟蹤該指數的指數基金規模上限為30億份，2014年9月17日正式獲批，10月20日發行時一度創下26小時瘋賣18億份的「神話」。

外界都知道百發100是依託大數據的指數基金，但其背後的細節鮮為人知。

百發100數據層面的分析分為兩個層面，即數據工廠的數據歸集和數據處理系統的數據分析。其中數據工廠負責大數據的收集分析，例如將來源於互聯網的非結構化數據進行指標化、產品化等數據量化過程；數據處理系統，可以在數據工廠遞交的大數據中尋找相互統計關聯，提取有效信息，最終應用於策略投資。

「其實百發100是在傳統量化投資技術上融合了基於互聯網大數據的市場走勢和投資情緒判斷。」業內人士概括道。

和傳統量化投資類似，百發100對樣本股的甄選要考慮財務因子、基本面因子和動量因子，包括凈資產收益率（ROE）、資產收益率（ROA）、每股收益增長率（EPS）、流動負債比率、企業價值倍數（EV/EBITDA）、凈利潤同比增長率、股權集中度、自由流通市值以及最近一個月的個股價格收益率和波動率等。

此外，市場走勢和投資情緒是在傳統量化策略基礎上的創新產物，也是百發100的核心競爭力。接近網路的人士稱，市場情緒因子對百發100基金起決定性作用。

網路金融中心相關負責人是羅伯特•席勒觀點的支持者。他認為，投資者行為和情緒對資產價格、市場走勢有著巨大的影響。因此「通過互聯網用戶行為大數據反映的投資市場情緒、宏觀經濟預期和走勢，成為百發100指數模型引入大數據因子的重點」。

傳統量化投資主要著眼點在於對專業化金融市場基本面和交易數據的應用。但在網路金融中心相關業務負責人看來，無論是來源於專業金融市場的結構化數據，還是來源於互聯網的非結構化數據，都是可以利用的數據資源。因此，前文所述的市場情緒數據，包括來源於互聯網的用戶行為、搜索量、市場輿情、宏觀基本面預期等等，都被網路「變廢為寶」，從而通過互聯網找到投資者參與特徵，選出投資者關注度較高的股票。

「與同期滬深300指數的表現相較，百發100更能在股票市場振盪時期、行業輪動劇烈時期、基本面不明朗時期抓住市場熱點、了解投資者情緒、抗擊投資波動風險。」網路金融中心相關負責人表示。

百發100選取的100隻樣本股更換頻率是一個月，調整時間為每月第三周的周五。

業內人士指出，百發100指數的月收益率與中證100、滬深300、中證500的相關性依次提升，說明其投資風格偏向中小盤。

但事實並非如此。從樣本股的構成來說，以某一期樣本股為例，樣本股總市值6700億元，佔A股市值4.7%。樣本股的構成上，中小板21隻，創業板4隻，其餘75隻樣本股均為大盤股。由此可見，百發100還是偏向大盤為主、反映主流市場走勢。

樣本股每個月的改變比例都不同，最極端的時候曾經有60%進行了換倉。用大數據預測熱點變化，市場熱點往往更迭很快；但同時也要考慮交易成本。兩方面考慮，網路最後測算認為一個月換一次倉位為最佳。

樣本股對百發100而言是核心機密——據說「全世界只有基金經理和指數編制機構負責人兩個人知道」——都是由機器決定後，基金經理分配給不同的交易員建倉買入。基金經理也沒有改變樣本股的權利。

展望未來，網路金融中心相關負責人躊躇滿志，「百發100指數及基金的推出，只是我們的開端和嘗試，未來將形成多樣化、系列投資產品。」

除了百發100，目前市場上打著大數據旗幟的基金還有2014年9月推出的南方-新浪I100和I300指數基金。

南方-新浪I100和I300是由南方基金、新浪財經和深圳證券信息公司三方聯合編制的。和百發100類似，也是按照財務因子和市場情緒因子進行模型打分，按照分值將前100和前300名股票構成樣本股。推出至今，這兩個指數基金分別上漲了10%左右。

正如百發100的市場情緒因子來自網路，南方-新浪I100和I300的市場情緒因子全部來自新浪平台。其中包括用戶在新浪財經對行情的訪問熱度、對股票的搜索熱度；用戶在新浪財經對股票相關新聞的瀏覽熱度；股票相關微博的多空分析數據等。

此外，阿里巴巴旗下的天弘基金也有意在大數據策略上做文章。據了解，天弘基金將和阿里巴巴合作，推出大數據基金產品，最早將於2015年初問世。

天弘基金機構產品部總經理劉燕曾對媒體表示，「在傳統的調研上，大數據將貢獻於基礎資產的研究，而以往過度依賴線下研究報告。大數據將視野拓展至了線上的數據分析，給基金經理選股帶來新的邏輯。」

在BAT三巨頭中，騰訊其實是最早推出指數基金的。騰訊與中證指數公司、濟安金信公司合作開發的「中證騰安價值100指數」早在2013年5月就發布了，號稱是國內第一家由互聯網媒體與專業機構編制發布的A股指數。不過，業內人士表示，有關指數並沒有真正應用大數據技術。雖然騰訊旗下的微信是目前最熱的社交平台，蘊藏了大量的社交數據，但騰訊未來怎麼開發，目前還並不清晰。

大數據投資平台化

中歐商學院副教授陳威如在其《平台戰略》一書中提到，21世紀將成為一道分水嶺，人類商業行為將全面普及平台模式，大數據金融也不例外。

然而，由於大數據模型對成本要求極高，就好比不可能每家公司都搭建自己的雲計算系統一樣，讓每家機構自己建設大數據模型，從數據來源和處理技術方面看都是不現實的。業內人士認為，大數據未來必將成為平台化的服務。

目前，阿里、網路等企業都表示下一步方向是平台化。

螞蟻金服所致力搭建的平台，一方麵包括招財寶一類的金融產品平台，另一方麵包括雲計算、大數據服務平台。螞蟻金服人士說，「我們很清楚自己的優勢不是金融，而是包括電商、雲計算、大數據等技術。螞蟻金服希望用這些技術搭建一個基礎平台，把這些能力開放出去，供金融機構使用。」

網路亦是如此。接近網路的人士稱，未來是否向平台化發展，目前還在討論中，但可以確定的是，「網路不是金融機構，目的不是發產品，百發100的意義在於打造影響力，而非經濟效益。」
當BAT還在摸索前行時，已有嗅覺靈敏者搶佔了先機，那就是通聯數據。

通聯數據股份公司（DataYes）由曾任博時基金副董事長肖風帶隊創建、萬向集團投資成立，總部位於上海，公司願景是「讓投資更容易，用金融服務雲平台提升投資管理效率和投研能力」。該平台7月上線公測，目前已擁有130多家機構客戶，逾萬名個人投資者。

通聯數據目前有四個主要平台，分別是通聯智能投資研究平台、通聯金融大數據服務平台、通聯多資產投資管理平台和金融移動辦公平台。

通聯智能投資研究平台包括雅典娜-智能事件研究、策略研究、智能研報三款產品，可以對基於自然語言的智能事件進行策略分析，實時跟蹤市場熱點，捕捉市場情緒。可以說，和百發100類似，其核心技術在於將互聯網非結構化數據的量化使用。

通聯金融大數據服務平台更側重於專業金融數據的分析整理。它可以提供公司基本面數據、國內外主要證券、期貨交易所的行情數據、公司公告數據、公關經濟、行業動態的結構化數據、金融新聞和輿情的非結構化數據等。

假如將上述兩個平台比作「收割機」，通聯多資產投資管理平台就是「廚房」。在這個「廚房」里，可以進行全球跨資產的投資組合管理方案、訂單管理方案、資產證券化定價分析方案等。

通聯數據可以按照主題熱點或者自定義關鍵字進行分析，構建知識圖譜，將相關的新聞和股票提取做成簡潔的分析框架。例如用戶對特斯拉感興趣，就可以通過主題熱點看到和特斯拉相關的公司，並判斷這個概念是否值得投資。「過去這個搜集過程要花費幾天時間，現在只需要幾分鍾就可以完成。」王政表示。

「通聯數據就好比一家餐館，我們把所有原料搜集來、清洗好、准備好，同時准備了一個鍋，也就是大數據存儲平台。研究員和基金經理像廚師一樣，用原料、工具去『烹制』自己的策略。」王政形容道。

大數據在平台上扮演的角色，就是尋找關聯關系。人類總是習慣首先構建因果關系，繼而去倒推和佐證。機器學習則不然，它可以在海量數據中查獲超越人類想像的關聯關系。正如維克托`邁爾-舍恩伯格在《大數據時代》中所提到的，社會需要放棄它對因果關系的渴求，而僅需關注相互關系。

例如，美國超市沃爾瑪通過大數據分析，發現颶風用品和蛋撻擺在一起可以提高銷量，並由此創造了頗大的經濟效益。如果沒有大數據技術，誰能將這毫無關聯的兩件商品聯系在一起？
通聯數據通過機器學習，也能找到傳統量化策略無法發現的市場聯系。其中包括各家公司之間的資本關系、產品關系、競爭關系、上下游關系，也包括人與人之間的關系，例如管理團隊和其他公司有沒有關聯，是否牽扯合作等。

未來量化研究員是否將成為一個被淘汰的職業？目前研究員的主要工作就是收集整理數據，變成投資決策，而之後這個工作將更多由機器完成。

「當初醫療科技發展時，人們也認為醫生會被淘汰，但其實並不會。同理，研究員也會一直存在，但他們會更注重深入分析和調研，初級的數據搜集可以交給機器完成。」王政表示。
但當未來大數據平台並廣泛應用後，是否會迅速擠壓套利空間？這也是一個問題。回答根據網上資料整理

『陸』 大數據可以應用在哪些方面

可以應用在雲計算方面。

大數據具體的應用：

1、洛杉磯警察局和加利福尼亞大學合作利用大數據預測犯罪的發生。

2、google流感趨勢(Google Flu Trends)利用搜索關鍵詞預測禽流感的散布。

3、統計學家內特.西爾弗(Nate Silver)利用大數據預測2012美國選舉結果。

4、麻省理工學院利用手機定位數據和交通數據建立城市規劃。

5、梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基於SAS的系統對多達7300萬種貨品進行實時調價。

6、醫療行業早就遇到了海量數據和非結構化數據的挑戰，而近年來很多國家都在積極推進醫療信息化發展，這使得很多醫療機構有資金來做大數據分析。

7、及時解析故障、問題和缺陷的根源，每年可能為企業節省數十億美元。

8、為成千上萬的快遞車輛規劃實時交通路線，躲避擁堵。

9、分析所有SKU，以利潤最大化為目標來定價和清理庫存。

10、根據客戶的購買習慣，為其推送他可能感興趣的優惠信息。

(6)大數據金融市場情緒分析擴展閱讀：

大數據的用處：

1、與雲計算的深度結合。大數據離不開雲處理，雲處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的平台之一。

自2013年開始，大數據技術已開始和雲計算技術緊密結合，預計未來兩者關系將更為密切。除此之外，物聯網、移動互聯網等新興計算形態，也將一齊助力大數據革命，讓大數據營銷發揮出更大的影響力。

2、科學理論的突破。隨著大數據的快速發展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。可能會改變數據世界裡的很多演算法和基礎理論，實現科學技術上的突破。

參考資料：

網路--大數據

『柒』 大數據時代來臨，銀行怎麼辦

大數據概念的興起似乎還是昨天的事，但托這個高速發展時代的福，我們已經可以看到很多成熟的大數據應用工具了。在很短的時間內，我們就能在茫茫的數據海洋中精確定位、分析，並拿到自己想要的結果。當然，這些技術的進步並非由銀行推動，大型零售商、網上商城和各種門類的技術公司才是大數據的主導者，只不過，經過他們的探索之後，大數據也為銀行打開了一扇精確營銷的大門。從長遠來看，銀行如能充分利用大數據的優勢，可以在市場細分、客戶服務、客戶研究、產品研發、產品測試等等方面取得重大進步，並在某種程度上徹底改變銀行服務客戶、銷售產品的方式和渠道。 當然，這一切的前提是銀行能找對切入大數據時代的方法和工具。對於銀行來說，以正確的數量模型和分析方式來契合銀行目前的業務需求，是合理利用大數據，達成更多經濟回報的關鍵。其他行業的經驗已經證明，大數據固然好，但如果不能對數據進行有效篩選和正確利用，最後只會賠了夫人又折兵。尤其銀行是一個比較特殊且敏感的行業，在全局層面徹底進行所謂大數據革命是不實際的，正確的做法是從小的具體業務和關鍵節點入手，以能被銀行現有管理架構和外部監管機制接受的方式，逐步將大數據納入銀行的經營體系中來。 舉例來說，當前銀行業普遍在為兩件事頭疼：留住客戶、滿足客戶的期待。對於這兩個難題，大數據機制下的情緒分析和行為預測可以發揮意想不到的作用。 分析客戶情緒 傳統的客戶意見收集及調查方式往往以一個組別為單位，通過對於部分群體客戶的調查和研究，銀行可以得到客戶方方面面的情況。隨著時代的進步，這樣的方式在獲得客戶金融消費的最新趨勢、挖掘客戶隱藏的需求等方面已不太管用。最為致命的一點是，這樣的客戶信息、數據收集方式往往耗時較長，花費更多，但最終得出的結果又往往無法應對客戶實時產生的需求變化。 所謂情緒分析，是指收集客戶在包括社交網路在內的網路平台上的言論和活動，不僅包括他自己的部分，還包括他最近關聯到的其他好友，由此得到的數據，經過一套科學設計過的計算、分析系統，得出某個具體客戶近期的情緒走向，為預測客戶行動、幫助銀行指定具體的應對措施提供幫助。 在這里，「情緒」並不簡單代表客戶的情感變化，還包括客戶的態度立場、情感傾向等等。這在以往的調查分析工具中，是極難把握的東西，但在這個自媒體時代，這樣的信息散布在網路上，極易獲取、分析。而且抓取、分析這些數據的方法已經相當成熟，從宅在家裡的技術男，到正經嚴肅的學院派，大家都在推出這樣的工具。銀行只需要選擇一個比較穩定的技術供應商，並將結果實時反饋、整合到自己的系統中來，就能在第一時間確定客戶對於銀行的產品、服務、定價或政策調整的反應，並採取合適的方式應對。如果客戶的反應對銀行有利，銀行可以及時介入，對客戶的情緒加以引導，以實現更好的服務和銷售；如果客戶對銀行表露出不太好的情感，銀行也能及時發覺並積極處理，進一步提升客戶的服務體驗。 下面舉出幾個銀行必須及時關注的客戶表態例子： 「XXX銀行在小微業務上的確很好用，但缺乏合適的當天到賬服務就太那啥了！」 「XX銀行的網上查閱賬戶余額功能的確設計得不錯，但客戶服務的一些細節真的有待改善。」 以普通人的角度，這不過是兩句簡單的客戶意見表達而已。但在情緒分析工具的幫助下，通過對於「好用」、「缺乏」、「改善」等關鍵詞彙的識別與統計，以及對於上下文意思的了解，就可以形成一張完整的客戶情緒變化表，將更多的客戶情緒變化匯集到一起，就可以形成一份頗具價值的報告（所謂輿情監控就是這類報告的簡單形態）。通過這些報告，銀行可以知道自己在客戶心中真實的反饋，並知道客戶最需要銀行在哪些方面做出改變。也就是說，銀行可以得知客戶的「心願單」，並將此納入自己的產品、服務革新計劃當中，逐一予以滿足。 對於銀行來說，客戶情緒分析最有用的一點是幫助銀行更有效率地回饋客戶。我們都組織過各種客戶回饋活動，但又不知究竟應當挑選哪些客戶進行回饋、哪些客戶經過我們的維護可以促成更多的交易——大部分時候，銀行只是完成既定的任務，將禮品派送出去就完事，以為這樣就能在激烈的競爭中留住自己的目標客戶。而現在，銀行可以在客戶情緒分析工具的幫助下更有選擇的進行類似的活動。例如，近期要做一個針對產品的活動，就以產品為關鍵詞，對當前的客戶情緒進行研判，得出主流客戶群體對於我們產品的態度，再依照態度的不同來選擇不同的活動策略和活動力度。這樣不僅能幫銀行節約成本、提高效率，最為重要的是，這也是維持現有客戶忠誠度，並盡可能多地吸收目標客戶的有效方式。 當然，批評者會說，目前雖然有大量的客戶情緒分析工具，但這些工具的可行性與分析結果的真實性一直都存在疑問。已經有一些銀行依照這些工具的幫助進行了一些實驗，效果並未如想像中理想。那麼，銀行應當怎麼應對這種尚處在完善過程當中的新興事物呢？我們的態度很明確：雖然這還是一個有待完善的工具，但大數據的整體趨勢是不容置疑的。當銀行等到一切都齊備完善到不會出錯時，其實就已經落後於時代的腳步了。要想成為行業的領軍者，就必須承受創新可能帶來的負面效應。 預測客戶行為 比分析客戶情緒更大的挑戰是預測客戶行為。關於大數據如何應用於預測客戶行為最早最著名的例子，來自美國第二大超市塔吉特百貨。明尼蘇達州一家塔吉特門店曾被客戶投訴，一位中年男子指控塔吉特將嬰兒產品優惠券寄給他的女兒——一個高中生。但沒多久他卻來電道歉，因為女兒經他逼問後坦承自己真的懷孕了。塔吉特百貨就是靠著分析用戶所有的購物數據，然後通過相關關系分析得出事情的真實狀況。 對於銀行來說，正確地預計消費者的需求，並及時組織好可匹配的產品與服務響應客戶的需求還是一件比較難完成的任務。這需要大量歷史數據的儲存與分析，還需要有應對各種行為可能的預測機制（不同的行為意味著不同的演算法），才能實現塔吉特百貨那樣「料事如神」的效果。令人頭疼的是，零售銀行所需的數據關聯性與零售商業的數據存在著一定的差異，因此需要針對銀行產品和服務的特點進行重新設計。只要銀行能解決這樣的問題，並把分析的結果實時、具象的體現在前端營銷人員的電腦、手機里，就能幫銀行解決很多眼下頭疼的問題。在全局層面上，這樣的預測機制也能幫銀行少走很多彎路，避免不必要的資源浪費。 銀行可以根據客戶以往的消費記錄，尤其是與金融產品直接相關的消費記錄，以及目前所持有的銀行產品的使用情況建立數據收集模型，通過一定時間的數據收集和分析之後，便能為銀行下一步的產品策劃與營銷提供翔實的數據參考。在此基礎上，諸如交叉銷售、深度挖潛、提升單個客戶貢獻度、保持客戶忠誠度等等業績或營銷目標都能更輕松的完成。當你知道客戶的情緒變化，還知道客戶可能的購買需求，只要你能以合適的方式將客戶所需要的東西及時遞上，客戶自然會樂意接受。 以合適的方式來發揮大數據的效用非常重要。大數據可能帶來的一個負面效應就是客戶隱私的被侵犯，前面提到的塔吉特百貨就是一個例子。在這個事件之後，塔吉特百貨調整了自己寄送優惠廣告的方式：當發現某位客戶可能懷孕之後，塔吉特百貨還是會寄送一份包含孕婦所需產品的小冊子到她手上，只不過通過視覺排版、其他品類產品交叉排列等等方式，在不引發客戶那種「被窺視」的反感的前提下，實現了產品的精準推薦。最終，在大數據的幫助下，2002年到2010年間，塔吉特百貨的銷售額從440億美元增長到了670億美元。 值得一提的是，大數據應用還能幫助銀行實現有效的風控。國外已經有一些金融機構利用大數據來幫助金融產品交易、信用卡消費等方面的風控。尤其是在信用卡、無抵押貸款等產品上，通過大數據建立的模型，銀行能准確的知曉某個客戶的生活和消費情況，從而選擇是不是要發放卡片/貸款給他，或者要不要給他提升額度、延遲還款期。一旦某個客戶出現異常行為，銀行也能在最短的時間內知曉，並採取相應的措施防止風險案件的發生。 總之，雖然還不夠完善，但大數據擁有無可限量的未來。

『捌』 大數據分析與金融有哪些結合點

在銀行業的應用主要表現在兩個方面：一是信貸風險評估。以往銀行對企業客戶的違約風險評估多基於過往的信貸數據和交易數據等靜態數據，內外部數據資源整合後的大數據可提供前瞻性預測。二是供應鏈金融。

利用大數據技術，銀行可以根據企業之間的投資、控股、借貸、擔保及股東和法人之間的關系，形成企業之間的關系圖譜，利於企業分析及風險控制。

在證券行業的應用主要表現為：一是股市行情預測。大數據可以有效拓寬證券企業量化投資數據維度，幫助企業更精準地了解市場行情，通過構建更多元的量化因子，投研模型會更加完善。

二是股價預測。大數據技術通過收集並分析社交網路如微博、朋友圈、專業論壇等渠道上的結構化和非結構化數據，形成市場主觀判斷因素和投資者情緒打分，從而量化股價中人為因素的變化預期。三是智能投資顧問。

智能投資顧問業務提供線上投資顧問服務，其基於客戶的風險偏好、交易行為等個性化數據，依靠大數據量化模型，為客戶提供低門檻、低費率的個性化財富管理方案。

在互聯網金融行業的應用，一是精準營銷。大數據通過用戶多維度畫像，對客戶偏好進行分類篩選，從而達到精準營銷的目的。二是消費信貸。基於大數據的自動評分模型、自動審批系統和催收系統可降低消費信貸業務違約風險。

『玖』 如何用大數據分析金融數據

任何數據分析的前提是首先要理解業務模型，從你的金融數據是怎麼產內生的，包括哪些容指標哪些數據，你的分析是要為什麼業務服務的，也就是你的目的。比如你分析金融數據的目的是要找出最有價值的金融產品，還是最有價值的客戶，還是尋找最有效的成本節約途徑等

在弄清楚你的分析目的，和理解清楚你的業務模式等之後，再考慮你需要採用哪些數據，採用什麼方法來進行分析，這才涉及到如何進行具體的分析過程。

從整個大數據分析來看，前期的業務理解和數據整理大概要耗費一大半的精力和時間，弄清楚前期，後期的分析則會很快。