投资大数据网

『壹』 如何用大数据炒股

我们如今生活在一个数据爆炸的世界里。网络每天响应超过60亿次的搜索请求，日处理数据超过100PB，相当于6000多座中国国家图书馆的书籍信息量总和。新浪微博每天都会发布上亿条微博。在荒无人烟的郊外，暗藏着无数大公司的信息存储中心，24小时夜以继日地运转着。
克托·迈尔-舍恩伯格在《大数据时代》一书中认为，大数据的核心就是预测，即只要数据丰富到一定程度，就可预测事情发生的可能性。例如，“从一个人乱穿马路时行进的轨迹和速度来看他能及时穿过马路的可能性”，或者通过一个人穿过马路的速度，预测车子何时应该减速从而让他及时穿过马路。

那么，如果把这种预测能力应用在股票投资上，又会如何？

目前，美国已经有许多对冲基金采用大数据技术进行投资，并且收获甚丰。中国的中证广发网络百发100指数基金（下称百发100），上线四个多月以来已上涨68%。

和传统量化投资类似，大数据投资也是依靠模型，但模型里的数据变量几何倍地增加了，在原有的金融结构化数据基础上，增加了社交言论、地理信息、卫星监测等非结构化数据，并且将这些非结构化数据进行量化，从而让模型可以吸收。

由于大数据模型对成本要求极高，业内人士认为，大数据将成为共享平台化的服务，数据和技术相当于食材和锅，基金经理和分析师可以通过平台制作自己的策略。

量化非结构数据

不要小看大数据的本领，正是这项刚刚兴起的技术已经创造了无数“未卜先知”的奇迹。

2014年，网络用大数据技术预测命中了全国18卷中12卷高考作文题目，被网友称为“神预测”。网络公司人士表示，在这个大数据池中，包含互联网积累的用户数据、历年的命题数据以及教育机构对出题方向作出的判断。

在2014年巴西世界杯比赛中，Google亦通过大数据技术成功预测了16强和8强名单。

从当年英格兰报社的信鸽、费城股票交易所的信号灯到报纸电话，再到如今的互联网、云计算、大数据，前沿技术迅速在投资领域落地。在股票策略中，大数据日益崭露头角。

做股票投资策略，需要的大数据可以分为结构化数据和非结构化数据。结构化数据，简单说就是“一堆数字”，通常包括传统量化分析中常用的CPI、PMI、市值、交易量等专业信息；非结构化数据就是社交文字、地理位置、用户行为等“还没有进行量化的信息”。

量化非结构化就是用深度模型替代简单线性模型的过程，其中所涉及的技术包括自然语言处理、语音识别、图像识别等。

金融大数据平台-通联数据CEO王政表示，通联数据采用的非结构化数据可以分为三类：第一类和人相关，包括社交言论、消费、去过的地点等；第二类与物相关，如通过正在行驶的船只和货车判断物联网情况；第三类则是卫星监测的环境信息，包括汽车流、港口装载量、新的建筑开工等情况。

卫星监测信息在美国已被投入使用，2014年Google斥资5亿美元收购了卫星公司Skybox，从而可以获得实施卫星监测信息。

结构化和非结构化数据也常常相互转化。“结构化和非结构化数据可以形象理解成把所有数据装在一个篮子里，根据应用策略不同相互转化。例如，在搜索频率调查中，用户搜索就是结构化数据；在金融策略分析中，用户搜索就是非结构化数据。”网络公司人士表示。

华尔街拿着丰厚薪水的分析师们还不知道，自己的雇主已经将大量资本投向了取代自己的机器。
2014年11月23日，高盛向Kensho公司投资1500万美元，以支持该公司的大数据平台建设。该平台很像iPhone里的Siri，可以快速整合海量数据进行分析，并且回答投资者提出的各种金融问题，例如“下月有飓风，将对美国建材板块造成什么影响？”

在Kensho处理的信息中，有80%是“非结构化”数据，例如政策文件、自然事件、地理环境、科技创新等。这类信息通常是电脑和模型难以消化的。因此，Kensho的CEO Daniel Nadler认为，华尔街过去是基于20%的信息做出100%的决策。

既然说到高盛，顺便提一下，这家华尔街老牌投行如今对大数据可谓青睐有加。除了Kensho，高盛还和Fortress信贷集团在两年前投资了8000万美元给小额融资平台On Deck Capital。这家公司的核心竞争力也是大数据，它利用大数据对中小企业进行分析，从而选出值得投资的企业并以很快的速度为之提供短期贷款。

捕捉市场情绪

上述诸多非结构化数据，归根结底是为了获得一个信息：市场情绪。

在采访中，2013年诺贝尔经济学奖得主罗伯特•席勒的观点被无数采访对象引述。可以说，大数据策略投资的创业者们无一不是席勒的信奉者。

席勒于上世纪80年代设计的投资模型至今仍被业内称道。在他的模型中，主要参考三个变量：投资项目计划的现金流、公司资本的估算成本、股票市场对投资的反应（市场情绪）。他认为，市场本身带有主观判断因素，投资者情绪会影响投资行为，而投资行为直接影响资产价格。
然而，在大数据技术诞生之前，市场情绪始终无法进行量化。

回顾人类股票投资发展史，其实就是将影响股价的因子不断量化的过程。

上世纪70年代以前，股票投资是一种定性的分析，没有数据应用，而是一门主观的艺术。随着电脑的普及，很多人开始研究驱动股价变化的规律，把传统基本面研究方法用模型代替，市盈率、市净率的概念诞生，量化投资由此兴起。

量化投资技术的兴起也带动了一批华尔街大鳄的诞生。例如，巴克莱全球投资者（BGI）在上世纪70年代就以其超越同行的电脑模型成为全球最大的基金管理公司；进入80年代，另一家基金公司文艺复兴（Renaissance）年均回报率在扣除管理费和投资收益分成等费用后仍高达34%，堪称当时最佳的对冲基金，之后十多年该基金资产亦十分稳定。

“从主观判断到量化投资，是从艺术转为科学的过程。”王政表示，上世纪70年代以前一个基本面研究员只能关注20只到50只股票，覆盖面很有限。有了量化模型就可以覆盖所有股票，这就是一个大的飞跃。此外，随着计算机处理能力的发展，信息的用量也有一个飞跃变化。过去看三个指标就够了，现在看的指标越来越多，做出的预测越来越准确。

随着21世纪的到来，量化投资又遇到了新的瓶颈，就是同质化竞争。各家机构的量化模型越来越趋同，导致投资结果同涨同跌。“能否在看到报表数据之前，用更大的数据寻找规律？”这是大数据策略创业者们试图解决的问题。

于是，量化投资的多米诺骨牌终于触碰到了席勒理论的第三层变量——市场情绪。

计算机通过分析新闻、研究报告、社交信息、搜索行为等，借助自然语言处理方法，提取有用的信息；而借助机器学习智能分析，过去量化投资只能覆盖几十个策略，大数据投资则可以覆盖成千上万个策略。

基于互联网搜索数据和社交行为的经济预测研究，已逐渐成为一个新的学术热点，并在经济、社会以及健康等领域的研究中取得了一定成果。在资本市场应用上，研究发现搜索数据可有效预测未来股市活跃度（以交易量指标衡量）及股价走势的变化。

海外就有学术研究指出，公司的名称或者相关关键词的搜索量，与该公司的股票交易量正相关。德国科学家Tobias Preis就进行了如此研究：Tobias利用谷歌搜索引擎和谷歌趋势（Google Trends），以美国标普500指数的500只股票为其样本，以2004年至2010年为观察区间，发现谷歌趋势数据的公司名称搜索量和对应股票的交易量，在每周一次的时间尺度上有高度关联性。也就是说，当某个公司名称在谷歌的搜索量活动增加时，无论股票的价格是上涨或者下跌，股票成交量与搜索量增加；反之亦然，搜索量下降，股票成交量下降。以标普500指数的样本股为基础，依据上述策略构建的模拟投资组合在六年的时间内获得了高达329%的累计收益。

在美国市场上，还有多家私募对冲基金利用Twitter和Facebook的社交数据作为反映投资者情绪和市场趋势的因子，构建对冲投资策略。利用互联网大数据进行投资策略和工具的开发已经成为世界金融投资领域的新热点。

保罗·霍丁管理的对冲基金Derwent成立于2011年5月，注册在开曼群岛，初始规模约为4000万美元， 2013年投资收益高达23.77%。该基金的投资标的包括流动性较好的股票及股票指数产品。
通联数据董事长肖风在《投资革命》中写道，Derwent的投资策略是通过实时跟踪Twitter用户的情绪，以此感知市场参与者的“贪婪与恐惧”，从而判断市场涨跌来获利。

在Derwent的网页上可以看到这样一句话：“用实时的社交媒体解码暗藏的交易机会。”保罗·霍丁在基金宣传册中表示：“多年以来，投资者已经普遍接受一种观点，即恐惧和贪婪是金融市场的驱动力。但是以前人们没有技术或数据来对人类情感进行量化。这是第四维。Derwent就是要通过即时关注Twitter中的公众情绪，指导投资。”

另一家位于美国加州的对冲基金MarketPsych与汤普森·路透合作提供了分布在119个国家不低于18864项独立指数，比如每分钟更新的心情状态（包括乐观、忧郁、快乐、害怕、生气，甚至还包括创新、诉讼及冲突情况等），而这些指数都是通过分析Twitter的数据文本，作为股市投资的信号。

此类基金还在不断涌现。金融危机后，几个台湾年轻人在波士顿组建了一家名为FlyBerry的对冲基金，口号是“Modeling the World（把世界建模）”。它的投资理念全部依托大数据技术，通过监测市场舆论和行为，对投资做出秒速判断。

关于社交媒体信息的量化应用，在股票投资之外的领域也很常见：Twitter自己也十分注重信息的开发挖掘，它与DataSift和Gnip两家公司达成了一项出售数据访问权限的协议，销售人们的想法、情绪和沟通数据，从而作为顾客的反馈意见汇总后对商业营销活动的效果进行判断。从事类似工作的公司还有DMetics，它通过对人们的购物行为进行分析，寻找影响消费者最终选择的细微原因。

回到股票世界，利用社交媒体信息做投资的公司还有StockTwits。打开这家网站，首先映入眼帘的宣传语是“看看投资者和交易员此刻正如何讨论你的股票”。正如其名，这家网站相当于“股票界的Twitter”，主要面向分析师、媒体和投资者。它通过机器和人工相结合的手段，将关于股票和市场的信息整理为140字以内的短消息供用户参考。

此外，StockTwits还整合了社交功能，并作为插件可以嵌入Twitter、Facebook和LinkedIn等主要社交平台，让人们可以轻易分享投资信息。

另一家公司Market Prophit也很有趣。这家网站的宣传语是“从社交媒体噪音中提炼市场信号”。和StockTwits相比，Market Prophit更加注重大数据的应用。它采用了先进的语义分析法，可以将Twitter里的金融对话量化为“-1（极度看空）”到“1（极度看多）”之间的投资建议。网站还根据语义量化，每天公布前十名和后十名的股票热度榜单。网站还设计了“热度地图”功能，根据投资者情绪和意见，按照不同板块，将板块内的个股按照颜色深浅进行标注，谁涨谁跌一目了然。

中国原创大数据指数

尽管大数据策略投资在美国貌似炙手可热，但事实上，其应用尚仅限于中小型对冲基金和创业平台公司。大数据策略投资第一次被大规模应用，应归于中国的百发100。

网络金融中心相关负责人表示，与欧美等成熟资本市场主要由理性机构投资者构成相比，东亚尤其是中国的股票类证券投资市场仍以散户为主，因此市场受投资者情绪和宏观政策性因素影响很大。而个人投资者行为可以更多地反映在互联网用户行为大数据上，从而为有效地预测市场情绪和趋势提供了可能。这也就是中国国内公募基金在应用互联网大数据投资方面比海外市场并不落后、甚至领先的原因。

百发100指数由网络、中证指数公司、广发基金联合研发推出，于2014年7月8日正式对市场发布，实盘运行以来一路上涨，涨幅超过60%。跟踪该指数的指数基金规模上限为30亿份，2014年9月17日正式获批，10月20日发行时一度创下26小时疯卖18亿份的“神话”。

外界都知道百发100是依托大数据的指数基金，但其背后的细节鲜为人知。

百发100数据层面的分析分为两个层面，即数据工厂的数据归集和数据处理系统的数据分析。其中数据工厂负责大数据的收集分析，例如将来源于互联网的非结构化数据进行指标化、产品化等数据量化过程；数据处理系统，可以在数据工厂递交的大数据中寻找相互统计关联，提取有效信息，最终应用于策略投资。

“其实百发100是在传统量化投资技术上融合了基于互联网大数据的市场走势和投资情绪判断。”业内人士概括道。

和传统量化投资类似，百发100对样本股的甄选要考虑财务因子、基本面因子和动量因子，包括净资产收益率（ROE）、资产收益率（ROA）、每股收益增长率（EPS）、流动负债比率、企业价值倍数（EV/EBITDA）、净利润同比增长率、股权集中度、自由流通市值以及最近一个月的个股价格收益率和波动率等。

此外，市场走势和投资情绪是在传统量化策略基础上的创新产物，也是百发100的核心竞争力。接近网络的人士称，市场情绪因子对百发100基金起决定性作用。

网络金融中心相关负责人是罗伯特•席勒观点的支持者。他认为，投资者行为和情绪对资产价格、市场走势有着巨大的影响。因此“通过互联网用户行为大数据反映的投资市场情绪、宏观经济预期和走势，成为百发100指数模型引入大数据因子的重点”。

传统量化投资主要着眼点在于对专业化金融市场基本面和交易数据的应用。但在网络金融中心相关业务负责人看来，无论是来源于专业金融市场的结构化数据，还是来源于互联网的非结构化数据，都是可以利用的数据资源。因此，前文所述的市场情绪数据，包括来源于互联网的用户行为、搜索量、市场舆情、宏观基本面预期等等，都被网络“变废为宝”，从而通过互联网找到投资者参与特征，选出投资者关注度较高的股票。

“与同期沪深300指数的表现相较，百发100更能在股票市场振荡时期、行业轮动剧烈时期、基本面不明朗时期抓住市场热点、了解投资者情绪、抗击投资波动风险。”网络金融中心相关负责人表示。

百发100选取的100只样本股更换频率是一个月，调整时间为每月第三周的周五。

业内人士指出，百发100指数的月收益率与中证100、沪深300、中证500的相关性依次提升，说明其投资风格偏向中小盘。

但事实并非如此。从样本股的构成来说，以某一期样本股为例，样本股总市值6700亿元，占A股市值4.7%。样本股的构成上，中小板21只，创业板4只，其余75只样本股均为大盘股。由此可见，百发100还是偏向大盘为主、反映主流市场走势。

样本股每个月的改变比例都不同，最极端的时候曾经有60%进行了换仓。用大数据预测热点变化，市场热点往往更迭很快；但同时也要考虑交易成本。两方面考虑，网络最后测算认为一个月换一次仓位为最佳。

样本股对百发100而言是核心机密——据说“全世界只有基金经理和指数编制机构负责人两个人知道”——都是由机器决定后，基金经理分配给不同的交易员建仓买入。基金经理也没有改变样本股的权利。

展望未来，网络金融中心相关负责人踌躇满志，“百发100指数及基金的推出，只是我们的开端和尝试，未来将形成多样化、系列投资产品。”

除了百发100，目前市场上打着大数据旗帜的基金还有2014年9月推出的南方-新浪I100和I300指数基金。

南方-新浪I100和I300是由南方基金、新浪财经和深圳证券信息公司三方联合编制的。和百发100类似，也是按照财务因子和市场情绪因子进行模型打分，按照分值将前100和前300名股票构成样本股。推出至今，这两个指数基金分别上涨了10%左右。

正如百发100的市场情绪因子来自网络，南方-新浪I100和I300的市场情绪因子全部来自新浪平台。其中包括用户在新浪财经对行情的访问热度、对股票的搜索热度；用户在新浪财经对股票相关新闻的浏览热度；股票相关微博的多空分析数据等。

此外，阿里巴巴旗下的天弘基金也有意在大数据策略上做文章。据了解，天弘基金将和阿里巴巴合作，推出大数据基金产品，最早将于2015年初问世。

天弘基金机构产品部总经理刘燕曾对媒体表示，“在传统的调研上，大数据将贡献于基础资产的研究，而以往过度依赖线下研究报告。大数据将视野拓展至了线上的数据分析，给基金经理选股带来新的逻辑。”

在BAT三巨头中，腾讯其实是最早推出指数基金的。腾讯与中证指数公司、济安金信公司合作开发的“中证腾安价值100指数”早在2013年5月就发布了，号称是国内第一家由互联网媒体与专业机构编制发布的A股指数。不过，业内人士表示，有关指数并没有真正应用大数据技术。虽然腾讯旗下的微信是目前最热的社交平台，蕴藏了大量的社交数据，但腾讯未来怎么开发，目前还并不清晰。

大数据投资平台化

中欧商学院副教授陈威如在其《平台战略》一书中提到，21世纪将成为一道分水岭，人类商业行为将全面普及平台模式，大数据金融也不例外。

然而，由于大数据模型对成本要求极高，就好比不可能每家公司都搭建自己的云计算系统一样，让每家机构自己建设大数据模型，从数据来源和处理技术方面看都是不现实的。业内人士认为，大数据未来必将成为平台化的服务。

目前，阿里、网络等企业都表示下一步方向是平台化。

蚂蚁金服所致力搭建的平台，一方面包括招财宝一类的金融产品平台，另一方面包括云计算、大数据服务平台。蚂蚁金服人士说，“我们很清楚自己的优势不是金融，而是包括电商、云计算、大数据等技术。蚂蚁金服希望用这些技术搭建一个基础平台，把这些能力开放出去，供金融机构使用。”

网络亦是如此。接近网络的人士称，未来是否向平台化发展，目前还在讨论中，但可以确定的是，“网络不是金融机构，目的不是发产品，百发100的意义在于打造影响力，而非经济效益。”
当BAT还在摸索前行时，已有嗅觉灵敏者抢占了先机，那就是通联数据。

通联数据股份公司（DataYes）由曾任博时基金副董事长肖风带队创建、万向集团投资成立，总部位于上海，公司愿景是“让投资更容易，用金融服务云平台提升投资管理效率和投研能力”。该平台7月上线公测，目前已拥有130多家机构客户，逾万名个人投资者。

通联数据目前有四个主要平台，分别是通联智能投资研究平台、通联金融大数据服务平台、通联多资产投资管理平台和金融移动办公平台。

通联智能投资研究平台包括雅典娜-智能事件研究、策略研究、智能研报三款产品，可以对基于自然语言的智能事件进行策略分析，实时跟踪市场热点，捕捉市场情绪。可以说，和百发100类似，其核心技术在于将互联网非结构化数据的量化使用。

通联金融大数据服务平台更侧重于专业金融数据的分析整理。它可以提供公司基本面数据、国内外主要证券、期货交易所的行情数据、公司公告数据、公关经济、行业动态的结构化数据、金融新闻和舆情的非结构化数据等。

假如将上述两个平台比作“收割机”，通联多资产投资管理平台就是“厨房”。在这个“厨房”里，可以进行全球跨资产的投资组合管理方案、订单管理方案、资产证券化定价分析方案等。

通联数据可以按照主题热点或者自定义关键字进行分析，构建知识图谱，将相关的新闻和股票提取做成简洁的分析框架。例如用户对特斯拉感兴趣，就可以通过主题热点看到和特斯拉相关的公司，并判断这个概念是否值得投资。“过去这个搜集过程要花费几天时间，现在只需要几分钟就可以完成。”王政表示。

“通联数据就好比一家餐馆，我们把所有原料搜集来、清洗好、准备好，同时准备了一个锅，也就是大数据存储平台。研究员和基金经理像厨师一样，用原料、工具去‘烹制’自己的策略。”王政形容道。

大数据在平台上扮演的角色，就是寻找关联关系。人类总是习惯首先构建因果关系，继而去倒推和佐证。机器学习则不然，它可以在海量数据中查获超越人类想象的关联关系。正如维克托`迈尔-舍恩伯格在《大数据时代》中所提到的，社会需要放弃它对因果关系的渴求，而仅需关注相互关系。

例如，美国超市沃尔玛通过大数据分析，发现飓风用品和蛋挞摆在一起可以提高销量，并由此创造了颇大的经济效益。如果没有大数据技术，谁能将这毫无关联的两件商品联系在一起？
通联数据通过机器学习，也能找到传统量化策略无法发现的市场联系。其中包括各家公司之间的资本关系、产品关系、竞争关系、上下游关系，也包括人与人之间的关系，例如管理团队和其他公司有没有关联，是否牵扯合作等。

未来量化研究员是否将成为一个被淘汰的职业？目前研究员的主要工作就是收集整理数据，变成投资决策，而之后这个工作将更多由机器完成。

“当初医疗科技发展时，人们也认为医生会被淘汰，但其实并不会。同理，研究员也会一直存在，但他们会更注重深入分析和调研，初级的数据搜集可以交给机器完成。”王政表示。
但当未来大数据平台并广泛应用后，是否会迅速挤压套利空间？这也是一个问题。回答根据网上资料整理

『贰』 大数据信息安全分析

大数据信息安全分析
企业和其他组织一直在充满敌意的信息安全环境中运行，在这个环境中，计算和存储资源成为攻击者使用入侵系统进行恶意攻击的目标。其中，个人机密信息被窃取，然后被放在地下市场出售，而国家支持的攻击导致大量数据泄露。在这种情况下，一个企业需要部署大数据安全性分析工具
来保护有价值的公司资源。
信息安全的很大一部分工作是监控和分析服务器、网络和其他设备上的数据。如今大数据分析方面的进步也已经应用于安防监控中，并且它们可被用于实现更广泛和更深入的分析。它们与传统的信息安全分析存在显著的差异，本文将从两个方面分别介绍大数据安全分析的新的特点，以及企业在选择大数据分析技术时需要考虑的关键因素。
大数据安全分析的特征
在许多方面，大数据安全分析是[安全信息和事件管理security information and event management ，SIEM)及相关技术的延伸。虽然只是在分析的数据量和数据类型方面存在量的差异，但对从安全设备和应用程序提取到的信息类型来说，却导致了质的差异。
大数据安全分析工具通常包括两种功能类别：SIEM，以及性能和可用性监控(PAM)。SIEM工具通常包括日志管理、事件管理和行为分析，以及数据库和应用程序监控。而PAM工具专注于运行管理。然而，大数据分析工具比纯粹地将SIEM和PAM工具放在一起要拥有更多的功能;它们的目的是实时地收集、整合和分析大规模的数据，这需要一些额外的功能。
与SIEM一样，大数据分析工具具有在网络上准确发现设备的能力。在一些情况下，一个配置管理数据库可以补充和提高自动收集到的数据的质量。此外，大数据分析工具还必须能够与LDAP或ActiveDirectory服务器，以及其他的第三方安全工具进行集成。对事件响应工作流程的支持对于SIEM工具可能并不是非常重要，但是当日志和其他来源的安全事件数据的的数据量非常大时，这项功能就必不可少了。
大数据信息安全分析与其他领域的安全分析的区别主要表现在五个主要特征。
主要特性1：可扩展性
大数据分析其中的一个主要特点是可伸缩性。这些平台必须拥有实时或接近实时的数据收集能力。网络流通是一个不间断的数据包流，数据分析的速度必须要和数据获取的速度一样快。 该分析工具不可能让网络流通暂停来赶上积压的需要分析的数据包。
大数据的安全分析不只是用一种无状态的方式检查数据包或进行深度数据包分析，对这个问题的理解是非常重要的。虽然这些都是非常重要和必要的，但是具备跨越时间和空间的事件关联能力是大数据分析平台的关键。这意味着只需要一段很短的时间，一个设备(比如web服务器)上记录的事件流，可以明显地与一个终端用户设备上的事件相对应。
主要特性2：报告和可视化
大数据分析的另一个重要功能是对分析的报告和支持。安全专家早就通过报表工具来支持业务和合规性报告。他们也有通过带预配置安全指标的仪表板来提供关键性能指标的高层次概述。虽然现有的这两种工具是必要的，但不足以满足大数据的需求。
对安全分析师来说，要求可视化工具通过稳定和快速的识别方式将大数据中获得的信息呈现出来。例如，Sqrrl使用可视化技术，能够帮助分析师了解相互连接的数据(如网站，用户和HTTP交易信息)中的复杂关系。
主要特性3：持久的大数据存储
大数据安全分析名字的由来，是因为区别于其他安全工具，它提供了突出的存储和分析能力。大数据安全分析的平台通常采用大数据存储系统，例如Hadoop分布式文件系统(HDFS)和更长的延迟档案储存，以及后端处理，以及一个行之有效的批处理计算模型MapRece。但是MapRece并不一定是非常有效的，它需要非常密集的I / O支出。一个流行工具Apache Spark可以作为MapRece的替代，它是一个更广义的处理模型，相比MapRece能更有效地利用内存。
大数据分析系统，如MapRece和Spark，解决了安全分析的计算需求。同时，长时持久存储通常还取决于关系或NoSQL数据库。例如，SplunkHunk平台支持在Hadoop和NoSQL数据库之上的分析和可视化。该平台位于一个组织的非关系型数据存储与应用环境的其余部分之间。Hunk应用直接集成了数据存储，不需要被转移到二级内存存储。Hunk平台包括用于分析大数据的一系列工具。它支持自定义的仪表板和Hunk应用程序开发，它可以直接构建在一个HDFS环境，以及自适应搜索和可视化工具之上。
大数据安全分析平台的另一个重要特点是智能反馈，在那里建立了漏洞数据库以及安全性博客和其他新闻来源，潜在的有用信息能够被持续更新。大数据安全平台可从多种来源提取数据，能够以它们自定义的数据收集方法复制威胁通知和关联信息。
主要特性4：信息环境
由于安全事件产生这么多的数据，就给分析师和其他信息安全专业人员带来了巨大的风险，限制了他们辨别关键事件的能力。有用的大数据安全分析工具都在特定用户、设备和时间的环境下分析数据。
没有这种背景的数据是没什么用的，并且会导致更高的误报率。背景信息还改善了行为分析和异常检测的质量。背景信息可以包括相对静态的信息，例如一个特定的雇员在特定部门工作。它还可以包括更多的动态信息，例如，可能会随着时间而改变的典型使用模式。例如，周一早晨有大量对数据仓库的访问数据是很正常的，因为管理者需要进行一些临时查询，以便更好地了解周报中描述的事件。
主要特性5：功能广泛性
大数据安全分析的最后一个显著特征是它的功能涵盖了非常广泛的安全领域。当然，大数据分析将收集来自终端设备的数据，可能是通过因特网连接到TCP或IP网络的任何设备，包括笔记本电脑、智能手机或任何物联网设备。除了物理设备和虚拟服务器，大数据安全分析必须加入与软件相关的安全性。例如，脆弱性评估被用于确定在给定的环境中的任何可能的安全漏洞。网络是一个信息和标准的丰富来源，例如Cisco开发的NetFlow网络协议，其可以被用于收集给定网络上的流量信息。
大数据分析平台，也可以使用入侵检测产品分析系统或环境行为，以发现可能的恶意活动。
大数据安全分析与其他形式的安全分析存在质的不同。需要可扩展性，需要集成和可视化不同类型数据的工具，环境信息越来越重要，安全功能的广泛性，其让导致供应商应用先进的数据分析和存储工具到信息安全中。
如何选择合适的大数据安全分析平台
大数据安全分析技术结合了先进的安全事件分析功能和事故管理系统功能(SIEM)，适用于很多企业案例，但不是全部。在投资大数据分析平台之前，请考虑公司使用大数据安全系统的组织的能力水平。这里需要考虑几个因素，从需要保护的IT基础设施，到部署更多安全控制的成本和益处。
基础设施规模
拥有大量IT基础设施的组织是大数据安全分析主要候选者。应用程序、操作系统和网络设备都可以捕获到恶意活动的痕迹。单独一种类型的数据不能提供足够的证据来标识活动的威胁，多个数据源的组合可以为一个攻击的状态提供更全面的视角。
现有的基础设施和安全控制生成了原始数据，但是大数据分析应用程序不需要收集、采集和分析所有的信息。在只有几台设备，而且网络结构不是很复杂的环境中，大数据安全分析可能并不是十分必要，在这种情况下，传统的SEIM可能已经足够。
近实时监控
驱动大数据安全分析需求的另一个因素是近实时采集事故信息的必要性。在一些保存着高价值数据、同时又容易遭受到严重攻击的环境中，实时监控尤为重要，如金融服务、医疗保健、政府机构等。
最近Verizon的研究发现，在60%的事件，攻击者能够在几分钟内攻克系统，但几天内检测到漏洞的比例也很低。减少检测时间的一种方法是从整个基础设施中实时地收集多样数据，并立即筛选出与攻击事件有关的数据。这是一个大数据分析的关键用例。
详细历史数据
尽管尽了最大努力，在一段时间内可能检测不到攻击。在这种情况下，能够访问历史日志和其它事件数据是很重要的。只要有足够的数据可用，取证分析可以帮助识别攻击是如何发生的。
在某些情况下，取证分析不需要确定漏洞或纠正安全弱点。例如，如果一个小企业受到攻击，最经济有效的补救措施可能雇安全顾问来评估目前的配置和做法，并提出修改建议。在这种情况下，并不需要大数据安全分析。其他的安全措施就可能很有效，而且价格便宜。
本地vs云基础架构
顾名思义，大数据安全分析需要收集和分析大量各种类型的数据。如捕获网络上的所有流量的能力，对捕获安全事件信息的任何限制，都可能对从大数据安全分析系统获得的信息的质量产生严重影响。这一点在云环境下尤其突出。
云提供商限制网络流量的访问，以减轻网络攻击的风险。例如，云计算客户不能开发网段来收集网络数据包的全面数据。前瞻性的大数据安全分析用户应该考虑云计算供应商是如何施加限制来遏制分析范围的。
有些情况下，大数据安全分析对云基础设施是有用的，但是，特别是云上有关登录生成的数据。例如，亚马逊Web服务提供了性能监控服务，称为CloudWatch的，和云API调用的审计日志，称为CloudTrail。云上的操作数据可能不会和其他数据源的数据一样精细，但它可以补充其他数据源。
利用数据的能力
大数据安全分析摄取和关联了大量数据。即使当数据被概括和聚集的时候，对它的解释也可能是很有挑战性的。从大数据分析产生的信息的质量，部分上讲是分析师解释数据能力的一项指标。当企业与安全事件扯上关系的时候，它们需要那些能够切断攻击链路，以及理解网络流量和操作系统事件的安全分析师。
例如，分析师可能会收到一个数据库服务器上有关可疑活动的警报。这很可能不是一个攻击的第一步。分析师是否可以启动一个警报，并通过导航历史数据找到相关事件来确定它是否确实是一个攻击?如果不能，那么该组织并没有意识到大数据安全分析平台带来的好处。
其他安全控制
企业在投身大数据安全分析之前，需要考虑它们在安全实践方面的整体成熟度。也就是说，其他更便宜和更为简单的控制应该放在第一位。
应该定义、执行和监测清晰的身份和访问管理策略。例如，操作系统和应用程序应该定期修补。在虚拟环境的情况下，机器图像应定期重建，以确保最新的补丁被并入。应该使用警报系统监视可疑事件或显著的环境变化(例如服务器上增加了一个管理员帐户)。应当部署web应用防火墙来减少注入攻击的风险和其他基于应用程序的威胁。
大数据安全分析的好处可能是巨大的，尤其是当部署到已经实现了全面的防御战略的基础设施。
大数据安全分析商业案例
大数据安全分析是一项新的信息安全控制技术。这些系统的主要用途是合并来自于多个来源的数据，并减少手动集成解决方案的需求。同时还解决了其他安全控制存在的不足，例如跨多个数据源查询困难。通过捕获来自于多个来源的数据流，大数据分析系统提高了收集取证重要细节的机会。

『叁』 大数据攻略案例分析及结论

大数据攻略案例分析及结论

我们将迎来一个“大数据时代”。与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？

｛研究结论｝

怎样才能用起来大数据？障碍如何解决?中国企业家研究院对10多家在大数据应用方面的领先企业进行了采访调研，更多家企业进行了书面资料调研，我们发现：

■ 当前中国企业的大数据应用可以归类为：大数据运营、大数据产品、大数据平台三大=领域，前两者更多是企业内部的应用，后者则在于用大数据来繁荣整个平台企业群落的生态。

■ 大数据营销的本质是一个影响消费者购物前心理路径的问题，而这在大数据时代前很难做到。

■ 对于传统企业而言，要打通线上与线下营销，实现新的商业模式，如O2O等，离不开大数据。

■ 虽然大数据应用往往集中于大数据营销，但对于一些企业，大数据的应用早已超越了营销范畴，全面进入了企业供应链、生产、物流、库存、网站和店内运营等各个环节。

■ 对于大部分企业，由于数据分析人员与业务人员之间的彼此视角与思考方向不同，大数据分析和运营之间存在脱节情况，这是大数据无法用于企业运营最大的阻力

■ 对于大多数互联网公司来说，大数据量、大用户量是一个相互促进，强者越强的循环过程。

■ 对于大型互联网平台，大数据已经成为其生态循环中的血液，对于这些企业，最重要

的不是如何利用大数据改进自身运营，而是利用大数据更好地繁荣平台生态。

■ 对于平台企业，它们的大数据策略正逐渐从大数据运营，向运营大数据转变，前者和

后者的差别在于，前者只是运营改进的动力，而后者则成为企业实现未来战略的核心资源。

我们都已被反复告知：我们将迎来一个“大数据时代”。

大数据应用，将和云计算、3D打印这些技术变革一样，颠覆既有规则，并成为先行企业的制胜关键。

与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？

来自于互联网、移动互联网、物联网传感器、视频采集系统的数据正海量增长，汇成大数据的海洋，相伴的是海量数据存储、分析技术的突破性发展，所有这一切都给企业的应用带来了无限可能性。

许多企业希望将大数据用起来，带动企业的经营，但不知从哪里着手。它们不惜重金投资大数据信息系统、分析系统，聘请更多的人才，希望能从这个新趋势中获益，不过却无奈地发现，大数据仍然停留在云端，没有带来多少实际收益。它们找不到大数据与业务结合的突破口。而一些真正将大数据应用于实战的企业，却在应用过程中困难重重：大数据无法与业务结合；没有收集、分析海量数据的能力；经营人员缺少应用大数据的动力；数据来源鱼龙混杂难以使用……

中国企业家研究院对当前中国企业大数据应用的状况进行了归纳分类，以帮助企业了解实际应用大数据时的困局难点，并提供领先企业的典型案例以资借鉴。

表1

表2

大数据运营—企业提升效率的助推力

对于大多数企业而言，运营领域的应用是大数据最核心的应用，之前企业主要使用来自生产经营中的各种报表数据，但随着大数据时代的到来，来自于互联网、物联网、各种传感器的海量数据扑面而至。于是，一些企业开始挖掘和利用这些数据，来推动运营效率的提升。大数据运营应用中，大数据的应用分为三类：用于企业外部营销、用于内部运营，以及用于领导层决策。

一、大数据营销

大数据营销的本质是影响目标消费者购物前的心理路径，它主要应用在三个方面：1、大数据渠道优化，2、精准营销信息推送，3、线上与线下营销的连接。在消费者购物前，通过各种方式，直接介入其信息收集和决策过程。而这种介入，是建立在对于线上与线下海量用户数据分析的基础之上。相比传统狂轰滥炸或等客上门的营销，大数据营销无论在主动性和精准性方面，都有非常大的优势。它是目前主要的大数据应用领域。

大数据营销不仅仅是用大数据找出目标顾客，向其发布促销信息，它还可以做到：

实现渠道优化。根据用户的互联网痕迹进行渠道营销效果优化，就是根据互联网上顾客的行为轨迹来找出哪个营销渠道的顾客来源最多，哪个来源顾客实际购买量最多，是否是目标顾客等等，从而调整营销资源在各个渠道的投放。例如东风日产，它利用对顾客来源的追踪，来改进营销资源在各个网络渠道如门户网站、搜索和微博的投放。

精准营销信息推送。精准建立在对海量消费者的行为分析基础之上，消费者网络浏览、搜索行为被网络留下，线下的购买和查看等行为可以被门店的POS机和视频监控记录，再加上他们在购买和注册过程中留下的身份信息，在商家面前，正逐渐呈现出消费者信息的海洋。

一些企业通过收集海量的消费者信息，然后利用大数据建模技术，按消费者属性（如所在地区、性别）和兴趣、购买行为等维度，挖掘目标消费者，然后进行分类，再根据这些，对个体消费者进行营销信息推送。比如孕妇装品牌十月妈咪通过对自己微博上粉丝评论的大数据分析，找出评论有“喜爱”相关关键词的粉丝，然后打上标签，对其进行营销信息推送。京东商城副总经理李曦表示：“用大数据找出不同细分的顾客需求群，然后进行相应的营销，是京东目前在做的事情。”小也化妆品将自身网站作为收集消费者信息的雷达，对不同消费者推荐相应的肌肤解决方案，创始人肖尚略希望在未来，大数据营销能替代网站的作用，真正成为面向顾客的前端。

打通线上线下营销。一些企业将互联网上海量消费者的行为痕迹数据与线下购买数据打通，实现了线上与线下营销的协同。比如东风日产，线上与线下的协同营销方式为：其门户网站带来订单线索，而通过这些线索，服务人员进行电话回访，从而推动顾客在线下交易。在此过程中，东风日产记录了消费者进入、浏览、点击、注册、电话回访和购买各个环节的数据，实现了一个横跨线上线下，以大数据分析为支持的，营销效果不断优化的闭环营销通路。而国双科技，衡量某一地区线下促销活动的效果，就是看互联网上，来自这个地区对于促销内容的搜索量。一些企业，通过鼓励线下顾客使用微信和Wi-Fi等可追踪消费者行为和喜好的设备，来打通线上与线下数据流，银泰百货计划铺设Wi-Fi，鼓励顾客在商场内使用，然后根据Wi-Fi账号，找出这个顾客，再通过与其它大数据挖掘公司合作，以大数据的手段，发掘这个顾客在互联网的历史痕迹，来了解这个顾客的需求类型。

二、大数据用于内部运营

相比大数据营销，大数据在内部运营中的应用更深入，对于企业内部的信息化水平，以及数据采集和分析能力的要求更高。本质上，是将企业外部海量消费者数据与企业内部海量运营数据联系起来，在分析中得到新的洞察，提升运营效率。（详见P96表5：大数据在内部运营中的应用）

表5

三、大数据用于决策

在大数据时代，企业面对众多新的数据源和海量数据，能否基于对这些数据的洞察，进行决策，进而将其变成一项企业竞争优势的来源？同大数据营销和大数据内部运营相比，运用大数据决策难度最高，因为它需要一种依赖数据的思维习惯。

已有少数企业开始尝试。比如国内一些金融机构在推出一个金融产品时，会广泛分析该金融产品的应用情况和效果、目标顾客群数据、各种交易数据和定价数据等，然后决定是否推出某个金融产品。

但是，中国企业家研究院在调研中发现，目前中国企业当中，大数据决策的应用非常之少，许多企业领导者进行决策时，仍习惯于凭借历史经验和直觉。

大数据产品——企业利润滋长的新源泉

大数据除了用于运营外，还能够与企业产品结合，成为企业产品背后竞争力的核心支持或者直接成为产品。提供大数据产品的企业分为两类，直接提供大数据产品的企业，以及将大数据作为产品和服务核心支撑的企业。前者主要为大数据产业链中提供数据服务的参与者，包括数据拥有者、存储企业，挖掘企业、分析企业等，后者则主要是那些以大数据为产品核心支撑的企业，它们大多是互联网企业，其产品和服务先天就有大数据基因，这些企业包括搜索引擎、在线杀毒、互联网广告交易平台以及众多植根于移动互联网之上，为用户提供生活和资讯服务的APP等。

表3

表4

一、大数据作为产品核心支持

它们主要在以下几方面使用大数据：

1、提供信息服务。很多互联网企业通过对海量互联网信息和线下信息的整合和分析，为个人和企业提供信息服务，典型的如网络、去哪儿、一淘、高德地图、春雨医生等等。在美国，一些互联网企业甚至根据大数据提供更深度的预测信息服务，美国科技创新公司farecast，通过分析特定航线机票的价格，帮助消费者预测机票价格走势。

2、分析用户的个性化需求，借此提供个性化产品和服务，或者实现更精准的广告。典型的有移动社交工具陌陌、网络、腾讯、广告交易平台品友互动以及一些互联网游戏商。这种应用往往先是收集海量用户的互联网行为数据，将用户分类，根据不同类型的用户，提供个性化的产品，或者提供个性化的促销信息。比如网易等门户网站推出了订阅模式，让使用者按照个人喜好方便地定制和整合不同来源的信息。

3、增强产品功能。对于很多互联网产品，如杀毒软件、搜索引擎等等，海量数据的处理能够让产品变得更聪明更强大，如果没有大数据，产品的功能就大大减弱。比如奇虎360公司的360杀毒软件，凭借每天海量的杀毒处理，建立了庞大的病毒库，这使它能够更快地发现病毒，而一些小的杀毒软件公司则无法做到这一点。

4、掌控信用状况，提供信贷服务。阿里巴巴上汇集了海量中小企业的日常资金与货品往来，通过对这些往来数据的汇总与分析，阿里巴巴能发现单个企业的资金流与收入情况，分析其信用，找出异常情况与可能发生的欺诈行为，控制信贷风险。

5、实现智能匹配。婚恋网站、交易平台等，利用大数据可以进行精准而高效的配对服务。网易花田会挖掘用户行为数据，比如点击哪些异性的页面，发表什么样的评论，建立用户兴趣模型，从而挖掘到用户所期待另一半的类型，然后主动推荐与对方匹配度比较高的人选。2010年，阿里巴巴尝试性地推出“轻骑兵”服务，由阿里巴巴将中国各产业集群地的供应商与海外买家的个性采购需求进行快速匹配，所凭借的，就是对供应商的海量交易数据信息的整合与挖掘。

大数据作为产品核心支撑的关键在于用户量。对于大多数互联网公司来说，用户量越多，收集的数据越多，凭借更多的数据，其产品与商业模式会不断改进，进而带来更多的用户。

二、大数据直接作为产品

对一些企业，大数据直接成为了产品，这些产品包括海量数据、分析、存储与挖掘的服务等，目前大数据产业链正在形成过程中，出现了一批开放、出售、授权大数据和提供大数据分析、挖掘的公司和机构，前者主要是一些拥有海量数据的公司，将数据服务作为新的盈利来源。如大型的互联网平台、民航、电信运营商、一些拥有大数据的政府机构等等，后者主要包括一些能够存储海量数据或者将海量数据与业务场景结合，进行分析和挖掘，或者提供相关产品的公司，如IBM、SAP、拓而思、天睿公司。它们为大数据应用者们提供海量数据存储、数据挖掘、图像视频、智能分析等服务以及相关系统产品。

大数据平台——企业群落繁荣的滋养剂

相对企业本身对大数据的应用，大数据平台更多是利用大数据来搭建企业生态。一些拥有庞大数据资源的大型互联网平台，已变为包含海量寄生者的生态系统。在这个生态系统中，它们将海量用户互联网行为痕迹和分析提供给平台上的企业，用于它们改善经营，推动整个平台生态繁荣，在这一过程中，它们也收取数据服务费。阿里巴巴就是一个典型的例子，从数据魔方、黄金策到聚石塔，阿里巴巴不断地为平台上中小电商提供数据产品和服务。

而网络已建成了包括网络指数、司南、风云榜、数据研究中心和网络统计在内的五大数据体系平台，帮助其营销平台上的企业了解消费者行为、兴趣变化，以及行业发展状况、市场动态和趋势、竞争对手动向等信息。

而当大数据从企业内部运营的动力，变成平台企业的产品和服务时，平台企业也在经历着一个从大数据运营到运营大数据的阶段。数据从运营的支持工具，变成了生产资料。此前平台们的关注点，更多的是如何用好现有的大数据。而未来，它们的关注点则更多是如何将大数据这个生产资料管理好、经营好，如何更好地为平台上的企业服务。这就涉及到收集的数据质量怎样？格式标准是否统一？数据作为一种原材料，其精细化程度如何？是否符合平台上企业应用的具体场景？是平台上企业拿来就能用的，还是还需要平台上的企业再加工？

为解决这些问题，各个平台在积极地努力。比如阿里巴巴建立了数据委员会，在统一数据格式标准、从源头上保证数据的质量，采集和加工出精细化的数据，确保其能符合平台企业的应用场景等方面，不遗余力地尝试。尤其在大数据精细化方面，阿里巴巴更是作为其大数据战略的重点。这方面，腾讯目前也在加快步伐。比如新版腾讯网出现了“一键登录”的提示，用户可以在上面通过一些细分标签，订阅自己关注的内容。实际上，这也是腾讯收集更精细化的用户兴趣数据的一个有效手段。

Tips

大数据实战手册

将大数据应用于内部运营中时，企业会遇到一些常见问题

1企业如何获取与分析数据？

互联网是大数据的一个主要来源，一些线下的传统企业很难获得。但它们可以：

a 和拥有或能抓取海量数据的平台、企业以及政府机构合作。比如淘宝上的电商就购买淘宝收集的海量数据中与自身运营相关的部分，用于自身业务。再如卡夫通过与IBM合作，在博客、论坛和讨论版的内容中抓取了47.9万条关于自己产品的讨论信息，通过大数据分析出消费者对卡夫食品的喜爱程度和消费方式。

b 建立自己在互联网上的平台，比如朝阳大悦城利用自己的微信、微博等平台收集消费者评论数据。

c 许多传统企业没有分析海量数据的能力，此时它们可以和大数据分析和挖掘公司合作，目前市场上已经有天睿公司、IBM、百分点、华胜天成等一批提供大数据分析和挖掘服务的公司，它们是传统企业进行大数据分析可以借助的力量。

2 如何避免大数据应用时的部门分割？

对于许多企业，其信息流被各部门彼此分割，数据难以互通，对于这种情况下，大数据的共享和汇集就只是一个泡影，更难以实现大数据的深度应用。

要打通部门之间信息分割的局面，首先要建立统一的、集中的数据系统。就像立白信息与知识总监王永红所说的，“要真正用好大数据，企业要采用大集中的信息系统。”从更深入的角度来谈，企业信息流的部门分割，更在于企业部门之间的分割，比如有一些企业的营销按照渠道分割，导致对于顾客的大数据收集和分析效果大打折扣。

IBM智慧商务技术总监杨旭青认为，“很多时候由于组织结构问题，大数据分析有效性大大降低了。”这就需要组织与流程层面的重新设计，在这方面，阿里巴巴的部门负责人轮岗制度，对于打破部门壁垒无疑是一剂好药。而一些企业为了打破部门分割，建立了矩阵型的组织结构，强化部门间的横向合作，这些无疑为大数据的汇集、共享与应用创造了良好条件。

3 如何让业务人员重视大数据的应用？

解决这个问题，一方面在于一把手对整个企业数据文化的倡导，比如1号店董事长于刚就要求业务人员无论在开会，还是汇报工作时，都以数据说话，而马云更是将大数据提升到了战略高度。

另一方面，也在于数据部门的带动，阿里巴巴数据委员会负责人车品觉分享了经验，“因为运营部门的业务人员很难看到大数据的潜力，可以首先从一些对业务见效快，见效显著的数据项目出发，通过一两个项目的成功，调动对方的积极性，然后再逐步一个个地引导。”

4 为何大数据工作与运营需求脱节？

这往往是由于数据人员与业务人员视角、专业知识不同而导致的。大数据人员做了很多努力，但是业务人员却认为这些努力无关痛痒。如何解决这个问题？

有的企业从组织设计上发力，将大数据纳入业务分析部门的管理之下，用业务统驭数据。对于朝阳大悦城，由主要负责战略和经营分析的部门来管理大数据工作，其中的大数据分析人员则作为支持人员。在负责人张岩看来，大数据要靠商业法则指导，关键是找到业务需求的点，然后由数据分析和挖掘人员实现。在具体操作中，大悦城对微信的数据挖掘，挖掘什么样的关键词，由业务分析人员确定，而具体挖掘则由数据部门做；有的企业从流程设计上着手，推动业务部门与数据部门人员之间的沟通，建立数据人员工作与效果挂钩的考核机制。

例如阿里巴巴根据数据挖掘的成效（比如带来的商品转化率的提升）来考核数据挖掘师，考核数据分析师则看其分析结果能否出现在经营负责人的报告中。从数据部门自身角度则需要降低运营部门使用数据的障碍和门槛，比如立白集团的数据人员会努力尝试向运营部门提供更易懂、更生动的图形化数据分析界面，在立白老板办公室上，就有一份“客户运营健康体检表”，让老板对全国经销商的当月销售情况一目了然。再如阿里巴巴开发的无线Bi，让经营人员在手机上也可以看到大数据分析结果，拿车品觉的话说，“以数据之氧气包围经营人员。”

以上是小编为大家分享的关于大数据攻略案例分析及结论的相关内容，更多信息可以关注环球青藤分享更多干货

『肆』 大数据基金靠谱吗

• 一、导语

最近一年，有几个概念广受追捧，分别是“大数据”，“股市”和“互联网金融”，而不断推出的“大数据基金”更是将这几个热门概念融合起来，为投资者带来了崭新的投资选择。“大数据基金”的团队也可谓阵容豪华，“网络”加“广发基金”，“阿里”加“博时基金”，“新浪”加“南方基金”，都是互联网巨头和实力基金公司的强强联合。那么“大数据基金”到底靠谱吗？它到底是基金的未来，还是仅仅借助了新概念的噱头呢？

• 二、大数据分析在投资中有价值吗？

先说结论再说解释，大数据对投资一定是有价值的。这与市场上现有大数据基金业绩如何无关，而是因为大数据作为之前投资过程中没有被利用过的用户行为信息，一定可以通过科学的方法提取出有价值的数据。我们可以从逻辑上验证这个观点，举一个逻辑假象的例子即可说明。

例子：网络通过搜索行为寻找聪明的投资者

“博时淘金100”这支基金表现类似“广发百发100”，在下跌行情中表现较差。

从价格比值走势图看出，无论大数据指数还是大数据基金，产品化之后的表现都出现了不同程度的下滑。具体而言，几只大数据指数在长期的历史回溯期上，其相对于中证500的价格比值走势持续上升，波动较小；而在产品化之后（图中的小黑圈之后）的评价期上，期价格比值基本走平，且有较大的波动，因此就这段不太长的实盘产品运作期间而言，其业绩相对于传统股市指数并没有显著优势。

• 五、如何看待大数据基金？

通过上面的分析，我们发现到目前为止，“大数据基金”相比传统股市指数并没有明显的优势，而由于各支大数据基金的上市时间都不到一年，所以还不能肯定他们的未来业绩。但对于这样一种崭新的基金形式，建议每位投资者都应保持关注。因为我们相信大数据中蕴含的价值，期待有一家靠谱的基金公司能够利用现代分析工具有效发觉利用，转变为实在的价值，真正让大数据基金变成基金行业的未来。

『伍』 大数据下互联网金融怎么投资

随着网络经济迅速发展,网络金融、网上购物等电子商务的发展如雨后春笋，人们不得不意识到，互联网金融时代来了。支付宝、余额宝、微信红包??，互联网金融大战在马年春节就已拉响。

1第一是传统的金融借助互联网渠道为大家提供服务。这个是大家熟悉的网银。互联网在其中发挥的作用应该是渠道的作用。

2第二种模式，类似金融平台，由于它具有电商的平台，为它提供信贷服务创造的优于其他放贷人的条件。互联网在里边发挥的作用是依据大数据收集和分析进而得到信用支持.

3第三种模式，大家经常谈到的P2P的模式，这种模式更多的提供了中介服务,这种中介把资金出借方需求方结合在一起。发展至今由P2P的概念已经衍生出了很多模式。

4以上三种模式稳贷建议大家要做好详细的分析，再进行投资这样投资有保证。

『陆』 天弘基金打造三领域领先的大数据指数

天弘基金打造三领域领先的大数据指数

国务院近日发布了《促进大数据发展行动纲要》（以下简称《纲要》），将大数据发展提升为国家战略，大数据所蕴含的巨大价值将被进一步挖掘。作为国内大数据投研的领先者，天弘基金开发定制的国内首只社交投资大数据指数——雪球100指数于9月15日正式发布，从此日开始，投资者可通过雪球网、Wind等数据终端查看指数行情，了解具体的点位、涨跌幅、分时走势等数据。

雪球100指数的特点是投资者最为关心的问题，对此，天弘基金投研部总经理肖志刚介绍称，天弘基金所定制开发的雪球100指数，在三方面做到领先。第一，率先引入投资众包思维，筛选大量有经验的投资者的智慧，将其智慧转化为有指导意义的、可视化的指数；第二，采用雪球独特的数据资源，打造国内首只社交投资大数据指数；第三，编制中剔除其他重复性因子，也是国内首只纯粹的大数据指数。

肖志刚同时表示，天弘基金选择以雪球的数据来编制大数据指数，是看中了雪球作为社交投资平台，具备去中心化的投资体系。“雪球的数据量大，里面肯定有很多优秀的投资人，优秀的想法，如果能用一定的方法把这些人筛选出来，把这些想法集中起来，必定能在大概率上跑赢市场。而且雪球的模拟组合能把投资者的投资思路数据化，更加直观，处理起来也更加方便，因此我们想到了合作开发这样一只指数，把大众的智慧调动起来。”肖志刚表示，在雪球100指数发布后，天弘基金将尽早发行跟踪雪球100指数的基金，目前产品正在筹备中。

天弘基金在编制雪球100指数时，也打破传统，采用创新模式，为的是给投资者提供简单、清晰、有效的工具。

肖志刚表示，在编制过程中，综合考虑了雪球用户对股票的认同，用户的研究能力、投资能力，最后的组合等来综合决策，是一个经历了层层筛选的策略，模拟真实的投资决策，能够反映具有投资能力和研究能力的用户的股票持仓及增减仓总体情况。简单来说，雪球100的编制，先筛选出得到用户认可的大V，然后对其研究能力和投资能力进行量化，再对其股票综合评分，选取高分组合。

首先，在雪球的全部注册用户中，选取粉丝数排名前5%的用户作为参考用户；在参考用户创建的所有自选组合中，选取最近一个月内仓位发生过变动的组合作为参考组合。在全部参考组合所覆盖的股票中，选取至少被20个参考用户所持有的股票（截至月末）作为待选样本；其次，对大V的研究能力和投资能力根据其评论和调仓等数据进行量化。对每个待选样本所覆盖的参考用户，根据其相关的组合历史业绩和线上活跃度进行评分（当组合创建时间不足一年时，相关历史业绩评分为零），得到单个参考用户关于某待选样本的能力评分。计算单个待选样本的持仓评分与调仓评分（增持为正，减持为负），并由此通过加权得到其综合评分。选取综合评分最高的100只待选样本作为指数样本股。

另外，雪球100指数的成分股每个月调整一次。最近一期的100只成分股中，沪市、深市、创业板的股票数量占比分别为42%、39%和19%，持仓市值占比分别为57.22%、34.34%和8.44%，包括浦发银行、民生银行、中国石化、包钢股份、复星医药等。而且，该指数采用流通市值加权的方式，防止小股票权重过高。目前看，该指数的模拟业绩效果很好，走势相对稳健，换手率较低，近8个月都在30%以下，年化超额收益在30%以上。而且在市场大幅震荡中回撤幅度远小于其他大数据指数。

以上是小编为大家分享的关于天弘基金打造三领域领先的大数据指数的相关内容，更多信息可以关注环球青藤分享更多干货

『柒』 全球大数据产业现状及投资前景预测

全球大数据产业现状及投资前景预测
纵观国内外，大数据已经形成产业规模，并上升到国家战略层面，大数据技术和应用呈现纵深发展。面向大数据的云计算技术、大数据计算框架等不断推出，新型大数据挖掘方法和算法大量出现，大数据新模式、新业态层出不穷，传统产业开始利用大数据实现转型升级。人工智能、深度学习、工业物联网、虚拟现实、智慧城市等领域的发展推动大数据的应用普及。新兴行业、传统行业围绕数据服务体系，已经形成了传统行业数据平台、互联网数据平台及行业资讯类数据平台。以数据应用为基础的新一代数据服务企业，在促进主体行业发展的同时，同样促进了行业内中小企业的发展。
1
大数据发展的产业环境分析
美国政策层面发力推动大数据应用发展。政府推出了一系列的公开数据计划，在健康、能源、气候、教育、金融、公共安全等领域开放数据和信息，促进创新的突破,从而推动经济发展。美国致力于扩大联邦数据公开范围和受用对象的范围，尤其扩大高价值数据资产，探讨如何进一步扩展收集和分析工业竞争和创新相关的数据。
为了进一步挖掘联邦政府数据的应用潜力，促进创新与社会进步，2016年1月美商务部发起了一项旨在使政府数据更加容易使用的数据易用性计划(CDUP)。5月，白宫发布《联邦大数据研发战略计划》，为未来的大数据研发列出7条战略计划，旨在建立大数据创新生态系统，加强数据分析能力，从大量、多样、实时的数据库中提取有效信息，服务于科学研究、经济增长与国家安全。2016年，美国应用大数据预测选举也引起世界关注，大数据应用开始为广大公众所关注，数据的真实性及数据安全成为关注焦点。
英国以数据共享为根本积极推动大数据平台建设。新建哈璀(Hartree)大数据中心，投资1.13亿英镑。新建艾伦图灵研究所，投资4200万英镑，开展大数据科学与技术的研究。投资1.5亿英镑建立第一个国家级老年痴呆症研究所。建立应对重大疾病新的数学研究中心。英国成立大数据战略委员会，发布《开放数据战略白皮书》，统一政府数字平台，开通政府部门开放数据通道，设立数据开放共享奖励基金，2018年还将出台“数据保护通则”的专门法规，旨在开发利用数据资源产生更大的商业价值和经济增长。
瑞典启动国家重点科研计划(NFP)大数据专项(Big Data, NFP75)。2017年正式启动，计划投入资金2.5亿瑞士法郎，从2017年至2020年为期4年。该专项主要分为三个板快：大数据信息技术：大数据分析基础性研究、大数据基础设施构架、数据库和计算中心;大数据相关社会及法律问题：大数据涉及对社会经济发展的影响预测(如对贸易、商务模式、人员交通及物流的影响)、个人隐私及空间的保护及相关的社会伦理和法律问题及对策等;大数据应用：对大数据在交通、健康、灾害及社会风险控制、能源转型领域的应用展开基础性研究。瑞士国家重点科研计划由瑞士联邦政府推出，目的是对关系瑞士社会经济发展全局的重要领域展开基础性研究并提出对策建议。
我国各地政府积极为大数据发展营造环境。2014年、2015年“大数据”首次写入国家《政府工作报告》。在2015年3月5日举行的两会中，李总理在政府工作报告中提到，制定“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展，引导互联网企业拓展国际市场。
当前，《国家大数据战略及行动纲要(2015-2025)》征求意见稿完成。国家自然基金委、科技部支持了大量大数据研究项目;北京市、上海市、天津市、重庆市、广东省、贵州省等制定了大数据发展规划，多地开始建数据产业基地，天津拟打造国家数据聚集区，与北京、河北联合建“京津冀大数据走廊”;重庆计划将大数据培育成重要战略性新兴产业，加快建设两江云计算产业园，陕西西咸新区、湖北武汉光谷、贵州贵安新区等地提出要设国家级大数据基地。
上海成立数据交易中心。2016年4月1日，上海数据交易中心挂牌成立，上海数据交易中心是经上海市人民政府批准，上海市经济和信息化委、上海市商务委联合批复成立的国有控股混合所有制企业，承担着促进商业数据流通、跨区域的机构合作和数据互联、公共数据与商业数据融合应用等工作职能。交易中心以国内领先的“技术+规则”双重架构，创新结合IKVLTP 六要素技术，采用自主知识产权的虚拟标识技术和二次加密数据配送技术，结合面向应用场景的交易规则，将在全面保障个人隐私、数据安全前提下推动数据聚合流动。
上海将围绕“资源、技术、产业、应用、安全”融合联动这一条主线，聚焦“政府治理和公共服务能力提升、经济发展方式转变”两个方面，创新“交易机构+创新基地+产业基金+发展联盟+研究中心”五位一体大数据产业链生态发展布局，力争打造国家数据科学中心、亚太数据交换中心和全球“数据经济”中心，形成集数据贸易、应用服务、先进产业为一体的大数据战略高地。
2
大数据产业的行业需求预测
企业需求
传统企业的大数据转型。随着互联网化进程的不断推进，在改变了用户消费习惯的同时，众多传统企业面临了一系列必须面对的问题，其中一条核心主线就是基于已有数据的使用以及对于用户数据的采集。对于有效利用数据，很多传统企业开展了试探性的使用和分析，并逐步结合互联网平台，使数据形成闭环。地产、制造、金融企业已经在逐步建立互联网销售平台，其实平台的本身并不是去加大产品销售量，而是通过平台对传统营业网点、销售渠道的信息进行有效管理，从而建立可供判断或分析的数据之用。
更好的吸纳客户的潜在需求，更快的适应市场变化，从而带动新一轮研发的生成或变革。而此类企业的成长点，市场化性质，及企业性质将区别于传统企业，而走上新业态、新模式的道路。包括车联网、互联网金融、汽车电商、房产电商，都已经出现了苗头。对于大数据产业的发展，传统企业转型是区别于其他领域的却又独树一帜的重要组成部分。
平台企业的大数据战略。对于相对IT投入较少，IT基础较为薄弱的领域，比如零售、餐饮、服装、农业、出版等行业，企业不会去自建云计算及大数据平台，更多的则是会依靠专业化的数据服务企业或是数据服务平台来满足数据分析的需求。行业数据服务平台架构的初衷，主要是用云服务方式解决上述行业的信息化建设及运维需求。
目前上海类似的行业数据平台不少，建筑业的筑想网、医药业的安捷力等都是在行业垂直领域专业度很高的企业，而且较之通用、普适性的平台，此类平台的发展更具有和行业发展的共存性和相通性，是大数据产业发展过程中一个非常重要的组成部分。
互联网企业大数据规模化发展。互联网传媒是推动企业接触大数据服务中一个相对快速的行业，传媒由传统的单向被动模式转变成为双向互动模式，在吸引了用户群体的同时也通过定义用户肖像，来推动精准营销。精准营销使企业享受了新媒体带来的最实惠的成果，也为企业带来了一份较之传统传媒更加具体的数据分析报告。
同样在互联网领域，无论是社交平台、团购还是移动应用，在其互联网平台构建的过程中，收集、汇总、分析数据是非常重要的一个环节。通过甄别不同年龄段、性别、爱好的用户群，来精准定位推送不同的消息，而在这些精准定位的背后，则是每天几十甚至几百TB的数据增长量和分析量，可以说，有了互联网才推进了大数据产业的发展。
热点关联领域需求
金融大数据。中国金融信息服务产业存在产业链分布广、市场空间巨大的特点，但与此同时，又表现出产业集中度非常低的现状。因此，未来必将经历大量的并购整合，最终出现几家庞大的IT服务机构。传统金融服务领域的人才资源、市场能力、技术及研发方面在全国范围内都具有不可比拟的优势，产业环境、配套资源都非常成熟。
在金融信息服务产业链中，已经拥有了证券、期货、金融期货、科技技术等交易所以及钢铁、有色金属等各类生产物资交易所，拥有像安硕信息、万得资讯、金仕达、银联、普兰金融、春雨供应链等一大批具有行业代表性的龙头企业，还有一批以经尔纬为代表的掌握大数据技术及具有资源整合能力的公司。金融领域的数据库建设比较完善且都为结构化的数据，随着人工智能、深度学习等新兴技术的介入，大数据将显示出大有可为的趋势，对基于大数据分析的成果的需求也将越加旺盛。
交通大数据。一是智能交通，在交通和环境信息的基础上，实现交付跟踪，工作流程监督，和人力资源管理。在智能交通系统中，如果车辆使用了该应用，就可以监测到相关数据。智慧城市首席信息官可以使用从物联网信息库中获取运输和交通过程的信息。这将大大改善交通运输，建立服务型的支付方式，而不是简单的付款程序，如时间收费制度。
智慧城市的核心价值是根据交通数据来建立对公民有益的基础政策。智能交通也产生了很多新的商业创新。二是自动驾驶，目前GOOGLE借助大数据及车载技术和传感器,以及高级辅助驾驶系统、软件、地图数据、GPS和无线通信数据等，实现了无人驾驶，可以预见，不久的将来，大数据在自动驾驶领域的应用越来越被看好。
新媒体大数据。大数据引领的新媒体已经颠覆了国外数个传统媒体，比如停刊的美国《新闻周刊》以及德国出现战后最大的纸媒倒闭潮等。以眼球经济为基础的传统媒体展示型广告已快速向以数据为基础的网络媒体精准型广告进行转变。百视通和东方明珠的整合已经打造了全国最大的千亿级别的传媒上市公司。在电信、广电及互联网领域海量数据处理具有丰富的研发及应用经验，所用技术涵盖了分布式计算、海量数据处理、流计算、机器学习及神经网络等，重点关注于互联网广告投放技术、效果监测、目标受众行为分析及精准细分、广告智能匹配等。未来几年，新媒体大数据将越来越受到业界的追捧。
制造业大数据。利用大数据推动信息化和工业化深度融合，研究推动大数据在研发设计、生产制造、经营管理、市场营销、售后服务等产业链各环节的应用，研发面向不同行业、不同环节的大数据分析应用平台，选择典型企业、重点行业、重点地区开展工业企业大数据应用项目试点，积极推动制造业网络化和智能化。最近几年，从国家到地方政府，日益重视大数据在制造业特别是高端智能制造领域的应用，例如《中国制造2025》。从这个意义上来说，大数据在制造业应该发挥的潜力巨大，释放空间和余地很大。
3
大数据投资前景预判
人工智能等新兴领域价值潜力巨大
智能化领域及智慧城市建设。大数据与深度学习、人工智能交叉的领域成为资本追逐的焦点。例如日本提出建成超智能社会，实现ICT技术在全社会的深度融合应用。日本第五期科技计划提出建设SOCIETY 5.0(超智能社会)，基于以人工智能、物联网、大数据为代表的ICT技术，研究开发先进机器人、超级计算机、传感器、高速通信等技术，实现网络空间与现实空间高度融合的信息物理系统，运用大数据促使社会生活各领域实现高度智能化，推进经济发展与社会进步。日本超智能社会的提出，受到诸多大数据公司和风投的关注。类似，我国各地正在大力推进的智慧城市建设中的与新兴技术交叉应用的环节，大数据将有着重要的一席之地。大数据与智慧交通、绿色环保、民生安全等领域的融合，在人工智能、深度学习的带动下，大数据应用商机无限。
支撑分享经济智能平台被看好
分享经济在短时间内崛起并成为全球现象，规模和影响力都呈现出指数增长。2014年12月，普华永道发布了预测报告指出全球分享经济的规模将从2015年的150亿美元增长到2025年的3350亿美元。在全球经济努力复苏的背景下，分享经济模式的新颖性和巨大发展潜力受到各国政府的高度支持，甚至提升到了国家战略的高度。大数据、云计算、人工智能将构建支撑分享经济的智能平台，而这些平台将日益彰显其经济价值，从而能够灵活、便利、及时、安全、经济地连接不同需求的陌生人，从而在分享经济的新模式中，大数据起到了核心作用，占领核心的地位，其价值不言而喻。