大数据交易策略

㈠ 什么叫大数据量化交易大数据量化交易是什么地位

【导读】很多人对于大数据量化交易不清楚，只知道大数据，其实大数据量化交易是基于大数据以上是云社区搭建的载体，下面我们就来聊聊什么叫大数据量化交易?大数据量化交易是什么地位?

现在发达城市北上广，已经开始用大数据，运做基金了。而且门槛很高，必须金融和计算机的本科以上人员，研究生择优录取。

可见大数据，发展的力度。很多人不知道大数据怎么交易股票，这这里简单说下，现在好多券商软件支持，大数据自动化交易，也就是说，当你编写好自己的预期策略后，由程序根据你的策略实行，自动化交易。现在名声仅次于巴菲特的詹姆斯.西蒙斯，就是大数据量化交易的先驱，他名下的大奖章基金，就是根据大数据量化交易运行。

大数据量化交易，可以实现。一天成百上千次此交易，只要资金允许。这也是发达发达城市为什么着重研究的对象。还有大数据是未来的趋势。电脑在对市场热度的分析，要强于人工识别。但是论单个交易，人工肯定强于电脑，但是从现在的基金规模来看。电脑交易是主要趋势。不管多厉害的基金经理，精力都是有限的。

目前的大数据都是借助python为主要语言编写的，感兴趣的可以看看相关方面的学习。券商对自动化交易的资金，一般是5w门槛。

以上就是小编今天给大家整理发布的关于“什么叫大数据量化交易?大数据量化交易是什么地位?”的相关内容，希望对大家有所帮助。随着市场的发展。大数据量化交易，会慢慢普及。

㈡ 大数据是如何赚钱和亏钱的

大数据是如何赚钱和亏钱的_数据分析师考试

大数据无疑是时下炙手可热的流行词汇，然而，我们鲜少看到大数据如何带来收益，以及如何实现的例子，这是怎么回事呢？

多年来，在经历了几个通信和投行的大数据相关早期实施项目后，我认为这个新兴技术的收益主要在于：实现对复杂系统更为精准的剖析，例如股票市场或供应链。（投行成为最早一批应用大数据分析的行业之一，可谓毫不意外。对利用技术提升效率，创造效益更为敏锐的商业模式，往往也是更赚钱的。）

在投行的日常工作中，为了精准地选择投资机会、选购股票，有大量对文档处理的需求，例如新闻简报，财务报表。如果人工进行，工作量过于庞大。因此助理分析师们往往简化他们的预测分析过程，并使用电子表格来完成绝大部分工作。通过大数据技术，投行可以整合各种信息，减少可能的（简化分析带来的）风险，从整体上带来更优越的分析和预测能力。

公司如何通过大数据赚钱？

通过大数据平台，股票经纪和投资经理们可以聚合各种来源的非格式化数据，辅助判断哪些公司值得投资。所谓‘非格式化数据’包括如公司新闻，产品评论，供应商数据，价格变化，将这些信息以所谓“大数据”形式整合，通过建模，帮助股票经纪决策买入或售出股票。

有些采用如上方式进行投资预测的公司，很注重节约实施成本，例如使用云平台（如AWS），先从很小数量的服务器开始，随着获益增长，逐步提高投入。一位我认识的分析师，从一家大投行离职创业后，在不到六个月的时间内，仅仅使用非常有限的投入，创立了一个盈利良好的大数据交易系统。

即便在传统制造领域，大数据仍然可以提升预测能力。我曾经担任过顾问的某欧洲一线汽车制造厂商，通过建立一个钢材交易成本的分析系统，选择更好的时机，以更优价格买入原材料。这个系统由开源Java框架Hadoop创建，整合了多个供应商的共计15Tb的数据，在两年内为该公司节省了1600万美元。

这个项目的成功主要有两个原因：首先，公司有足够的信息为所有的供应商建模；其次，该项目节省的原材料成本超过了实施这个项目的费用。

公司为何因为大数据亏钱？

然而，并非每个大数据项目都会这样成功。公司在大数据项目上以亏损告终的概率，有时和成功的概率相差无几。大数据项目失败的早期症状有很多种，最常见的问题如：

步子迈太大

大数据并不需要一笔巨大的预算，如果怀着巨大的投入将带来巨大回报的预期开始一个大数据项目，往往会产生问题。在正式开始前，明智的做法是，尝试用有限的投入，在小范围内测试这个技术是否确实能带来预期的收益。按这样的节奏，一个项目可以按部就班地随着收益逐步提高，而逐步扩大投入规模，确保收益始终大于投入。

低估人力投入

在开始实施一个大数据系统前，问自己一个简单的问题：这个项目是否可以不需要持续的人工支持来运作？如果答案是，需要人工支持，那么建议停止项目。建立这样一个项目往往意味着百万级的损失，无法在有利润情况下保持维护和运行。

迷信自然语言处理

大数据有个经常听到的功能是，通过自然语言处理，将各种领域的各种数据处理成直接可读可理解的形式。这听起来确实很赞，但是在实际应用中，往往不尽如人意。自然语言处理仍然存在许多妨碍应用的限制，主要由于人工智能的发展还不够——而且在可见的10年内，这个情况可能不会有很大改观。

现代大数据项目具备巨大的节约成本的潜力，其效果对于过去的数据处理方式而言有如童话。但需要谨记的是，在投入时间和资源到大数据项目之前，首先要确认你的项目是收益大于成本的。只有傻瓜才会匆匆对一个点子一见钟情并倾其所有。

以上是小编为大家分享的关于大数据是如何赚钱和亏钱的的相关内容，更多信息可以关注环球青藤分享更多干货

㈢ 大数据攻略案例分析及结论

大数据攻略案例分析及结论

我们将迎来一个“大数据时代”。与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？

｛研究结论｝

怎样才能用起来大数据？障碍如何解决?中国企业家研究院对10多家在大数据应用方面的领先企业进行了采访调研，更多家企业进行了书面资料调研，我们发现：

■ 当前中国企业的大数据应用可以归类为：大数据运营、大数据产品、大数据平台三大=领域，前两者更多是企业内部的应用，后者则在于用大数据来繁荣整个平台企业群落的生态。

■ 大数据营销的本质是一个影响消费者购物前心理路径的问题，而这在大数据时代前很难做到。

■ 对于传统企业而言，要打通线上与线下营销，实现新的商业模式，如O2O等，离不开大数据。

■ 虽然大数据应用往往集中于大数据营销，但对于一些企业，大数据的应用早已超越了营销范畴，全面进入了企业供应链、生产、物流、库存、网站和店内运营等各个环节。

■ 对于大部分企业，由于数据分析人员与业务人员之间的彼此视角与思考方向不同，大数据分析和运营之间存在脱节情况，这是大数据无法用于企业运营最大的阻力

■ 对于大多数互联网公司来说，大数据量、大用户量是一个相互促进，强者越强的循环过程。

■ 对于大型互联网平台，大数据已经成为其生态循环中的血液，对于这些企业，最重要

的不是如何利用大数据改进自身运营，而是利用大数据更好地繁荣平台生态。

■ 对于平台企业，它们的大数据策略正逐渐从大数据运营，向运营大数据转变，前者和

后者的差别在于，前者只是运营改进的动力，而后者则成为企业实现未来战略的核心资源。

我们都已被反复告知：我们将迎来一个“大数据时代”。

大数据应用，将和云计算、3D打印这些技术变革一样，颠覆既有规则，并成为先行企业的制胜关键。

与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？

来自于互联网、移动互联网、物联网传感器、视频采集系统的数据正海量增长，汇成大数据的海洋，相伴的是海量数据存储、分析技术的突破性发展，所有这一切都给企业的应用带来了无限可能性。

许多企业希望将大数据用起来，带动企业的经营，但不知从哪里着手。它们不惜重金投资大数据信息系统、分析系统，聘请更多的人才，希望能从这个新趋势中获益，不过却无奈地发现，大数据仍然停留在云端，没有带来多少实际收益。它们找不到大数据与业务结合的突破口。而一些真正将大数据应用于实战的企业，却在应用过程中困难重重：大数据无法与业务结合；没有收集、分析海量数据的能力；经营人员缺少应用大数据的动力；数据来源鱼龙混杂难以使用……

中国企业家研究院对当前中国企业大数据应用的状况进行了归纳分类，以帮助企业了解实际应用大数据时的困局难点，并提供领先企业的典型案例以资借鉴。

表1

表2

大数据运营—企业提升效率的助推力

对于大多数企业而言，运营领域的应用是大数据最核心的应用，之前企业主要使用来自生产经营中的各种报表数据，但随着大数据时代的到来，来自于互联网、物联网、各种传感器的海量数据扑面而至。于是，一些企业开始挖掘和利用这些数据，来推动运营效率的提升。大数据运营应用中，大数据的应用分为三类：用于企业外部营销、用于内部运营，以及用于领导层决策。

一、大数据营销

大数据营销的本质是影响目标消费者购物前的心理路径，它主要应用在三个方面：1、大数据渠道优化，2、精准营销信息推送，3、线上与线下营销的连接。在消费者购物前，通过各种方式，直接介入其信息收集和决策过程。而这种介入，是建立在对于线上与线下海量用户数据分析的基础之上。相比传统狂轰滥炸或等客上门的营销，大数据营销无论在主动性和精准性方面，都有非常大的优势。它是目前主要的大数据应用领域。

大数据营销不仅仅是用大数据找出目标顾客，向其发布促销信息，它还可以做到：

实现渠道优化。根据用户的互联网痕迹进行渠道营销效果优化，就是根据互联网上顾客的行为轨迹来找出哪个营销渠道的顾客来源最多，哪个来源顾客实际购买量最多，是否是目标顾客等等，从而调整营销资源在各个渠道的投放。例如东风日产，它利用对顾客来源的追踪，来改进营销资源在各个网络渠道如门户网站、搜索和微博的投放。

精准营销信息推送。精准建立在对海量消费者的行为分析基础之上，消费者网络浏览、搜索行为被网络留下，线下的购买和查看等行为可以被门店的POS机和视频监控记录，再加上他们在购买和注册过程中留下的身份信息，在商家面前，正逐渐呈现出消费者信息的海洋。

一些企业通过收集海量的消费者信息，然后利用大数据建模技术，按消费者属性（如所在地区、性别）和兴趣、购买行为等维度，挖掘目标消费者，然后进行分类，再根据这些，对个体消费者进行营销信息推送。比如孕妇装品牌十月妈咪通过对自己微博上粉丝评论的大数据分析，找出评论有“喜爱”相关关键词的粉丝，然后打上标签，对其进行营销信息推送。京东商城副总经理李曦表示：“用大数据找出不同细分的顾客需求群，然后进行相应的营销，是京东目前在做的事情。”小也化妆品将自身网站作为收集消费者信息的雷达，对不同消费者推荐相应的肌肤解决方案，创始人肖尚略希望在未来，大数据营销能替代网站的作用，真正成为面向顾客的前端。

打通线上线下营销。一些企业将互联网上海量消费者的行为痕迹数据与线下购买数据打通，实现了线上与线下营销的协同。比如东风日产，线上与线下的协同营销方式为：其门户网站带来订单线索，而通过这些线索，服务人员进行电话回访，从而推动顾客在线下交易。在此过程中，东风日产记录了消费者进入、浏览、点击、注册、电话回访和购买各个环节的数据，实现了一个横跨线上线下，以大数据分析为支持的，营销效果不断优化的闭环营销通路。而国双科技，衡量某一地区线下促销活动的效果，就是看互联网上，来自这个地区对于促销内容的搜索量。一些企业，通过鼓励线下顾客使用微信和Wi-Fi等可追踪消费者行为和喜好的设备，来打通线上与线下数据流，银泰百货计划铺设Wi-Fi，鼓励顾客在商场内使用，然后根据Wi-Fi账号，找出这个顾客，再通过与其它大数据挖掘公司合作，以大数据的手段，发掘这个顾客在互联网的历史痕迹，来了解这个顾客的需求类型。

二、大数据用于内部运营

相比大数据营销，大数据在内部运营中的应用更深入，对于企业内部的信息化水平，以及数据采集和分析能力的要求更高。本质上，是将企业外部海量消费者数据与企业内部海量运营数据联系起来，在分析中得到新的洞察，提升运营效率。（详见P96表5：大数据在内部运营中的应用）

表5

三、大数据用于决策

在大数据时代，企业面对众多新的数据源和海量数据，能否基于对这些数据的洞察，进行决策，进而将其变成一项企业竞争优势的来源？同大数据营销和大数据内部运营相比，运用大数据决策难度最高，因为它需要一种依赖数据的思维习惯。

已有少数企业开始尝试。比如国内一些金融机构在推出一个金融产品时，会广泛分析该金融产品的应用情况和效果、目标顾客群数据、各种交易数据和定价数据等，然后决定是否推出某个金融产品。

但是，中国企业家研究院在调研中发现，目前中国企业当中，大数据决策的应用非常之少，许多企业领导者进行决策时，仍习惯于凭借历史经验和直觉。

大数据产品——企业利润滋长的新源泉

大数据除了用于运营外，还能够与企业产品结合，成为企业产品背后竞争力的核心支持或者直接成为产品。提供大数据产品的企业分为两类，直接提供大数据产品的企业，以及将大数据作为产品和服务核心支撑的企业。前者主要为大数据产业链中提供数据服务的参与者，包括数据拥有者、存储企业，挖掘企业、分析企业等，后者则主要是那些以大数据为产品核心支撑的企业，它们大多是互联网企业，其产品和服务先天就有大数据基因，这些企业包括搜索引擎、在线杀毒、互联网广告交易平台以及众多植根于移动互联网之上，为用户提供生活和资讯服务的APP等。

表3

表4

一、大数据作为产品核心支持

它们主要在以下几方面使用大数据：

1、提供信息服务。很多互联网企业通过对海量互联网信息和线下信息的整合和分析，为个人和企业提供信息服务，典型的如网络、去哪儿、一淘、高德地图、春雨医生等等。在美国，一些互联网企业甚至根据大数据提供更深度的预测信息服务，美国科技创新公司farecast，通过分析特定航线机票的价格，帮助消费者预测机票价格走势。

2、分析用户的个性化需求，借此提供个性化产品和服务，或者实现更精准的广告。典型的有移动社交工具陌陌、网络、腾讯、广告交易平台品友互动以及一些互联网游戏商。这种应用往往先是收集海量用户的互联网行为数据，将用户分类，根据不同类型的用户，提供个性化的产品，或者提供个性化的促销信息。比如网易等门户网站推出了订阅模式，让使用者按照个人喜好方便地定制和整合不同来源的信息。

3、增强产品功能。对于很多互联网产品，如杀毒软件、搜索引擎等等，海量数据的处理能够让产品变得更聪明更强大，如果没有大数据，产品的功能就大大减弱。比如奇虎360公司的360杀毒软件，凭借每天海量的杀毒处理，建立了庞大的病毒库，这使它能够更快地发现病毒，而一些小的杀毒软件公司则无法做到这一点。

4、掌控信用状况，提供信贷服务。阿里巴巴上汇集了海量中小企业的日常资金与货品往来，通过对这些往来数据的汇总与分析，阿里巴巴能发现单个企业的资金流与收入情况，分析其信用，找出异常情况与可能发生的欺诈行为，控制信贷风险。

5、实现智能匹配。婚恋网站、交易平台等，利用大数据可以进行精准而高效的配对服务。网易花田会挖掘用户行为数据，比如点击哪些异性的页面，发表什么样的评论，建立用户兴趣模型，从而挖掘到用户所期待另一半的类型，然后主动推荐与对方匹配度比较高的人选。2010年，阿里巴巴尝试性地推出“轻骑兵”服务，由阿里巴巴将中国各产业集群地的供应商与海外买家的个性采购需求进行快速匹配，所凭借的，就是对供应商的海量交易数据信息的整合与挖掘。

大数据作为产品核心支撑的关键在于用户量。对于大多数互联网公司来说，用户量越多，收集的数据越多，凭借更多的数据，其产品与商业模式会不断改进，进而带来更多的用户。

二、大数据直接作为产品

对一些企业，大数据直接成为了产品，这些产品包括海量数据、分析、存储与挖掘的服务等，目前大数据产业链正在形成过程中，出现了一批开放、出售、授权大数据和提供大数据分析、挖掘的公司和机构，前者主要是一些拥有海量数据的公司，将数据服务作为新的盈利来源。如大型的互联网平台、民航、电信运营商、一些拥有大数据的政府机构等等，后者主要包括一些能够存储海量数据或者将海量数据与业务场景结合，进行分析和挖掘，或者提供相关产品的公司，如IBM、SAP、拓而思、天睿公司。它们为大数据应用者们提供海量数据存储、数据挖掘、图像视频、智能分析等服务以及相关系统产品。

大数据平台——企业群落繁荣的滋养剂

相对企业本身对大数据的应用，大数据平台更多是利用大数据来搭建企业生态。一些拥有庞大数据资源的大型互联网平台，已变为包含海量寄生者的生态系统。在这个生态系统中，它们将海量用户互联网行为痕迹和分析提供给平台上的企业，用于它们改善经营，推动整个平台生态繁荣，在这一过程中，它们也收取数据服务费。阿里巴巴就是一个典型的例子，从数据魔方、黄金策到聚石塔，阿里巴巴不断地为平台上中小电商提供数据产品和服务。

而网络已建成了包括网络指数、司南、风云榜、数据研究中心和网络统计在内的五大数据体系平台，帮助其营销平台上的企业了解消费者行为、兴趣变化，以及行业发展状况、市场动态和趋势、竞争对手动向等信息。

而当大数据从企业内部运营的动力，变成平台企业的产品和服务时，平台企业也在经历着一个从大数据运营到运营大数据的阶段。数据从运营的支持工具，变成了生产资料。此前平台们的关注点，更多的是如何用好现有的大数据。而未来，它们的关注点则更多是如何将大数据这个生产资料管理好、经营好，如何更好地为平台上的企业服务。这就涉及到收集的数据质量怎样？格式标准是否统一？数据作为一种原材料，其精细化程度如何？是否符合平台上企业应用的具体场景？是平台上企业拿来就能用的，还是还需要平台上的企业再加工？

为解决这些问题，各个平台在积极地努力。比如阿里巴巴建立了数据委员会，在统一数据格式标准、从源头上保证数据的质量，采集和加工出精细化的数据，确保其能符合平台企业的应用场景等方面，不遗余力地尝试。尤其在大数据精细化方面，阿里巴巴更是作为其大数据战略的重点。这方面，腾讯目前也在加快步伐。比如新版腾讯网出现了“一键登录”的提示，用户可以在上面通过一些细分标签，订阅自己关注的内容。实际上，这也是腾讯收集更精细化的用户兴趣数据的一个有效手段。

Tips

大数据实战手册

将大数据应用于内部运营中时，企业会遇到一些常见问题

1企业如何获取与分析数据？

互联网是大数据的一个主要来源，一些线下的传统企业很难获得。但它们可以：

a 和拥有或能抓取海量数据的平台、企业以及政府机构合作。比如淘宝上的电商就购买淘宝收集的海量数据中与自身运营相关的部分，用于自身业务。再如卡夫通过与IBM合作，在博客、论坛和讨论版的内容中抓取了47.9万条关于自己产品的讨论信息，通过大数据分析出消费者对卡夫食品的喜爱程度和消费方式。

b 建立自己在互联网上的平台，比如朝阳大悦城利用自己的微信、微博等平台收集消费者评论数据。

c 许多传统企业没有分析海量数据的能力，此时它们可以和大数据分析和挖掘公司合作，目前市场上已经有天睿公司、IBM、百分点、华胜天成等一批提供大数据分析和挖掘服务的公司，它们是传统企业进行大数据分析可以借助的力量。

2 如何避免大数据应用时的部门分割？

对于许多企业，其信息流被各部门彼此分割，数据难以互通，对于这种情况下，大数据的共享和汇集就只是一个泡影，更难以实现大数据的深度应用。

要打通部门之间信息分割的局面，首先要建立统一的、集中的数据系统。就像立白信息与知识总监王永红所说的，“要真正用好大数据，企业要采用大集中的信息系统。”从更深入的角度来谈，企业信息流的部门分割，更在于企业部门之间的分割，比如有一些企业的营销按照渠道分割，导致对于顾客的大数据收集和分析效果大打折扣。

IBM智慧商务技术总监杨旭青认为，“很多时候由于组织结构问题，大数据分析有效性大大降低了。”这就需要组织与流程层面的重新设计，在这方面，阿里巴巴的部门负责人轮岗制度，对于打破部门壁垒无疑是一剂好药。而一些企业为了打破部门分割，建立了矩阵型的组织结构，强化部门间的横向合作，这些无疑为大数据的汇集、共享与应用创造了良好条件。

3 如何让业务人员重视大数据的应用？

解决这个问题，一方面在于一把手对整个企业数据文化的倡导，比如1号店董事长于刚就要求业务人员无论在开会，还是汇报工作时，都以数据说话，而马云更是将大数据提升到了战略高度。

另一方面，也在于数据部门的带动，阿里巴巴数据委员会负责人车品觉分享了经验，“因为运营部门的业务人员很难看到大数据的潜力，可以首先从一些对业务见效快，见效显著的数据项目出发，通过一两个项目的成功，调动对方的积极性，然后再逐步一个个地引导。”

4 为何大数据工作与运营需求脱节？

这往往是由于数据人员与业务人员视角、专业知识不同而导致的。大数据人员做了很多努力，但是业务人员却认为这些努力无关痛痒。如何解决这个问题？

有的企业从组织设计上发力，将大数据纳入业务分析部门的管理之下，用业务统驭数据。对于朝阳大悦城，由主要负责战略和经营分析的部门来管理大数据工作，其中的大数据分析人员则作为支持人员。在负责人张岩看来，大数据要靠商业法则指导，关键是找到业务需求的点，然后由数据分析和挖掘人员实现。在具体操作中，大悦城对微信的数据挖掘，挖掘什么样的关键词，由业务分析人员确定，而具体挖掘则由数据部门做；有的企业从流程设计上着手，推动业务部门与数据部门人员之间的沟通，建立数据人员工作与效果挂钩的考核机制。

例如阿里巴巴根据数据挖掘的成效（比如带来的商品转化率的提升）来考核数据挖掘师，考核数据分析师则看其分析结果能否出现在经营负责人的报告中。从数据部门自身角度则需要降低运营部门使用数据的障碍和门槛，比如立白集团的数据人员会努力尝试向运营部门提供更易懂、更生动的图形化数据分析界面，在立白老板办公室上，就有一份“客户运营健康体检表”，让老板对全国经销商的当月销售情况一目了然。再如阿里巴巴开发的无线Bi，让经营人员在手机上也可以看到大数据分析结果，拿车品觉的话说，“以数据之氧气包围经营人员。”

以上是小编为大家分享的关于大数据攻略案例分析及结论的相关内容，更多信息可以关注环球青藤分享更多干货

㈣ 大数据技术在网络营销中的策略研究论文

大数据技术在网络营销中的策略研究论文

从小学、初中、高中到大学乃至工作，说到论文，大家肯定都不陌生吧，论文的类型很多，包括学年论文、毕业论文、学位论文、科技论文、成果论文等。那要怎么写好论文呢？以下是我帮大家整理的大数据技术在网络营销中的策略研究论文，欢迎阅读与收藏。

摘要：

当今，随着信息技术的飞速发展，互联网用户的数量日益增加，进一步促进了电子商务的快速发展，并使企业能够更准确地获取消费者数据，大数据技术应运而生。该技术已被一些企业用于网络营销，并取得了显着的营销效果。本文基于大数据的网络营销进行分析，分析传统营销存在的问题和挑战，并对大数据技术在网络营销中的作用进行研究，最后针对性地提出一些基于大数据的网络营销策略，以促进相关企业在大数据时代加强网络营销，并取得良好的营销效果。

关键词：

大数据；网络营销；应用策略；营销效果；

一、前言

现代社会已经完全进入了信息时代，在移动互联网和移动智能设备飞速发展与普及之下，消费者的消费数据都不断被收集、汇总并处理，这促进了大数据技术的发展。大数据技术可以精准的分析消费者的习惯，借助大数据技术，商家可以针对顾客进行个性化营销，极大地提高了精准营销的效果，传统的营销方式难以做到这一点。因此，现代企业越来越重视发展网络营销，并期望通过大数据网络营销以增加企业利润。

二、基于大数据的网络营销概述

网络营销是互联网出现之后的概念，初期只是信息爆炸式的轰炸性营销。后来随着移动智能设备的普及、移动互联网的发展以及网络数据信息的海量增长，大数据技术应运而生。大数据技术是基于海量的数据分析，得出的科学性的结果，出现伊始就被首先应用于网络营销之中。基于大数据的网络营销非常精准，是基于海量数据分析基础上的定向营销方式，因此也叫着数据驱动营销。其主要是针对性对顾客进行高效的定向营销，最为常见的就是网络购物App中，每个人得到的物品推荐都有所区别；我们浏览网络时，会不断出现感兴趣的内容，这些都是大数据营销的结果。

应用大数据营销，企业可以精准定位客户，并根据客户的喜好与类型对产品与服务进行优化[1]，然后向目标客户精准推送。具体来说，基于大数据技术的精准网络营销过程涉及三个步骤：首先是数据收集阶段。企业需要通过微博、微信、QQ、企业论坛和网站等网络工具积极收集消费者数据；其次，数据分析阶段，这个阶段企业要将收集到的数据汇总，并进行处理形成大数据模型，并通过数据挖掘技术等高效的网络技术对数据进行处理分析，以得出有用的结论，比如客户的消费习惯、消费能力以及消费喜好等；最后，是营销实施阶段，根据数据分析的结果，企业要针对性地制定个性化的营销策略，并将其积极应用于网络营销以吸引客户进行消费。基于大数据的网络营销其基本的目的就是吸引客户主动参与到营销活动之中，从而提升营销效果和经济收益。

三、传统网络营销存在的一些问题

(一)传统网络营销计划主要由策划人主观决定，科学性不足

信息技术的迅速发展，使得很多企业难以跟上时代的步伐，部分企业思想守旧，没有跟上时代潮流并开展网络营销活动，而是仍然继续使用传统的网络营销模型和方式。即主要由策划人根据自己过去的经验来制定企业的营销策略，存在一定的盲目性和主观性，缺乏良好的信息支持[2]。结果，网络营销计划不现实，难以获得有效的应用，导致网络营销的效果不好。

(二)传统网络营销的互动性不足，无法进行准确的产品营销

传统的网络营销互动性较差，主要是以即时通信软件、邮箱、社交网站以及弹窗等推送营销信息，客户只能被动的接受信息，无法与企业进行良性互动和沟通，无法有效的表达自己的诉求，这导致了企业与客户之间的割裂，极大的影响了网络营销的效果。此外，即使一些企业获得了相关数据，也没有进行科学有效的分析，但却没有得到数据分析的结果，也没有根据客户的需求进行有效的调整，从而降低了营销活动的有效性。

(三)无法有效分析客户需求，导致客户服务质量差

当企业进行网络营销时，缺乏对相关技术的关注以及对客户需求的分析的缺乏会导致企业营销策略无法获得预期的结果。因此，企业只能指望出于营销目的向客户发布大量营销内容。这种营销效果非常糟糕。客户不仅将无法获得有价值的信息，而且此类信息的“轰炸”也会使他们感到烦躁和不耐烦，这将适得其反，并降低客户体验[3]。

四、将基于大数据的网络营销如何促进传统的网络营销

(一)使网络营销决策更科学，更明智

在传统的网络营销中，经理通常根据过去的经验来制定企业的营销策略，盲目性和主观性很多，缺乏可靠的数据。基于大数据的网络营销使用可以有效地收集有关市场交易和客户消费的数据，并利用数据挖掘技术等网络技术对收集到的数据进行全面科学的分析与处理，从中提取有用的相关信息，比如客户的消费习惯、喜好、消费水平以及行为特征等，从而制定针对客户的个性化营销策略，此外，企业还可以通过数据分析获得市场发展变化的趋势以及客户消费行为的趋势，从而对未来的市场形势作出较为客观的判断，进而帮助企业针对未来一段时间内的行为制定科学合理的'网络营销策略，提升企业的效益[4]。

(二)大大提高了网络营销的准确性

如今，大数据驱动的精准网络营销已成为网络营销的新方向。为了有效地实现这一目标，企业需要在启动网络营销之前依靠大数据技术来准确分析大量的客户数据，以便有效地捕获客户的消费需求，并结合起来制定准确的网络营销策略[5]。此外，在实施网络营销策略后，积极收集客户反馈结果并重新分析客户评论，使企业对客户的实际需求有更深刻的了解，然后制定有效的营销策略。如果某些企业无法有效收集客户反馈信息，则可以收集客户消费信息和历史消费信息，然后对这些数据进行准确的分析，从而改善企业的原始网络营销策略并进行促销以获取准确的信息，进而制定有效的网络营销策略。

(三)显着提高对客户网络营销服务水平

通过利用大数据进行准确的网络营销，企业可以大大改善客户服务水平。这主要体现在两个方面：一方面可以使用大数据准确地分析客户的实际需求，以便企业可以进行有针对性的的营销策略，可以大大提高客户服务质量。另一方面，使企业可以有效地吸收各种信息，例如客户兴趣、爱好和行为特征，以便向每个客户发布感兴趣的推送内容，以便客户可以接收他们真正需要的信息，提高客户满意度。

五、基于大数据的网络营销优势

(一)提高网络营销广告的准确性

在传统的网络营销中，企业倾向于使用大量无法为企业带来相应经济利益的网络广告进行密集推送，效率低下。因此，必须充分利用大数据技术来提高网络营销广告的准确性。首先，根据客户的情况制定策略并推送合适的广告，消费场景在很大程度上影响了消费者的购买情绪，并可以直接确定消费者的购买行为。如果客户在家中购买私人物品，则他们第二天在公司工作时，却同送前一天相关私人物品的各种相关的广告。前一天的搜索行为引起的问题可能会使消费者处于非常尴尬的境地，并影响他们的购买情绪。这表明企业需要有效地识别客户消费场景并根据这些场景发布更准确的广告[6]。一方面，通过IP地址来确定客户端在网络上的位置。客户在公共场所时，广告内容应简洁明了。另一方面，可以通过指定时间段来确定推送通知的内容。在正确的时间宣传正确的内容。其次，提高客户选择广告的自主权。在传统的网络营销中，企业通常采用弹出式广告，插页式广告和浮动广告的形式来强力吸引客户的注意力，从而引起强烈的客户不满。一些客户甚至会毫不犹豫地购买广告拦截软件，以防止企业广告。在这方面，大数据技术可用于改善网络广告的形式和内容并提高其准确性。

(二)提高网络营销市场的定位精度

在诸如电子邮件营销和微信营销之类的网络营销方法中，一个普遍现象是企业拥有大量的粉丝，并向这些粉丝发送了大量的营销信息，但是却没有得到较好的反馈，营销效果较差。造成这种现象的主要原因是企业产品的市场定位不正确。可以通过以下几个方面来提高网络营销市场中的定位精度：

1、分析客户数据并确定产品在市场上的定位：

首先，收集大量基本数据并创建客户数据库。在此过程中，应格外小心，以确保收集到的有关客户的信息是全面的。因此，可以使用各种方法和渠道来收集客户数据。例如，可以通过论坛、企业官方网站、即时通信软件以及购物网站等全面的收集客户的各种信息。收集完成后利用高效的数据分析处理技术对信息进行处理，并得出结果，包括客户的年龄、收入、习惯以及消费行为等结果，然后根据结果对企业的产品进行定位，并与客户的需求相匹配，进而明确市场[7]。

2、通过市场调查对产品市场定位进行验证：

在利用大数据及时对企业产品进行市场定位之后，有必要对进一步进行市场调查，以进一步清晰产品的市场定位，如果市场调查取得较为满意的效果，则表明网络营销策略较为成功，可以加大推广力度以促进产品的销售，如果效果不满意，则要积极分析问题，寻找原因并提出针对性的解决改进措施，以获得较为满意的结果[8]。

3、建立客户反馈机制：

客户反馈机制可以有效的帮助企业改进产品营销策略，主要体现有两个主要功能：一是营销产品在市场初步定为成功后可以通过客户反馈积极征询客户的意见，并进一步改进产品，确保产品更适应市场；二是如果营销产品市场定位不成功，取得的效果不佳，可以通过客户反馈概括定位失败的原因，这将有助于将来的产品准确定位。

(三)增强网络营销服务的个性化

为了增强网络营销服务的个性化，企业不仅必须能够使用大数据识别客户的身份，而且还必须能够智能地设计个性化服务。首先，通过大数据了解客户的身份。一方面，随着网络的日益普及，企业可以在网络上收集客户各个方面的信息。但是，众所周知，由于互联网管理的不规范与复杂性，大多数信息不是高度可靠的，甚至某些信息之间存在着极为明显的矛盾。因此，如果企业想要通过大数据来了解其客户的身份，则必须首先确保所收集的信息是可信且准确的。另一方面，企业必须能够从大量的客户信息中选择最能体现其个性的关键信息，并降低分析企业数据的成本[9]。二是合理设计个性化服务。个性化服务的合理设计要求企业在两个方面进行运营：一方面，由于现实环境的限制，企业无法一一满足所有客户的个性化需求。这就要求企业尽一切努力来满足一部分客户的个性化需求，并根据一般原则开发个性化服务。另一方面，如果完全根据客户的个人需求向他们提供服务，则企业的服务成本将不可避免地急剧上升。因此，企业应该对个性化客户服务进行详细分析，并尝试以适合其个人需求的方式为客户提供服务，而不会给企业造成太大的财务负担。

六、基于大数据网络营销策略

使用大数据的准确网络营销模型基本上包括以下步骤。首先，收集有关客户的大量信息；其次，通过数据分类和分析选择目标客户；第三，根据分析的信息制定准确的网络营销计划；第四，执行营销计划；第五，评估营销结果并计算营销成本；第六，在评估过程的基础上，进一步改善，然后更准确地筛选目标客户。在持续改进的过程中，上述过程可以改善网络营销。因此，在大数据时代，电子商务企业必须突破原始的广泛营销理念，并采用新的营销策略。

(一)客户档案策略

客户档案意味着在收集了有关每个人的基本信息之后，可以大致了解每个人的主要销售特征。客户档案是准确进行电子商务促销的重要基础，也是实现精确营销目标的极其重要的环节。电子商务企业利用客户档案策略可以获得巨大收益。首先，借助其专有的销售平台，电子商务企业可以轻松，及时且可靠地收集客户使用情况数据。其次，在传统模型中收集数据时，由于需要控制成本，因此经常使用抽样来评估数据的一般特征[10]。大数据时代的数据收集模型可以减少错误并提高数据准确性。当分析消费者行为时最好以目标消费者为目标。消费者行为分析是对客户的消费目的和消费能力的分析，可帮助电子商务企业更好地选择合适的目标客户。在操作中，电子商务企业需要在创建数据库后继续优化分析结果，以最大程度地分析消费者的偏好。

(二)满足需求策略

为了满足多数人的需求，传统的营销方法逐渐变得更加同质。结果，难以满足少数客户的特殊需求，并且导致利润损失。基于大数据客户档案技术的电子商务企业可以分析每个客户的需求，并采取差异化人群的不同需求最大化的策略，从而获取较大的利润。为了满足每个客户的需求，最重要的是实现差异化，而不仅仅是满足多数人的需求，因此必须准确地分析客户的需求，还必须根据客户的需求提供更多个性化的产品[11]。比如当前，定制行业非常流行，卖方可以根据买方提供的信息定制独特的产品，该产品的利润率远高于批量生产线。

(三)客户服务策略

随着网络技术的逐步发展，电子商务企业和客户可以随时进行通信，这基本上消除了信息不对称的问题，使客户可以更好地了解他们想要购买的产品以及遇到问题时的情况。当出现问题时，可以第一时间解决，提高交易速度。因此，当电子商务企业制定用于客户服务的营销策略时，一切都以客户为中心。为了更好地实施此策略，必须首先改善数据库并加深对客户需求的了解[12]。二是提高售前、售后服务质量，开展集体客户服务培训，缩短客户咨询等待时间，改善客户服务。最后，我们必须高度重视消费者对产品和服务的评估，及时纠正不良评论，并鼓励消费者进行更多评估，良好的服务态度和高质量的产品可以大大提高目标客户对产品的忠诚度，并且可以吸引消费者进行第二次购买。

(四)多平台组合策略

在信息时代，人们可以在任何地方看到任何信息，这也将分散他们的注意力，并且重新定向他们的注意力已经成为一个大问题。如果希望得到更多关注，则可以组合跨多个平台的营销策略，并在网络平台和传统平台上混合营销。网络平台可以更好地定位自己并吸引更多关注，而传统平台则可以更好地激发人们的购买欲望。平台融合策略可以帮助电子商务企业扩大获取客户的渠道，不同渠道的用户购买趋势不同，可以改善数据库[13]。

七、结语

总体而言，大数据时代不仅给网络营销带来了挑战，而且还带来了新的机遇。大数据分析不仅可以提高准确营销的效果，更好地服务消费者，改变传统的被动营销形式，并提升网络营销效果。

参考文献

[1]刘俭云.大数据精准营销的网络营销策略分析[J].环球市场，2019(16):98.

[2]栗明，曾康有.大数据时代下营业网点的精准营销[J].金融科技时代，2019(05):14-19.

[3]刘莹.大数据背景下网络媒体广告精准营销的创新研究[J].中国商论，2018(19):58-59.

[4]李研，高书波，冯忠伟.基于运营商大数据技术的精准营销应用研究[J].信息技术，2017(05):178-180.

[5]袁征.基于大数据应用的营销策略创新研究[J].中国经贸导刊(理论版),2017(14):59-62.

[6]邱媛媛.基于大数据的020平台精准营销策略研究[J].齐齐哈尔大学学报(哲学社会科学版),2016(12):60-62.

[7]张龙辉.基于大数据的客户细分模型及精确营销策略研究[J].河北工程大学学报(社会科学版),2017,34(04):27-28.

[8]李巧丹.基于大数据的特色农产品精准营销创新研究——以广东省中市山为例[J].江苏农业科学，2017,45(06):318-321.

[9]孙洪池，林正杰.基于大数据的B2C网络精准营销应用研究——以中国零售商品型企业为例[J].全国流通经济，2016(12):3-6.

[10]赵玉欣，王艳萍，关蕾.大数据背景下电商企业精准营销模式研究[J].现代商业，2018(15):46-47.

[11]张冠凤.基于大数据时代下的网络营销模式分析[J].现代商业，2014(32):59-60.

[12]王克富.论大数据视角下零售业精准营销的应用实现[J].商业经济研究，2015(06):50-51.

[13]陈慧，王明宇.大数据：让网络营销更“精准”[J].电子商务，2014(07):32-33.

;

㈤ 大数据精准营销的价值和方法

大数据精准营销的价值和方法

大数据营销价值：

随着全球的信息总量呈现爆炸式增长，移动互联网、可选渠道和设备增加以及不断变化的消费者特征，同时大数据技术的更新日益。大数据营销依托多平台的数据采集及大数据技术的分析及预测能力，使企业的营销更加精准，为企业带来更高的投资回报率。无论是线上还是线下大数据营销的核心在于在合适的时间，基于你对用户的了解，把你希望推送的东西通过合适的载体，以合适的方式，推送给合适的人。

大数据营销关键问题：问题1：怎么才能准确知道Who？Where？Do What? How Do?

大数据营销首先要解决的是数据汇聚的问题。通过打通用户在多个渠道上的行为数据，构建对用户行为和用户数据的深入洞察，一方面实时监控各渠道的用户行为特征，运营和营销的效果，进行优化；另一方面集中用户的数据，便于后续的深入挖掘工作，实现以用户为中心的数据汇聚，提升用户数据价值，实现用户交互的精准识别和多渠道数据打通，为用户提供更准确的服务和营销。

问题2：渠道及交叉渠道组合方式如何选择？

当营销预算不够的时候，如何在搜索和其他的渠道间进行营销预算的分配？是选择电子商务最优搜索渠道还是选择跨渠道组合营销呢？跨渠道营销预算如何进行排列组合？

问题3：如何通过个性化营销让企业离用户更近一点？

营销方式从海量广告过度到一对一以用户体验为中心的精准营销，一对一精准营销实际上是对于任何一个互联网用户在那一刻，在那一个渠道以一个独特的价格，推送一个独特的广告创意，效果是怎么样的。围绕用户、业务场景、触点、营销推送内容/活动推荐，并且基于跨渠道触发式的营销能力，在注重用户体验同时达到最佳的营销效果，并且可对营销进行跟踪，从而不断优化营销策略。

问题4：如何实现基于大数据营销的即时营销？

企业希望通过实时分析来获取竞争优势。精准营销也要求在活动的同时我们就能得到数据，立即优化营销效果。

大数据营销系统组成：

基于大数据的精准营销过程分为：采集和处理数据、建模分析数据、解读数据这么三个大层面。通过对客户特征、产品特征、消费行为特征数据的采集和处理，可以进行多维度的客户消费特征分析、产品策略分析和销售策略指导分析。通过准确把握客户需求、增加客户互动的方式推动营销策略的策划和执行。

网舟科技大数据营销项目的解决方案主体为：数据整合营销平台

营销管理平台中心有一个通用的工作流引擎，以及创新生动的用户界面。它具有高度自动化的特点，基于角色的协作，工作流工具使营销上很容易定义流程规划和管理预算、资源和内容，细分客户，定义规则和机制，创建和重建模板，执行活动，捕捉反应，定义领导流程和结果分析。营销商根据需求动态的格式化内容协调所有营销过程与跨越多渠道的用户交互，而视觉框架使这一切变得更直观。

大数据精准营销实现方式：

通过一个表达式构建器、原始SQL、或通过预定的过滤器进行构造。即可以基于一个无限数量的隐式或显式条件下，利用底层营销数据：包括历史客户交易、人口统计、模型评分、营销历史以及浏览行为等实时变量，进行细分和决策规则的配置。支持Offer（针对不同特点客户所要提供的营销内容、素材等的供给物）与渠道(网站、手机应用、邮件短信等)的关联配置。数据营销后台可对各触点的推送offer中的推送规则、推送内容进行定义，还可实现多渠道、多波次的营销定义，并负责精准营销的推荐实施。

以上是小编为大家分享的关于大数据精准营销的价值和方法的相关内容，更多信息可以关注环球青藤分享更多干货

㈥ 如何用大数据炒股

我们如今生活在一个数据爆炸的世界里。网络每天响应超过60亿次的搜索请求，日处理数据超过100PB，相当于6000多座中国国家图书馆的书籍信息量总和。新浪微博每天都会发布上亿条微博。在荒无人烟的郊外，暗藏着无数大公司的信息存储中心，24小时夜以继日地运转着。
克托·迈尔-舍恩伯格在《大数据时代》一书中认为，大数据的核心就是预测，即只要数据丰富到一定程度，就可预测事情发生的可能性。例如，“从一个人乱穿马路时行进的轨迹和速度来看他能及时穿过马路的可能性”，或者通过一个人穿过马路的速度，预测车子何时应该减速从而让他及时穿过马路。

那么，如果把这种预测能力应用在股票投资上，又会如何？

目前，美国已经有许多对冲基金采用大数据技术进行投资，并且收获甚丰。中国的中证广发网络百发100指数基金（下称百发100），上线四个多月以来已上涨68%。

和传统量化投资类似，大数据投资也是依靠模型，但模型里的数据变量几何倍地增加了，在原有的金融结构化数据基础上，增加了社交言论、地理信息、卫星监测等非结构化数据，并且将这些非结构化数据进行量化，从而让模型可以吸收。

由于大数据模型对成本要求极高，业内人士认为，大数据将成为共享平台化的服务，数据和技术相当于食材和锅，基金经理和分析师可以通过平台制作自己的策略。

量化非结构数据

不要小看大数据的本领，正是这项刚刚兴起的技术已经创造了无数“未卜先知”的奇迹。

2014年，网络用大数据技术预测命中了全国18卷中12卷高考作文题目，被网友称为“神预测”。网络公司人士表示，在这个大数据池中，包含互联网积累的用户数据、历年的命题数据以及教育机构对出题方向作出的判断。

在2014年巴西世界杯比赛中，Google亦通过大数据技术成功预测了16强和8强名单。

从当年英格兰报社的信鸽、费城股票交易所的信号灯到报纸电话，再到如今的互联网、云计算、大数据，前沿技术迅速在投资领域落地。在股票策略中，大数据日益崭露头角。

做股票投资策略，需要的大数据可以分为结构化数据和非结构化数据。结构化数据，简单说就是“一堆数字”，通常包括传统量化分析中常用的CPI、PMI、市值、交易量等专业信息；非结构化数据就是社交文字、地理位置、用户行为等“还没有进行量化的信息”。

量化非结构化就是用深度模型替代简单线性模型的过程，其中所涉及的技术包括自然语言处理、语音识别、图像识别等。

金融大数据平台-通联数据CEO王政表示，通联数据采用的非结构化数据可以分为三类：第一类和人相关，包括社交言论、消费、去过的地点等；第二类与物相关，如通过正在行驶的船只和货车判断物联网情况；第三类则是卫星监测的环境信息，包括汽车流、港口装载量、新的建筑开工等情况。

卫星监测信息在美国已被投入使用，2014年Google斥资5亿美元收购了卫星公司Skybox，从而可以获得实施卫星监测信息。

结构化和非结构化数据也常常相互转化。“结构化和非结构化数据可以形象理解成把所有数据装在一个篮子里，根据应用策略不同相互转化。例如，在搜索频率调查中，用户搜索就是结构化数据；在金融策略分析中，用户搜索就是非结构化数据。”网络公司人士表示。

华尔街拿着丰厚薪水的分析师们还不知道，自己的雇主已经将大量资本投向了取代自己的机器。
2014年11月23日，高盛向Kensho公司投资1500万美元，以支持该公司的大数据平台建设。该平台很像iPhone里的Siri，可以快速整合海量数据进行分析，并且回答投资者提出的各种金融问题，例如“下月有飓风，将对美国建材板块造成什么影响？”

在Kensho处理的信息中，有80%是“非结构化”数据，例如政策文件、自然事件、地理环境、科技创新等。这类信息通常是电脑和模型难以消化的。因此，Kensho的CEO Daniel Nadler认为，华尔街过去是基于20%的信息做出100%的决策。

既然说到高盛，顺便提一下，这家华尔街老牌投行如今对大数据可谓青睐有加。除了Kensho，高盛还和Fortress信贷集团在两年前投资了8000万美元给小额融资平台On Deck Capital。这家公司的核心竞争力也是大数据，它利用大数据对中小企业进行分析，从而选出值得投资的企业并以很快的速度为之提供短期贷款。

捕捉市场情绪

上述诸多非结构化数据，归根结底是为了获得一个信息：市场情绪。

在采访中，2013年诺贝尔经济学奖得主罗伯特•席勒的观点被无数采访对象引述。可以说，大数据策略投资的创业者们无一不是席勒的信奉者。

席勒于上世纪80年代设计的投资模型至今仍被业内称道。在他的模型中，主要参考三个变量：投资项目计划的现金流、公司资本的估算成本、股票市场对投资的反应（市场情绪）。他认为，市场本身带有主观判断因素，投资者情绪会影响投资行为，而投资行为直接影响资产价格。
然而，在大数据技术诞生之前，市场情绪始终无法进行量化。

回顾人类股票投资发展史，其实就是将影响股价的因子不断量化的过程。

上世纪70年代以前，股票投资是一种定性的分析，没有数据应用，而是一门主观的艺术。随着电脑的普及，很多人开始研究驱动股价变化的规律，把传统基本面研究方法用模型代替，市盈率、市净率的概念诞生，量化投资由此兴起。

量化投资技术的兴起也带动了一批华尔街大鳄的诞生。例如，巴克莱全球投资者（BGI）在上世纪70年代就以其超越同行的电脑模型成为全球最大的基金管理公司；进入80年代，另一家基金公司文艺复兴（Renaissance）年均回报率在扣除管理费和投资收益分成等费用后仍高达34%，堪称当时最佳的对冲基金，之后十多年该基金资产亦十分稳定。

“从主观判断到量化投资，是从艺术转为科学的过程。”王政表示，上世纪70年代以前一个基本面研究员只能关注20只到50只股票，覆盖面很有限。有了量化模型就可以覆盖所有股票，这就是一个大的飞跃。此外，随着计算机处理能力的发展，信息的用量也有一个飞跃变化。过去看三个指标就够了，现在看的指标越来越多，做出的预测越来越准确。

随着21世纪的到来，量化投资又遇到了新的瓶颈，就是同质化竞争。各家机构的量化模型越来越趋同，导致投资结果同涨同跌。“能否在看到报表数据之前，用更大的数据寻找规律？”这是大数据策略创业者们试图解决的问题。

于是，量化投资的多米诺骨牌终于触碰到了席勒理论的第三层变量——市场情绪。

计算机通过分析新闻、研究报告、社交信息、搜索行为等，借助自然语言处理方法，提取有用的信息；而借助机器学习智能分析，过去量化投资只能覆盖几十个策略，大数据投资则可以覆盖成千上万个策略。

基于互联网搜索数据和社交行为的经济预测研究，已逐渐成为一个新的学术热点，并在经济、社会以及健康等领域的研究中取得了一定成果。在资本市场应用上，研究发现搜索数据可有效预测未来股市活跃度（以交易量指标衡量）及股价走势的变化。

海外就有学术研究指出，公司的名称或者相关关键词的搜索量，与该公司的股票交易量正相关。德国科学家Tobias Preis就进行了如此研究：Tobias利用谷歌搜索引擎和谷歌趋势（Google Trends），以美国标普500指数的500只股票为其样本，以2004年至2010年为观察区间，发现谷歌趋势数据的公司名称搜索量和对应股票的交易量，在每周一次的时间尺度上有高度关联性。也就是说，当某个公司名称在谷歌的搜索量活动增加时，无论股票的价格是上涨或者下跌，股票成交量与搜索量增加；反之亦然，搜索量下降，股票成交量下降。以标普500指数的样本股为基础，依据上述策略构建的模拟投资组合在六年的时间内获得了高达329%的累计收益。

在美国市场上，还有多家私募对冲基金利用Twitter和Facebook的社交数据作为反映投资者情绪和市场趋势的因子，构建对冲投资策略。利用互联网大数据进行投资策略和工具的开发已经成为世界金融投资领域的新热点。

保罗·霍丁管理的对冲基金Derwent成立于2011年5月，注册在开曼群岛，初始规模约为4000万美元， 2013年投资收益高达23.77%。该基金的投资标的包括流动性较好的股票及股票指数产品。
通联数据董事长肖风在《投资革命》中写道，Derwent的投资策略是通过实时跟踪Twitter用户的情绪，以此感知市场参与者的“贪婪与恐惧”，从而判断市场涨跌来获利。

在Derwent的网页上可以看到这样一句话：“用实时的社交媒体解码暗藏的交易机会。”保罗·霍丁在基金宣传册中表示：“多年以来，投资者已经普遍接受一种观点，即恐惧和贪婪是金融市场的驱动力。但是以前人们没有技术或数据来对人类情感进行量化。这是第四维。Derwent就是要通过即时关注Twitter中的公众情绪，指导投资。”

另一家位于美国加州的对冲基金MarketPsych与汤普森·路透合作提供了分布在119个国家不低于18864项独立指数，比如每分钟更新的心情状态（包括乐观、忧郁、快乐、害怕、生气，甚至还包括创新、诉讼及冲突情况等），而这些指数都是通过分析Twitter的数据文本，作为股市投资的信号。

此类基金还在不断涌现。金融危机后，几个台湾年轻人在波士顿组建了一家名为FlyBerry的对冲基金，口号是“Modeling the World（把世界建模）”。它的投资理念全部依托大数据技术，通过监测市场舆论和行为，对投资做出秒速判断。

关于社交媒体信息的量化应用，在股票投资之外的领域也很常见：Twitter自己也十分注重信息的开发挖掘，它与DataSift和Gnip两家公司达成了一项出售数据访问权限的协议，销售人们的想法、情绪和沟通数据，从而作为顾客的反馈意见汇总后对商业营销活动的效果进行判断。从事类似工作的公司还有DMetics，它通过对人们的购物行为进行分析，寻找影响消费者最终选择的细微原因。

回到股票世界，利用社交媒体信息做投资的公司还有StockTwits。打开这家网站，首先映入眼帘的宣传语是“看看投资者和交易员此刻正如何讨论你的股票”。正如其名，这家网站相当于“股票界的Twitter”，主要面向分析师、媒体和投资者。它通过机器和人工相结合的手段，将关于股票和市场的信息整理为140字以内的短消息供用户参考。

此外，StockTwits还整合了社交功能，并作为插件可以嵌入Twitter、Facebook和LinkedIn等主要社交平台，让人们可以轻易分享投资信息。

另一家公司Market Prophit也很有趣。这家网站的宣传语是“从社交媒体噪音中提炼市场信号”。和StockTwits相比，Market Prophit更加注重大数据的应用。它采用了先进的语义分析法，可以将Twitter里的金融对话量化为“-1（极度看空）”到“1（极度看多）”之间的投资建议。网站还根据语义量化，每天公布前十名和后十名的股票热度榜单。网站还设计了“热度地图”功能，根据投资者情绪和意见，按照不同板块，将板块内的个股按照颜色深浅进行标注，谁涨谁跌一目了然。

中国原创大数据指数

尽管大数据策略投资在美国貌似炙手可热，但事实上，其应用尚仅限于中小型对冲基金和创业平台公司。大数据策略投资第一次被大规模应用，应归于中国的百发100。

网络金融中心相关负责人表示，与欧美等成熟资本市场主要由理性机构投资者构成相比，东亚尤其是中国的股票类证券投资市场仍以散户为主，因此市场受投资者情绪和宏观政策性因素影响很大。而个人投资者行为可以更多地反映在互联网用户行为大数据上，从而为有效地预测市场情绪和趋势提供了可能。这也就是中国国内公募基金在应用互联网大数据投资方面比海外市场并不落后、甚至领先的原因。

百发100指数由网络、中证指数公司、广发基金联合研发推出，于2014年7月8日正式对市场发布，实盘运行以来一路上涨，涨幅超过60%。跟踪该指数的指数基金规模上限为30亿份，2014年9月17日正式获批，10月20日发行时一度创下26小时疯卖18亿份的“神话”。

外界都知道百发100是依托大数据的指数基金，但其背后的细节鲜为人知。

百发100数据层面的分析分为两个层面，即数据工厂的数据归集和数据处理系统的数据分析。其中数据工厂负责大数据的收集分析，例如将来源于互联网的非结构化数据进行指标化、产品化等数据量化过程；数据处理系统，可以在数据工厂递交的大数据中寻找相互统计关联，提取有效信息，最终应用于策略投资。

“其实百发100是在传统量化投资技术上融合了基于互联网大数据的市场走势和投资情绪判断。”业内人士概括道。

和传统量化投资类似，百发100对样本股的甄选要考虑财务因子、基本面因子和动量因子，包括净资产收益率（ROE）、资产收益率（ROA）、每股收益增长率（EPS）、流动负债比率、企业价值倍数（EV/EBITDA）、净利润同比增长率、股权集中度、自由流通市值以及最近一个月的个股价格收益率和波动率等。

此外，市场走势和投资情绪是在传统量化策略基础上的创新产物，也是百发100的核心竞争力。接近网络的人士称，市场情绪因子对百发100基金起决定性作用。

网络金融中心相关负责人是罗伯特•席勒观点的支持者。他认为，投资者行为和情绪对资产价格、市场走势有着巨大的影响。因此“通过互联网用户行为大数据反映的投资市场情绪、宏观经济预期和走势，成为百发100指数模型引入大数据因子的重点”。

传统量化投资主要着眼点在于对专业化金融市场基本面和交易数据的应用。但在网络金融中心相关业务负责人看来，无论是来源于专业金融市场的结构化数据，还是来源于互联网的非结构化数据，都是可以利用的数据资源。因此，前文所述的市场情绪数据，包括来源于互联网的用户行为、搜索量、市场舆情、宏观基本面预期等等，都被网络“变废为宝”，从而通过互联网找到投资者参与特征，选出投资者关注度较高的股票。

“与同期沪深300指数的表现相较，百发100更能在股票市场振荡时期、行业轮动剧烈时期、基本面不明朗时期抓住市场热点、了解投资者情绪、抗击投资波动风险。”网络金融中心相关负责人表示。

百发100选取的100只样本股更换频率是一个月，调整时间为每月第三周的周五。

业内人士指出，百发100指数的月收益率与中证100、沪深300、中证500的相关性依次提升，说明其投资风格偏向中小盘。

但事实并非如此。从样本股的构成来说，以某一期样本股为例，样本股总市值6700亿元，占A股市值4.7%。样本股的构成上，中小板21只，创业板4只，其余75只样本股均为大盘股。由此可见，百发100还是偏向大盘为主、反映主流市场走势。

样本股每个月的改变比例都不同，最极端的时候曾经有60%进行了换仓。用大数据预测热点变化，市场热点往往更迭很快；但同时也要考虑交易成本。两方面考虑，网络最后测算认为一个月换一次仓位为最佳。

样本股对百发100而言是核心机密——据说“全世界只有基金经理和指数编制机构负责人两个人知道”——都是由机器决定后，基金经理分配给不同的交易员建仓买入。基金经理也没有改变样本股的权利。

展望未来，网络金融中心相关负责人踌躇满志，“百发100指数及基金的推出，只是我们的开端和尝试，未来将形成多样化、系列投资产品。”

除了百发100，目前市场上打着大数据旗帜的基金还有2014年9月推出的南方-新浪I100和I300指数基金。

南方-新浪I100和I300是由南方基金、新浪财经和深圳证券信息公司三方联合编制的。和百发100类似，也是按照财务因子和市场情绪因子进行模型打分，按照分值将前100和前300名股票构成样本股。推出至今，这两个指数基金分别上涨了10%左右。

正如百发100的市场情绪因子来自网络，南方-新浪I100和I300的市场情绪因子全部来自新浪平台。其中包括用户在新浪财经对行情的访问热度、对股票的搜索热度；用户在新浪财经对股票相关新闻的浏览热度；股票相关微博的多空分析数据等。

此外，阿里巴巴旗下的天弘基金也有意在大数据策略上做文章。据了解，天弘基金将和阿里巴巴合作，推出大数据基金产品，最早将于2015年初问世。

天弘基金机构产品部总经理刘燕曾对媒体表示，“在传统的调研上，大数据将贡献于基础资产的研究，而以往过度依赖线下研究报告。大数据将视野拓展至了线上的数据分析，给基金经理选股带来新的逻辑。”

在BAT三巨头中，腾讯其实是最早推出指数基金的。腾讯与中证指数公司、济安金信公司合作开发的“中证腾安价值100指数”早在2013年5月就发布了，号称是国内第一家由互联网媒体与专业机构编制发布的A股指数。不过，业内人士表示，有关指数并没有真正应用大数据技术。虽然腾讯旗下的微信是目前最热的社交平台，蕴藏了大量的社交数据，但腾讯未来怎么开发，目前还并不清晰。

大数据投资平台化

中欧商学院副教授陈威如在其《平台战略》一书中提到，21世纪将成为一道分水岭，人类商业行为将全面普及平台模式，大数据金融也不例外。

然而，由于大数据模型对成本要求极高，就好比不可能每家公司都搭建自己的云计算系统一样，让每家机构自己建设大数据模型，从数据来源和处理技术方面看都是不现实的。业内人士认为，大数据未来必将成为平台化的服务。

目前，阿里、网络等企业都表示下一步方向是平台化。

蚂蚁金服所致力搭建的平台，一方面包括招财宝一类的金融产品平台，另一方面包括云计算、大数据服务平台。蚂蚁金服人士说，“我们很清楚自己的优势不是金融，而是包括电商、云计算、大数据等技术。蚂蚁金服希望用这些技术搭建一个基础平台，把这些能力开放出去，供金融机构使用。”

网络亦是如此。接近网络的人士称，未来是否向平台化发展，目前还在讨论中，但可以确定的是，“网络不是金融机构，目的不是发产品，百发100的意义在于打造影响力，而非经济效益。”
当BAT还在摸索前行时，已有嗅觉灵敏者抢占了先机，那就是通联数据。

通联数据股份公司（DataYes）由曾任博时基金副董事长肖风带队创建、万向集团投资成立，总部位于上海，公司愿景是“让投资更容易，用金融服务云平台提升投资管理效率和投研能力”。该平台7月上线公测，目前已拥有130多家机构客户，逾万名个人投资者。

通联数据目前有四个主要平台，分别是通联智能投资研究平台、通联金融大数据服务平台、通联多资产投资管理平台和金融移动办公平台。

通联智能投资研究平台包括雅典娜-智能事件研究、策略研究、智能研报三款产品，可以对基于自然语言的智能事件进行策略分析，实时跟踪市场热点，捕捉市场情绪。可以说，和百发100类似，其核心技术在于将互联网非结构化数据的量化使用。

通联金融大数据服务平台更侧重于专业金融数据的分析整理。它可以提供公司基本面数据、国内外主要证券、期货交易所的行情数据、公司公告数据、公关经济、行业动态的结构化数据、金融新闻和舆情的非结构化数据等。

假如将上述两个平台比作“收割机”，通联多资产投资管理平台就是“厨房”。在这个“厨房”里，可以进行全球跨资产的投资组合管理方案、订单管理方案、资产证券化定价分析方案等。

通联数据可以按照主题热点或者自定义关键字进行分析，构建知识图谱，将相关的新闻和股票提取做成简洁的分析框架。例如用户对特斯拉感兴趣，就可以通过主题热点看到和特斯拉相关的公司，并判断这个概念是否值得投资。“过去这个搜集过程要花费几天时间，现在只需要几分钟就可以完成。”王政表示。

“通联数据就好比一家餐馆，我们把所有原料搜集来、清洗好、准备好，同时准备了一个锅，也就是大数据存储平台。研究员和基金经理像厨师一样，用原料、工具去‘烹制’自己的策略。”王政形容道。

大数据在平台上扮演的角色，就是寻找关联关系。人类总是习惯首先构建因果关系，继而去倒推和佐证。机器学习则不然，它可以在海量数据中查获超越人类想象的关联关系。正如维克托`迈尔-舍恩伯格在《大数据时代》中所提到的，社会需要放弃它对因果关系的渴求，而仅需关注相互关系。

例如，美国超市沃尔玛通过大数据分析，发现飓风用品和蛋挞摆在一起可以提高销量，并由此创造了颇大的经济效益。如果没有大数据技术，谁能将这毫无关联的两件商品联系在一起？
通联数据通过机器学习，也能找到传统量化策略无法发现的市场联系。其中包括各家公司之间的资本关系、产品关系、竞争关系、上下游关系，也包括人与人之间的关系，例如管理团队和其他公司有没有关联，是否牵扯合作等。

未来量化研究员是否将成为一个被淘汰的职业？目前研究员的主要工作就是收集整理数据，变成投资决策，而之后这个工作将更多由机器完成。

“当初医疗科技发展时，人们也认为医生会被淘汰，但其实并不会。同理，研究员也会一直存在，但他们会更注重深入分析和调研，初级的数据搜集可以交给机器完成。”王政表示。
但当未来大数据平台并广泛应用后，是否会迅速挤压套利空间？这也是一个问题。回答根据网上资料整理

㈦ 在大数据时代，数据拥有者的商业模式有哪些

在大数据成为趋势，成为国家战略的今天，如何最大限度发挥大数据的价值成为人们思考的问题。无论是对于互联网企业、电信运营商还是数量众多的初创企业而言，大数据的变现显得尤为重要。谁最先一步找到密码，谁就能够抢占市场，赢得发展。在探索大数据商业模式的同时，大数据正加速在各行各业的应用，大数据不仅为人们的购物、出行、交友提供了帮助，甚至还在高考这样重要的事件中发挥作用。

大数据产业具有无污染、生态友好、低投入高附加值特点，对于我国转变过去资源因素型经济增长方式、推进“互联网+”行动计划、实现国家制造业30年发展目标有战略意义。前几年，国内大数据产业讨论较多、落地较少，商业模式处于初探期，行业处于两种极端：一种是过热的浮躁带来了一定的泡沫和产业风险；一种是怀疑大数据只是炒作，依然坚持传统管理理念、经营模式。但是进入2015年之后，大数据产业告别了泡沫，进入更务实的发展阶段，从产业萌芽期进入了成长期。当前，如何将大数据变现成为业界探索的重要方向。

B2B大数据交易所

国内外均有企业在推动大数据交易。目前，我国正在探索“国家队”性质的B2B大数据交易所模式。

2014年2月20日，国内首个面向数据交易的产业组织—中关村大数据交易产业联盟成立，同日，中关村数海大数据交易平台启动，定位大数据的交易服务平台。2015年4月15日，贵阳大数据交易所正式挂牌运营并完成首批大数据交易。贵阳大数据交易所完成的首批数据交易卖方为深圳市腾讯计算机系统有限公司、广东省数字广东研究院，买方为京东云平台、中金数据系统有限公司。2015年5月26日，在2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会上，贵阳大数据交易所推出《2015年中国大数据交易白皮书》和《贵阳大数据交易所702公约》，为大数据交易所的性质、目的、交易标的、信息隐私保护等指明了方向，奠定了大数据金矿变现的产业基础。

咨询研究报告

国内咨询报告的数据大多来源于国家统计局等各部委的统计数据，由专业的研究员对数据加以分析、挖掘，找出各行业的定量特点进而得出定性结论，常见于“市场调研分析及发展咨询报告”，如“2015～2020年中国通信设备行业市场调研分析及发展咨询报告”、“2015～2020年中国手机行业销售状况分析及发展策略”、“2015年光纤市场分析报告”等，这些咨询报告面向社会销售，其实就是O2O的大数据交易模式。

各行各业的分析报告为行业内的大量企业提供了智力成果、企业运营和市场营销的数据参考，有利于市场优化供应链，避免产能过剩，维持市场稳定。这些都是以统计部门的结构化数据和非结构化数据为基础的专业研究，这就是传统的一对多的行业大数据商业模式。

数据挖掘云计算软件

云计算的出现为中小企业分析海量数据提供了廉价的解决方案，SaaS模式是云计算的最大魅力所在。云计算服务中SaaS软件可以提供数据挖掘、数据清洗的第三方软件和插件。

业内曾有专家指出，大数据=海量数据+分析软件+挖掘过程，通过强大的各有千秋的分析软件来提供多样性的数据挖掘服务就是其盈利模式。国内已经有大数据公司开发了这些架构在云端的大数据分析软件：它集统计分析、数据挖掘和商务智能于一体，用户只需要将数据导入该平台，就可以利用该平台提供的丰富算法和模型，进行数据处理、基础统计、高级统计、数据挖掘、数据制图和结果输出等。数据由系统统一进行管理，能够区分私有和公有数据，可以保证私有数据只供持有者使用，同时支持多样数据源接入，适合分析各行各业的数据，易学好用、操作界面简易直观，普通用户稍做了解即可使用，同时也适合高端用户自己建模进行二次开发。

大数据咨询分析服务

机构及企业规模越大其拥有的数据量就越大，但是很少有企业像大型互联网公司那样有自己的大数据分析团队，因此必然存在一些专业型的大数据咨询公司，这些公司提供基于管理咨询的大数据建模、大数据分析、商业模式转型、市场营销策划等，有了大数据作为依据，咨询公司的结论和咨询成果更加有说服力，这也是传统咨询公司的转型方向。比如某国外大型IT研究与顾问咨询公司的副总裁在公开场合曾表示，大数据能使贵州农业节省60%的投入，同时增加80%的产出。该公司能做出这样的论断当然是基于其对贵州农业、天气、土壤等数据的日积月累以及其建模分析能力。

政府决策咨询智库

党的十八届三中全会通过的《中共中央关于全面深化改革若干重大问题的决定》明确提出，加强中国特色新型智库建设，建立健全决策咨询制度。这是中共中央文件首次提出“智库”概念。

近几年，一批以建设现代化智库为导向、以服务国家发展战略为目标的智库迅速成立，中国智库数量从2008年的全球第12位跃居当前第2位。大数据是智库的核心，没有了数据，智库的预测和分析将为无源之水。在海量信息甚至泛滥的情况下，智库要提升梳理、整合信息的能力必然需要依靠大数据分析。

研究认为，93%的行为是可以预测的，如果将事件数字化、公式化、模型化，其实多么复杂的事件都是有其可以预知的规律可循，事态的发展走向是极易被预测的。可见，大数据的应用将不断提高政府的决策效率和决策科学性。

自有平台大数据分析

随着大数据的价值被各行各业逐渐认可，拥有广大客户群的大中型企业也开始开发、建设自有平台来分析大数据，并嵌入到企业内部的ERP系统信息流，由数据来引导企业内部决策、运营、现金流管理、市场开拓等，起到了企业内部价值链增值的作用。

在分析1.0时代，数据仓库被视作分析的基础。2.0时代，公司主要依靠Hadoop集群和NoSQL数据库。3.0时代的新型“敏捷”分析方法和机器学习技术正在以更快的速度来提供分析结果。更多的企业将在其战略部门设置首席分析官，组织跨部门、跨学科、知识结构丰富、营销经验丰富的人员进行各种类型数据的混合分析。

大数据投资工具

证券市场行为、各类指数与投资者的分析、判断以及情绪都有很大关系。2002年诺贝尔经济学奖授予了行为经济学家卡尼曼和实验经济学家史密斯，行为经济学开始被主流经济学所接受，行为金融理论将心理学尤其是行为科学理论融入金融中。现实生活中拥有大量用户数据的互联网公司将其论坛、博客、新闻报道、文章、网民用户情绪、投资行为与股票行情对接，研究的是互联网的行为数据，关注热点及市场情绪，动态调整投资组合，开发出大数据投资工具，比如大数据类基金等。这些投资工具直接将大数据转化为投资理财产品。

定向采购线上交易平台

数据分析结果很多时候是其他行业的业务基础，国内目前对实体经济的电子商务化已经做到了B2C、C2C、B2B等，甚至目前O2O也越来越流行，但是对于数据这种虚拟商品而言，目前还没有具体的线上交易平台。比如服装制造企业针对某个省份的市场，需要该市场客户的身高、体重的中位数和平均数数据，那么医院体检部门、专业体检机构就是这些数据的供给方。通过获取这些数据，服装企业将可以开展精细化生产，以更低的成本生产出贴合市场需求的服装。假想一下，如果有这样一个“大数据定向采购平台”，就像淘宝购物一样，可以发起买方需求，也可以推出卖方产品，通过这样的模式，外加第三方支付平台，“数据分析结论”这种商品就会悄然而生，这种商品不占用物流资源、不污染环境、快速响应，但是却有“供”和“需”双方巨大的市场。而且通过这种平台可以保障基础数据安全，大数据定向采购服务平台交易的不是底层的基础数据，而是通过清洗建模出来的数据结果。所有卖方、买方都要实名认证，建立诚信档案机制并与国家信用体系打通。

非营利性数据征信评价机构

在国家将公民信息保护纳入刑法范围之前，公民个人信息经常被明码标价公开出售,并且形成了一个“灰色产业”。为此，2009年2月28日通过的刑法修正案（七）中新增了出售、非法提供公民个人信息罪，非法获取公民个人信息罪。该法条中特指国家机关或者金融、电信、交通、教育、医疗等单位的工作人员，不得将公民个人信息出售或非法提供给他人。而公民的信息在各种考试中介机构、房产中介、钓鱼网站、网站论坛依然在出售，诈骗电话、骚扰电话、推销电话在增加运营商话务量的同时也在破坏整个社会的信用体系和公民的安全感。

虽然数据交易之前是交易所规定的经过数据清洗的数据，但是交易所员工从本质上是无法监控全国海量的数据的。数据清洗只是对不符合格式要求的数据进行清洗，主要有不完整的数据、错误的数据、重复的数据三大类。因此，建立非营利性数据征信评价机构是非常有必要的，将数据征信纳入企业及个人征信系统，作为全国征信系统的一部分，避免黑市交易变成市场的正常行为。

除了征信评价机构之外，未来国家公共安全部门也许会成立数据安全局，纳入网络警察范畴，重点打击将侵犯企业商业秘密、公民隐私的基础数据进行数据贩卖的行为。

结语：

大数据已经从论坛串场、浮躁的观点逐步走向国家治理体系建设、营销管理、生产管理、证券市场等方面，其商业模式也多种多样。市场经验表明，存在买卖就存在商品经济，具体哪种商业模式占主流将由市场决定。而最终的事实将证明，大数据交易商品经济必然成为“互联网+”的重要组成部分。

㈧ 什么是大数据交易

现在关于大数据都是在滥用概念。大数据本意指运算的数据量大。而很多专商家或者传媒为了夺人属眼球，胡乱的编造些怪异概念出来。而所谓的大数据交易，其实就是通过网络在线搜索关注度很高的交易标的，这种方法未必可行。关键的还是要自己认真分析。首先是根据政策的方向，把握行业机会，再在行业中去寻找具有高门槛的龙头行业（当然，现在的龙头区分比较细化）。

㈨ 可以利用大数据炒股吗

大数据可以用于股票交易，所谓大数据，就是一个新的分析概念，利用新的系统、新的工具、新的模型来挖掘大量动态的、可持续的数据，从而获得具有洞察力和新价值的东西。大数据已经在一些金融工具中有所体现，大数据会将股票之前的数据全都发布出来，股民可以根据这只股票之前的数据来进行对比。

其实大数据只能说是个趋势，我们可以通过打数据让投资者能够有一个参考性，但不能够过度依赖大数据，毕竟着只是数据，这些数据是死的，而股市却是千变万化的，我们不能过度的依赖大数据得出的分析与结论，大数据也只是作为一个参考数据。世事无绝对，更何况是股票，可能上一秒还是盈利的状态，但是下一秒就已经处于亏损了，不少人也因为炒股倾家荡产，所以这边还是要提醒大家一下，谨慎行事，不要盲目跟风。

㈩ 大数据三大核心技术：拿数据、算数据、卖数据！

大数据的由来

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

1

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

大数据的应用领域

大数据无处不在，大数据应用于各个行业，包括金融、 汽车 、餐饮、电信、能源、体能和 娱乐 等在内的 社会 各行各业都已经融入了大数据的印迹。

制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。

金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

汽车 行业，利用大数据和物联网技术的无人驾驶 汽车 ，在不远的未来将走入我们的日常生活。

互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。

电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。

能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。

物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。

城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。

体育 娱乐 ，大数据可以帮助我们训练球队，决定投拍哪种 题财的 影视作品，以及预测比赛结果。

安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。

个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。

大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了 社会 生产和生活，未来必将产生重大而深远的影响。

大数据方面核心技术有哪些？

大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。

数据采集与预处理

对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。

Flume NG

Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费(收集)数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。

NDC

Logstash

Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

Sqoop

Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapRece 作业(极其容错的分布式并行计算)来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。

流式计算

流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。

Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology(包括topology的发布、任务指派、事件处理时重新指派任务等)。supervisor进程等待nimbus分配任务后生成并监控worker(jvm进程)执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出(或被kill掉)，supervisor会尝试重新生成新的worker进程。

Zookeeper

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。

数据存储

Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。

HBase

HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

Phoenix

Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。

Yarn

Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。

Mesos

Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。

Redis

Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。

Atlas

Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。

Ku

Ku是围绕Hadoop生态圈建立的存储引擎，Ku拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Ku不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Ku的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。

在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显著减少磁盘上的存储。

数据清洗

MapRece作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map(映射)”和”Rece(归约)”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。

随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。

Oozie

Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成(因为有些大作业可能会执行很久(几个小时甚至几天))。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。

Azkaban

Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等;Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。

流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面(开发、运维)的投入，帮助用户专注于解决产品本身的流计算需求

数据查询分析

Hive

Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapRece。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapRece jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapRece程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapRece 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。

Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->rece->map->shuffle->rece…的模型。如果一个Query会被编译成多轮MapRece，则会有更多的写中间结果。由于MapRece执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。

Impala

Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapRece批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成)，可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapRece任务，相比Hive没了MapRece启动时间。

Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->rece模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。

Spark

Spark拥有Hadoop MapRece所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

Nutch

Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。

Solr

Solr用Java编写、运行在Servlet容器(如Apache Tomcat或Jetty)的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引;也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。

Elasticsearch

Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用;深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。

数据可视化

对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数等。

在上面的每一个阶段，保障数据的安全是不可忽视的问题。

基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。

控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。

简单说有三大核心技术：拿数据，算数据，卖数据。