『壹』 大数据都体现在哪些方面
首先，对大量消费者提供产品或服务的企业可以利用大数据进行精准营销。其次，做小而美模式的中小微企业可以利用大数据做服务转型。再者，面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
『贰』 大数据怎么发挥大价值
大数据兴起预示逗信息时代地进入新阶段
1.1 看待大数据要有历史性的眼光
信息时代是相对于农业和工业时代而言的一段相当长的时间。不同时代的生产要素和社会发展驱动力有明显差别。信息时代的标志性技术发明是数字计算机、集成电路、光纤通信和互联网（万维网）。尽管媒体上大量出现逗大数据时代地的说法，但大数据、云计算等新技术目前还没有出现与上述划时代的技术发明可媲美的技术突破，难以构成一个超越信息时代的新时代。信息时代可以分成若干阶段，大数据等新技术的应用标志着信息社会将进入一个新阶段。
考察分析100年以上的历史长河可以发现，信息时代与工业时代的发展规律有许多相似之处。电气化时代与信息时代生产率的提高过程惊人地相似。都是经过20~30年扩散储备之后才有明显提高，分界线分别是1915年和1995年。笔者猜想，信息技术经过几十年的扩散储备后，21世纪的前30年可能是信息技术提高生产率的黄金时期。
1.2 从逗信息时代新阶段地的高度认识逗大数据地
中国已开始进入信息时代，但许多人的思想还停留在工业时代。经济和科技工作中出现的许多问题，其根源是对时代的认识不到位。18-19世纪中国落后挨打，根源是满清政府没有认识到时代变了，我们不能重犯历史性的错误。
中央提出中国进入经济逗新常态地以后，媒体上有很多讨论，但多数是为经济增速降低做解释，很少有从时代改变的角度论述逗新常态地的文章。笔者认为，经济新常态意味着中国进入了以信息化带动新型工业化、城镇化和农业现代化的新阶段，是经济和社会管理的跃迁，不是权宜之计，更不是倒退。
大数据、移动互联网、社交网络、云计算、物联网等新一代信息技术构成的IT架构逗第三平台地是信息社会进入新阶段的标志，对整个经济的转型有引领和带动作用。媒体上经常出现的互联网、创客、逗第二次机器革命地、逗工业4.0地等都与大数据和云计算有关。大数据和云计算是新常态下提高生产率的新杠杆，所谓创新驱动发展就是主要依靠信息技术促进生产率的提高。
1.3 大数据可能是中国信息产业从跟踪走向引领的突破口
中国的大数据企业已经有相当好的基础。全球十大互联网服务企业中国占有4席（阿里巴巴、腾讯、网络和京东），其他6个Top10 互联网服务企业全部是美国企业，欧洲和日本没有互联网企业进入Top10。这说明中国企业在基于大数据的互联网服务业务上已处于世界前列。在发展大数据技术上，我国有可能改变过去30年技术受制于人的局面，在大数据应用上中国有可能在全世界起到引领作用。
但是，企业的规模走在世界前列并不表示我国在大数据技术上领先。实际上，国际上目前流行的大数据主流技术没有一项是我国开创的。开源社区和众包是发展大数据技术和产业的重要途径，但我们对开源社区的贡献很小，在全球近万名社区核心志愿者中，我国可能不到200名。我们要吸取过去基础研究为企业提供核心技术不够的教训，加强大数据基础研究和前瞻技术研究，努力攻克大数据核心和关键技术。
2 理解大数据需要上升到文化和认识论的高度
2.1 数据文化是一种先进文化
数据文化的本质是尊重客观世界的实事求是精神，数据就是事实。重视数据就是强调用事实说话、按理性思维的科学精神。中国人的传统习惯是定性思维而不是定量思维。目前许多城市在开展政府数据开放共享工作，但是发现多数老百姓对政府要开放的数据并不感兴趣。要让大数据走上健康的发展轨道，首先要大力弘扬数据文化。本文讲的数据文化不只是大数据用于文艺、出版等文化产业，而是指全民的数据意识。全社会应认识到：信息化的核心是数据，只有政府和大众都关注数据时，才能真正理解信息化的实质；数据是一种新的生产要素，大数据的利用可以改变资本和土地等传统要素在经济中的权重。
有人将逗上帝与数据共舞地归纳为美国文化的特点之一，说的是美国人既有对神的诚意，又有通过数据求真的理性。美国从镀金时代到进步主义时期完成了数据文化的思维转变，南北战争之后人口普查的方法被应用到很多领域，形成了数据预测分析的思维方式。近百年来美国和西方各国的现代化与数据文化的传播渗透有密切关系，我国要实现现代化也必须强调数据文化。
提高数据意识的关键是要理解大数据的战略意义。数据是与物质、能源一样重要的战略资源，数据的采集和分析涉及每一个行业，是带有全局性和战略性的技术。从硬技术到软技术的转变是当今全球性的技术发展趋势，而从数据中发现价值的技术正是最有活力的软技术，数据技术与数据产业的落后将使我们像错过工业革命机会一样延误一个时代。
2.2 理解大数据需要有正确的认识论
历史上科学研究是从逻辑演绎开始的，欧几里得几何的所有定理可从几条公理推导出来。从伽利略和牛顿开始，科学研究更加重视自然观察和实验观察，在观察基础上通过归纳方法提炼出科学理论，逗科学始于观察地成为科学研究和认识论的主流。经验论和唯理论这两大流派都对科学的发展做出过重大贡献，但也暴露出明显的问题，甚至走入极端。理性主义走向极端就成为康德所批判的独断主义，经验主义走入极端就变成怀疑论和不可知论。
20世纪30年代，德国哲学家波普尔提出了被后人称为逗证伪主义地的认识论观点，他认为科学理论不能用归纳法证实，只能被试验发现的反例逗证伪地，因而他否定科学始于观察，提出逗科学始于问题地的著名观点[3]。证伪主义有其局限性，如果严格遵守证伪法则，万有引力定律、原子论等重要理论都可能被早期的所谓反例扼杀。但逗科学始于问题地的观点对当前大数据技术的发展有指导意义。
大数据的兴起引发了新的科学研究模式：逗科学始于数据地。从认识论的角度看，大数据分析方法与逗科学始于观察地的经验论较为接近，但我们要牢记历史的教训，避免滑入否定理论作用的经验主义泥坑。在强调逗相关性地的时候不要怀疑逗因果性地的存在；在宣称大数据的客观性、中立性的时候，不要忘了不管数据的规模如何，大数据总会受制于自身的局限性和人的偏见。不要相信这样的预言：逗采用大数据挖掘，你不需要对数据提出任何问题，数据就会自动产生知识地。面对像大海一样的巨量数据，从事数据挖掘的科技人员最大的困惑是，我们想捞的逗针地是什么看这海里究竟有没有逗针地看也就是说，我们需要知道要解决的问题是什么。从这个意义上讲，逗科学始于数据地与逗科学始于问题地应有机地结合起来。
对逗原因地的追求是科学发展的永恒动力。但是，原因是追求不完的，人类在有限的时间内不可能找到逗终极真理地。在科学的探索途中，人们往往用逗这是客观规律地解释世界，并不立即追问为什么有这样的客观规律。也就是说，传统科学并非只追寻因果性，也可以用客观规律作为结论。大数据研究的结果多半是一些新的知识或新的模型，这些知识和模型也可以用来预测未来，可以认为是一类局部性的客观规律。科学史上通过小数据模型发现一般性规律的例子不少，比如开普勒归纳的天体运动规律等；而大数据模型多半是发现一些特殊性的规律。物理学中的定律一般具有必然性，但大数据模型不一定具有必然性，也不一定具有可演绎性。大数据研究的对象往往是人的心理和社会，在知识阶梯上位于较高层，其自然边界是模糊的，但有更多的实践特征。大数据研究者更重视知行合一，相信实践论。大数据认识论有许多与传统认识论不同的特点，我们不能因其特点不同就否定大数据方法的科学性。大数据研究挑战了传统认识论对因果性的偏爱，用数据规律补充了单一的因果规律，实现了唯理论和经验论的数据化统一，一种全新的大数据认识论正在形成。
3 正确认识大数据的价值和效益
3.1 大数据的价值主要体现为它的驱动效应
人们总是期望从大数据中挖掘出意想不到的逗大价值地。实际上大数据的价值主要体现在它的驱动效应，即带动有关的科研和产业发展，提高各行各业通过数据分析解决困难问题和增值的能力。大数据对经济的贡献并不完全反映在大数据公司的直接收入上，应考虑对其他行业效率和质量提高的贡献。大数据是典型的通用技术，理解通用技术要采用逗蜜蜂模型地：蜜蜂的效益主要不是自己酿的蜂蜜，而是蜜蜂传粉对农业的贡献。
电子计算机的创始人之一冯·诺依曼曾指出：逗在每一门科学中，当通过研究那些与终极目标相比颇为朴实的问题，发展出一些可以不断加以推广的方法时，这门学科就得到了巨大的进展。地我们不必天天期盼奇迹出现，多做一些逗颇为朴实地的事情，实际的进步就在扎扎实实的努力之中。媒体喜欢宣传一些令人惊奇的大数据成功案例，对这些案例我们应保持清醒的头脑。据Intel中国研究院首席工程师吴甘沙在一次报告中透露，所谓逗啤酒加尿布地的数据挖掘经典案例，其实是Teradata公司一位经理编出来的逗故事地，历史上并没有发生过[4]。即使有这个案例，也不说明大数据分析本身有什么神奇，大数据中看起来毫不相关的两件事同时或相继出现的现象比比皆是，关键是人的分析推理找出为什么两件事物同时或相继出现，找对了理由才是新知识或新发现的规律，相关性本身并没有多大价值。
有一个家喻户晓的寓言可以从一个角度说明大数据的价值：一位老农民临终前告诉他的3个儿子，他在他家的地中埋藏了一罐金子，但没有讲埋在哪里。
他的儿子们把他家所有的地都深挖了一遍，没有挖到金子，但由于深挖了土地，从此庄稼收成特别好。数据收集、分析的能力提高了，即使没有发现什么普适的规律或令人完全想不到的新知识，大数据的价值也已逐步体现。
3.2 大数据的力量来自逗大成智慧地
每一种数据来源都有一定的局限性和片面性，只有融合、集成各方面的原始数据，才能反映事物的全貌。事物的本质和规律隐藏在各种原始数据的相互关联之中。不同的数据可能描述同一实体，但角度不同。对同一个问题，不同的数据能提供互补信息，可对问题有更深入的理解。因此在大数据分析中，汇集尽量多种来源的数据是关键。
数据科学是数学（统计、代数、拓扑等）、计算机科学、基础科学和各种应用科学融合的科学，类似钱学森先生提出的逗大成智慧学地[5]。钱老指出：逗必集大成，才能得智慧地。大数据能不能出智慧，关键在于对多种数据源的集成和融合。IEEE计算机学会最近发布了2014年的计算机技术发展趋势预测报告，重点强调逗无缝智慧（seamless intelligence）地。发展大数据的目标就是要获得协同融合的逗无缝智慧地。单靠一种数据源，即使数据规模很大，也可能出现逗瞎子摸象地一样的片面性。数据的开放共享不是锦上添花的工作，而是决定大数据成败的必要前提。
大数据研究和应用要改变过去各部门和各学科相互分割、独立发展的传统思路，重点不是支持单项技术和单个方法的发展，而是强调不同部门、不同学科的协作。数据科学不是垂直的逗烟囱地，而是像环境、能源科学一样的横向集成科学。
3.3 大数据远景灿烂，但近期不能期望太高
交流电问世时主要用作照明，根本想象不到今天无处不在的应用。大数据技术也一样，将来一定会产生许多现在想不到的应用。我们不必担心大数据的未来，但近期要非常务实地工作。人们往往对近期的发展估计过高，而对长期的发展估计不足。Gartner公司预测，大数据技术要在5~10年后才会成为较普遍采用的主流技术，对发展大数据技术要有足够的耐心。
大数据与其他信息技术一样，在一段时间内遵循指数发展规律。指数发展的特点是，从一段历史时期衡量（至少30年），前期发展比较慢，经过相当长时间（可能需要20年以上）的积累，会出现一个拐点，过了拐点以后，就会出现爆炸式的增长。但任何技术都不会永远保持逗指数性地增长，一般而言，高技术发展遵循Gartner公司描述的技术成熟度曲线（hype cycle），最后可能进入良性发展的稳定状态或者走向消亡。
需要采用大数据技术来解决的问题往往都是十分复杂的问题，比如社会计算、生命科学、脑科学等，这些问题绝不是几代人的努力就可以解决的。宇宙经过百亿年的演化，才出现生物和人类，其复杂和巧妙堪称绝伦，不要指望在我们这一代人手中就能彻底揭开其奥妙。展望数百万年甚至更长远的未来，大数据技术只是科学技术发展长河中的一朵浪花，对10~20年大数据研究可能取得的科学成就不能抱有不切实际的幻想。
4 从复杂性的角度看大数据研究和应用面临的挑战
大数据技术和人类探索复杂性的努力有密切关系。20世纪70年代，新三论（耗散结构论、协同论、突变论）的兴起对几百年来贯穿科学技术研究的还原论发起了挑战。1984年盖尔曼等3位诺贝尔奖得主成立以研究复杂性为主的圣菲研究所，提出超越还原论的口号，在科技界掀起了一场复杂性科学运动。虽然雷声很大，但30年来并未取得预期的效果，其原因之一可能是当时还没有出现解决复杂性的技术。
集成电路、计算机与通信技术的发展大大增强了人类研究和处理复杂问题的能力。大数据技术将复杂性科学的新思想发扬光大，可能使复杂性科学得以落地。复杂性科学是大数据技术的科学基础，大数据方法可以看作复杂性科学的技术实现。大数据方法为还原论与整体论的辩证统一提供了技术实现途径。大数据研究要从复杂性研究中吸取营养，从事数据科学研究的学者不但要了解20世纪的逗新三论地，可能还要学习与超循环、混沌、分形和元胞自动机等理论有关的知识，扩大自己的视野，加深对大数据机理的理解。
大数据技术还不成熟，面对海量、异构、动态变化的数据，传统的数据处理和分析技术难以应对，现有的数据处理系统实现大数据应用的效率较低，成本和能耗较大，而且难以扩展。这些挑战大多来自数据本身的复杂性、计算的复杂性和信息系统的复杂性。
4.1 数据复杂性引起的挑战
图文检索、主题发现、语义分析、情感分析等数据分析工作十分困难，其原因是大数据涉及复杂的类型、复杂的结构和复杂的模式，数据本身具有很高的复杂性。目前，人们对大数据背后的物理意义缺乏理解，对数据之间的关联规律认识不足，对大数据的复杂性和计算复杂性的内在联系也缺乏深刻理解，领域知识的缺乏制约了人们对大数据模型的发现和高效计算方法的设计。形式化或定量化地描述大数据复杂性的本质特征及度量指标，需要深入研究数据复杂性的内在机理。人脑的复杂性主要体现在千万亿级的树突和轴突的链接，大数据的复杂性主要也体现在数据之间的相互关联。理解数据之间关联的奥秘可能是揭示微观到宏观逗涌现地规律的突破口。大数据复杂性规律的研究有助于理解大数据复杂模式的本质特征和生成机理，从而简化大数据的表征，获取更好的知识抽象。为此，需要建立多模态关联关系下的数据分布理论和模型，理清数据复杂度和计算复杂度之间的内在联系，奠定大数据计算的理论基础。
4.2 计算复杂性引起的挑战
大数据计算不能像处理小样本数据集那样做全局数据的统计分析和迭代计算，在分析大数据时，需要重新审视和研究它的可计算性、计算复杂性和求解算法。大数据样本量巨大，内在关联密切而复杂，价值密度分布极不均衡，这些特征对建立大数据计算范式提出了挑战。对于PB级的数据，即使只有线性复杂性的计算也难以实现，而且，由于数据分布的稀疏性，可能做了许多无效计算。
传统的计算复杂度是指某个问题求解时需要的时间空间与问题规模的函数关系，所谓具有多项式复杂性的算法是指当问题的规模增大时，计算时间和空间的增长速度在可容忍的范围内。传统科学计算关注的重点是，针对给定规模的问题，如何逗算得快地。而在大数据应用中，尤其是流式计算中，往往对数据处理和分析的时间、空间有明确限制，比如网络服务如果回应时间超过几秒甚至几毫秒，就会丢失许多用户。大数据应用本质上是在给定的时间、空间限制下，如何逗算得多地。从逗算得快地到逗算得多地，考虑计算复杂性的思维逻辑有很大的转变。所谓逗算得多地并不是计算的数据量越大越好，需要探索从足够多的数据，到刚刚好的数据，再到有价值的数据的按需约简方法。
基于大数据求解困难问题的一条思路是放弃通用解，针对特殊的限制条件求具体问题的解。人类的认知问题一般都是NP难问题，但只要数据充分多，在限制条件下可以找到十分满意的解，近几年自动驾驶汽车取得重大进展就是很好的案例。为了降低计算量，需要研究基于自举和采样的局部计算和近似方法，提出不依赖于全量数据的新型算法理论，研究适应大数据的非确定性算法等理论。
4.3 系统复杂性引起的挑战
大数据对计算机系统的运行效率和能耗提出了苛刻要求，大数据处理系统的效能评价与优化问题具有挑战性，不但要求理清大数据的计算复杂性与系统效率、能耗间的关系，还要综合度量系统的吞吐率、并行处理能力、作业计算精度、作业单位能耗等多种效能因素。针对大数据的价值稀疏性和访问弱局部性的特点，需要研究大数据的分布式存储和处理架构。
大数据应用涉及几乎所有的领域，大数据的优势是能在长尾应用中发现稀疏而珍贵的价值，但一种优化的计算机系统结构很难适应各种不同的需求，碎片化的应用大大增加了信息系统的复杂性，像昆虫种类一样多（500多万种）的大数据和物联网应用如何形成手机一样的巨大市场，这就是所谓逗昆虫纲悖论地[6]。为了化解计算机系统的复杂性，需要研究异构计算系统和可塑计算技术。
大数据应用中，计算机系统的负载发生了本质性变化，计算机系统结构需要革命性的重构。信息系统需要从数据围着处理器转改变为处理能力围着数据转，关注的重点不是数据加工，而是数据的搬运；系统结构设计的出发点要从重视单任务的完成时间转变到提高系统吞吐率和并行处理能力，并发执行的规模要提高到10亿级以上。构建以数据为中心的计算系统的基本思路是从根本上消除不必要的数据流动，必要的数据搬运也应由逗大象搬木头地转变为逗蚂蚁搬大米地。
5 发展大数据应避免的误区
5.1 不要一味追求逗数据规模大地
大数据主要难点不是数据量大，而是数据类型多样、要求及时回应和原始数据真假难辨。现有数据库软件解决不了非结构化数据，要重视数据融合、数据格式的标准化和数据的互操作。采集的数据往往质量不高是大数据的特点之一，但尽可能提高原始数据的质量仍然值得重视。脑科学研究的最大问题就是采集的数据可信度差，基于可信度很差的数据难以分析出有价值的结果。
一味追求数据规模大不仅会造成浪费，而且效果未必很好。多个来源的小数据的集成融合可能挖掘出单一来源大数据得不到的大价值。应多在数据的融合技术上下功夫，重视数据的开放与共享。所谓数据规模大与应用领域有密切关系，有些领域几个PB的数据未必算大，有些领域可能几十TB已经是很大的规模。
发展大数据不能无止境地追求逗更大、更多、更快地，要走低成本、低能耗、惠及大众、公正法治的良性发展道路，要像现在治理环境污染一样，及早关注大数据可能带来的逗污染地和侵犯隐私等各种弊端。
5.2 不要逗技术驱动地，要逗应用为先地
新的信息技术层出不穷，信息领域不断冒出新概念、新名词，估计继逗大数据地以后，逗认知计算地、逗可穿戴设备地、逗机器人地等新技术又会进入炒作高峰。我们习惯于跟随国外的热潮，往往不自觉地跟着技术潮流走，最容易走上逗技术驱动地的道路。实际上发展信息技术的目的是为人服务，检验一切技术的唯一标准是应用。我国发展大数据产业一定要坚持逗应用为先地的发展战略，坚持应用牵引的技术路线。技术有限，应用无限。各地发展云计算和大数据，一定要通过政策和各种措施调动应用部门和创新企业的积极性，通过跨界的组合创新开拓新的应用，从应用中找出路。
5.3 不能抛弃逗小数据地方法
流行的逗大数据地定义是：无法通过目前主流软件工具在合理时间内采集、存储、处理的数据集。这是用不能胜任的技术定义问题，可能导致认识的误区。按照这种定义，人们可能只会重视目前解决不了的问题，如同走路的人想踩着自己身前的影子。其实，目前各行各业碰到的数据处理多数还是逗小数据地问题。我们应重视实际碰到的问题，不管是大数据还是小数据。
统计学家们花了200多年，总结出认知数据过程中的种种陷阱，这些陷阱不会随着数据量的增大而自动填平。大数据中有大量的小数据问题，大数据采集同样会犯小数据采集一样的统计偏差。Google公司的流感预测这两年失灵，就是由于搜索推荐等人为的干预造成统计误差。
大数据界流行一种看法：大数据不需要分析因果关系、不需要采样、不需要精确数据。这种观念不能绝对化，实际工作中要逻辑演绎和归纳相结合、白盒与黑盒研究相结合、大数据方法与小数据方法相结合。
5.4 要高度关注构建大数据平台的成本
目前全国各地都在建设大数据中心，吕梁山下都建立了容量达2 PB以上的数据处理中心，许多城市公安部门要求存储3个月以上的高清监控录像。这些系统的成本都非常高。数据挖掘的价值是用成本换来的，不能不计成本，盲目建设大数据系统。什么数据需要保存，要保存多少时间，应当根据可能的价值和所需的成本来决定。大数据系统技术还在研究之中，美国的E级超级计算机系统要求能耗降低1 000倍，计划到2024年才能研制出来，用现在的技术构建的巨型系统能耗极高。
我们不要攀比大数据系统的规模，而是要比实际应用效果，比完成同样的事消耗更少的资源和能量。先抓老百姓最需要的大数据应用，因地制宜发展大数据。发展大数据与实现信息化的策略一样：目标要远大、起步要精准、发展要快速。
『叁』 大数据处理的五大关键技术及其应用
作者 | 网络大数据
来源 | 产业智能官
数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。其中主要工作环节包括：
大数据采集 大数据预处理 大数据存储及管理 大数据分析及挖掘 大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。一、大数据采集技术
数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型，开发数据质量技术。
大数据采集一般分为：
大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。
基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。
二、大数据预处理技术
完成对已接收数据的辨析、抽取、清洗等操作。
抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。
清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。
三、大数据存储及管理技术
大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统(DFS)、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术;突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术;突破大数据索引技术;突破大数据移动、备份、复制等技术;开发大数据可视化技术。
开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。
开发大数据安全技术：改进数据销毁、透明加解密、分布式访问控制、数据审计等技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。
四、大数据分析及挖掘技术
大数据分析技术：改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
数据挖掘涉及的技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。
机器学习中，可细分为归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。
数据挖掘主要过程是：根据分析挖掘目标，从数据库中把数据提取出来，然后经过ETL组织成适合分析挖掘算法使用宽表，然后利用数据挖掘软件进行挖掘。传统的数据挖掘软件，一般只能支持在单机上进行小规模数据处理,受此限制传统数据分析挖掘一般会采用抽样方式来减少数据分析规模。
数据挖掘的计算复杂度和灵活度远远超过前两类需求。一是由于数据挖掘问题开放性，导致数据挖掘会涉及大量衍生变量计算，衍生变量多变导致数据预处理计算复杂性;二是很多数据挖掘算法本身就比较复杂，计算量就很大，特别是大量机器学习算法，都是迭代计算，需要通过多次迭代来求最优解，例如K-means聚类算法、PageRank算法等。
从挖掘任务和挖掘方法的角度，着重突破：
可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。 数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。 预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。 语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。 数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。预测分析成功的7个秘诀
预测未来一直是一个冒险的命题。幸运的是，预测分析技术的出现使得用户能够基于历史数据和分析技术(如统计建模和机器学习)预测未来的结果，这使得预测结果和趋势变得比过去几年更加可靠。
尽管如此，与任何新兴技术一样，想要充分发挥预测分析的潜力也是很难的。而可能使挑战变得更加复杂的是，由不完善的策略或预测分析工具的误用导致的不准确或误导性的结果可能在几周、几个月甚至几年内才会显现出来。
预测分析有可能彻底改变许多的行业和业务，包括零售、制造、供应链、网络管理、金融服务和医疗保健。AI网络技术公司Mist Systems的联合创始人、首席技术官Bob fridy预测:“深度学习和预测性AI分析技术将会改变我们社会的所有部分，就像十年来互联网和蜂窝技术所带来的转变一样。”。
这里有七个建议，旨在帮助您的组织充分利用其预测分析计划。
1.能够访问高质量、易于理解的数据
预测分析应用程序需要大量数据，并依赖于通过反馈循环提供的信息来不断改进。全球IT解决方案和服务提供商Infotech的首席数据和分析官Soumendra Mohanty评论道:“数据和预测分析之间是相互促进的关系。”
了解流入预测分析模型的数据类型非常重要。“一个人身上会有什么样的数据?” Eric Feigl - Ding问道，他是流行病学家、营养学家和健康经济学家，目前是哈佛陈氏公共卫生学院的访问科学家。“是每天都在Facebook和谷歌上收集的实时数据，还是难以访问的医疗记录所需的医疗数据?”为了做出准确的预测，模型需要被设计成能够处理它所吸收的特定类型的数据。
简单地将大量数据扔向计算资源的预测建模工作注定会失败。“由于存在大量数据，而其中大部分数据可能与特定问题无关，只是在给定样本中可能存在相关关系，”FactSet投资组合管理和交易解决方案副总裁兼研究主管Henri Waelbroeck解释道，FactSet是一家金融数据和软件公司。“如果不了解产生数据的过程，一个在有偏见的数据上训练的模型可能是完全错误的。”
2.找到合适的模式
SAP高级分析产品经理Richard Mooney指出，每个人都痴迷于算法，但是算法必须和输入到算法中的数据一样好。“如果找不到适合的模式，那么他们就毫无用处，”他写道。“大多数数据集都有其隐藏的模式。”
模式通常以两种方式隐藏:
模式位于两列之间的关系中。例如，可以通过即将进行的交易的截止日期信息与相关的电子邮件开盘价数据进行比较来发现一种模式。Mooney说:“如果交易即将结束，电子邮件的公开率应该会大幅提高，因为买方会有很多人需要阅读并审查合同。”
模式显示了变量随时间变化的关系。“以上面的例子为例，了解客户打开了200次电子邮件并不像知道他们在上周打开了175次那样有用，”Mooney说。
3 .专注于可管理的任务，这些任务可能会带来积极的投资回报
纽约理工学院的分析和商业智能主任Michael Urmeneta称:“如今，人们很想把机器学习算法应用到海量数据上，以期获得更深刻的见解。”他说，这种方法的问题在于，它就像试图一次治愈所有形式的癌症一样。Urmeneta解释说:“这会导致问题太大，数据太乱——没有足够的资金和足够的支持。这样是不可能获得成功的。”
而当任务相对集中时，成功的可能性就会大得多。Urmeneta指出:“如果有问题的话，我们很可能会接触到那些能够理解复杂关系的专家” 。“这样，我们就很可能会有更清晰或更好理解的数据来进行处理。”
4.使用正确的方法来完成工作
好消息是，几乎有无数的方法可以用来生成精确的预测分析。然而，这也是个坏消息。芝加哥大学NORC (前国家意见研究中心)的行为、经济分析和决策实践主任Angela Fontes说:“每天都有新的、热门的分析方法出现，使用新方法很容易让人兴奋”。“然而，根据我的经验，最成功的项目是那些真正深入思考分析结果并让其指导他们选择方法的项目——即使最合适的方法并不是最性感、最新的方法。”
罗切斯特理工学院计算机工程系主任、副教授shanchie Jay Yang建议说:“用户必须谨慎选择适合他们需求的方法”。“必须拥有一种高效且可解释的技术，一种可以利用序列数据、时间数据的统计特性，然后将其外推到最有可能的未来，”Yang说。
5.用精确定义的目标构建模型
这似乎是显而易见的，但许多预测分析项目开始时的目标是构建一个宏伟的模型，却没有一个明确的最终使用计划。“有很多很棒的模型从来没有被人使用过，因为没有人知道如何使用这些模型来实现或提供价值，”汽车、保险和碰撞修复行业的SaaS提供商CCC信息服务公司的产品管理高级副总裁Jason Verlen评论道。
对此，Fontes也表示同意。“使用正确的工具肯定会确保我们从分析中得到想要的结果……”因为这迫使我们必须对自己的目标非常清楚，”她解释道。“如果我们不清楚分析的目标，就永远也不可能真正得到我们想要的东西。”
6.在IT和相关业务部门之间建立密切的合作关系
在业务和技术组织之间建立牢固的合作伙伴关系是至关重要的。客户体验技术提供商Genesys的人工智能产品管理副总裁Paul lasserr说:“你应该能够理解新技术如何应对业务挑战或改善现有的业务环境。”然后，一旦设置了目标，就可以在一个限定范围的应用程序中测试模型，以确定解决方案是否真正提供了所需的价值。
7.不要被设计不良的模型误导
模型是由人设计的，所以它们经常包含着潜在的缺陷。错误的模型或使用不正确或不当的数据构建的模型很容易产生误导，在极端情况下，甚至会产生完全错误的预测。
没有实现适当随机化的选择偏差会混淆预测。例如，在一项假设的减肥研究中，可能有50%的参与者选择退出后续的体重测量。然而，那些中途退出的人与留下来的人有着不同的体重轨迹。这使得分析变得复杂，因为在这样的研究中，那些坚持参加这个项目的人通常是那些真正减肥的人。另一方面，戒烟者通常是那些很少或根本没有减肥经历的人。因此，虽然减肥在整个世界都是具有因果性和可预测性的，但在一个有50%退出率的有限数据库中，实际的减肥结果可能会被隐藏起来。
六、大数据展现与应用技术
大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。
在我国，大数据将重点应用于以下三大领域：商业智能 、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统)，大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。
『肆』 大数据项目需考量的四个因素
大数据项目需考量的四个因素
Hadoop系统和NoSQL数据库已经成为管理大数据环境的重要工具。不过，在很多情况下，企业利用他们现有的数据仓库设施，或是一个新老混合的技术来对大数据流入他们的系统进行管理。
无论一个公司部署什么类型的大数据技术栈，有一些共通的因素必须加以考量，以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前，去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。 数据准确性 数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性。作为个性化分析库而得以广泛使用的电子表格或电子报表软件可以对数据中信任缺乏的问题加以弥补：在Excel中存储和操作分析数据的功能为支持自助分析能力创造了环境，但可能不会激发其他用户对结果的自信心。数据仓库与数据集成和数据质量工具一起，能够通过为管理BI和分析数据提供标准化流程来帮助树立信心。但是，由于不断增加的数据容量和更广泛多样的数据类型，特别是当涉及结构化和非结构化数据混合时，就会对一个大数据的实施增加难度系数。建立评估数据质量标准以及对它们进行升级以处理那些更大、更多样数据集，对于大数据实施的成功和分析框架的使用是至关重要的。 存储适用 数据仓储的一个核心要求是处理和存储大数据集的能力。但并不是所有数据仓库在这方面都满足要求。一些是针对复杂查询处理进行优化，而其他的则并非如此。并且在许多大数据应用程序中，相较于事务系统，由于添加了非结构化数据还有数据的创建和收集增速迅猛，用Hadoop和NoSQL技术增强数据仓库就成为必要。对于一个希望获取并分析大数据的组织来说，光有存储容量是不够的；而重要的部分在于将数据置于何处才是最佳的，这样数据就可以转化为有用信息并为数据科学家和其他用户所利用。 查询性能 大数据分析依赖于及时处理和查询复杂数据的能力。一个很好地例子就是：一家公司开发了一个数据仓库用来维护从能源使用计收集到的数据。在产品评估过程中，某供应商的系统有能力在15分钟内处理七百万条记录，而另一家则在相同时间内可以处理最高三十万条记录。能否识别正确的基础设施来支持快速的数据可用性和高性能查询就意味着成功还是失败。 稳定性 随着许多组织中数据量和数据种类的增长，大数据平台的建立需要有对未来的考量。必须提前考虑和求证正在进行评估的大数据技术是否能够进行扩展，以达到不断向前发展的需求所要求的级别。这便超出了存储容量的范畴，将性能也包含了进来，对那些从社交网络，传感器，系统日志文件以及其他非事务源获取数据作为其业务数据扩展的公司来说尤为如此。
『伍』 大数据分析处理的最终目标是有效用信息
大数据分析处理的最终目标是有效用信息
大数据在业内并没有统一的定义。不同厂商、不同用户，站的角度不同，对大数据的理解也不一样。麦肯锡报告中对大数据的基本定义是：大数据是指其大小超出了典型数据库软件的采集、储存、管理和分析等能力的数据集合。赛迪智库指出，大数据是一个相对的概念，并没有一个严格的标准限定多大规模的数据集合才称得上是大数据。事实上，随着时间推移和数据管理与处理技术的进步，符合大数据标准的数据集合的规模也在并将继续增长。同时，对于不同行业领域和不同应用而言，“大数据”的规模也不统一。
虽然“大数据”直接代表的是数据集合这一静态对象，但赛迪智库经过深入研究认为，目前所提到的“大数据”，并不仅仅是大规模数据集合本身，而应当是数据对象、技术与应用三者的统一：
1.从对象角度看，大数据是大小超出典型数据库软件采集、储存、管理和分析等能力的数据集合。需要注意的是，大数据并非大量数据简单、无意义的堆积，数据量大并不意味着一定具有可观的利用前景。由于最终目标是从大数据中获取更多有价值的“新”信息，所以必然要求这些大量的数据之间存在着或远或近、或直接或间接的关联性，才具有相当的分析挖掘价值。数据间是否具有结构性和关联性，是“大数据”与“大规模数据”的重要差别。
2.从技术角度看，大数据技术是从各种各样类型的大数据中，快速获得有价值信息的技术及其集成。“大数据”与“大规模数据”、“海量数据”等类似概念间的最大区别，就在于“大数据”这一概念中包含着对数据对象的处理行为。为了能够完成这一行为，从大数据对象中快速挖掘更多有价值的信息，使大数据“活起来”，就需要综合运用灵活的、多学科的方法，包括数据聚类、数据挖掘、分布式处理等，而这就需要拥有对各类技术、各类软硬件的集成应用能力。可见，大数据技术是使大数据中所蕴含的价值得以发掘和展现的重要工具。
3.从应用角度看，大数据是对特定的大数据集合、集成应用大数据技术、获得有价值信息的行为。正由于与具体应用紧密联系，甚至是一对一的联系，才使得“应用”成为大数据不可或缺的内涵之一。
需要明确的是，大数据分析处理的最终目标，是从复杂的数据集合中发现新的关联规则，继而进行深度挖掘，得到有效用的新信息。如果数据量不小，但数据结构简单，重复性高，分析处理需求也仅仅是根据已有规则进行数据分组归类，未与具体业务紧密结合，依靠已有基本数据分析处理技术已足够，则不能算作是完全的“大数据”，只是“大数据”的初级发展阶段。
『陆』 大数据的价值如何体现
大数据的价值如何体现_数据分析师考试
进入大数据时代，运营商应用大数据发展的驱动因素是什么，是否需要建立新型数据库？ 刘伟光： 随着通信行业的竞争日益激烈，传统的语音和短信等主营收入的利润不断下滑，导致运营商必须找到新的利润增长点，同时有效控制运营成本，从而使自身可以在激烈竞争中立于不败之地。这也是为什么运营商把实现精准化营销和精细化运营提升到战略层次的重要原因。
此外，传统数据库技术已无法满足运营商对大数据充分利用的需求。新型数据库应该具备如下特点：首先应该采用支持大规模并行处理的分布式架构；其次，应该使用基于符合工业标准的开放硬件和系统平台，保证成本可控；第三，随着开源技术不断成熟，创新速度快，新型数据库平台应该易于与新的开源技术进行融合；第四，新的数据库平台应该可以实现与Hadoop平台的无缝集成，实现跨结构化、半结构化、非结构化海量数据的混合分析能力。 卢东明： 运营商目前试图做新型数据库，但是不太现实，首先数据库公司一直以来都是很稳定的几家，需要长期积淀。
其次，大数据不是取代以前的技术，而是混合补充使用，不是新型数据库出来后，就完全替代传统数据库从而大规模使用。数据库是核心、稳定的技术，大数据是开源的软件技术，运营商还是会选择使用相对成熟的软件。 《通信世界周刊》： 大数据今年以来得到格外关注，目前发展状况如何？ 卢东明： 大数据在运营商的业务中早就有应用，目前在各个省都得到普遍应用了。大数据这个词目前有些炒作成分，它和以前的数据库不是完全脱节的，是对数据库的延伸。大数据是个现象，是数据库的另一个形态，不是否定、颠覆之前的数据库形态。
目前做大数据的厂商依然是以前那几家数据厂商，不同的产品解决不同的问题。在中国电信行业，从数据量和应用角度来看处于世界领先地位，这是由于电信用户多、规模大，电信业遇到的问题和挑战比较大，解决方案难度高。 刘伟光： 目前中国三个电信运营商在业务支撑领域、网管IT支撑领域包括增值业务领域，已经随着市场的需求推出了很多新的大数据实时分析的项目，相信未来的两到三年这个市场将会成倍增长，甚至会到达我们今天不能预期的数量。 需要分析共享大数据的管理工具 《通信世界周刊》： IT企业如何依托大数据为运营商提供管理工具，提升运营效率？ 刘伟光： 实现各部门的紧密协作永远都是提升运营效率的不二法门。而IT企业应该为运营商提供实现紧密协作、分析、共享大数据的管理工具，来达成提升运营效率的目标。
此外，大数据时代，IT企业仅仅为运营商提供分析平台、分析工具是不够的。这是因为运营商虽然很了解业务和需求，但普遍缺乏数学建模能力，因此很难利用好这些平台，使其发挥最大效益。所以，如何利用这些平台、系统和数据实现科学建模，同样是提升运营效率的关键所在。 武新： 运营商要解决数据处理效率问题，现在的数据用以前的系统处理需要一天一夜，而应用大数据技术处理可以一个小时完成。在大数据平台，应用云技术，通过集群的方式，几十台服务器同时工作，并进行压缩数据来节省空间。
目前大数据主要是针对结构化数据的应用，用户上哪个网，停留多长时间，通过分析都可做相应的分析结果推送给相关部门。除了对用户上网行为分析，还有网络使用情况、网络设备情况和用户使用手机类型分析。而对非结构化的数据，如视频和图片，目前分析得还较少。 《通信世界周刊》： 大数据具体应用于运营商的哪些业务中，有哪些成功的应用和案例？ 卢东明： 大数据主要应用在运营商的“信令”系统分析上，由于其数据量非常大，比“话单”分析的挑战大很多。移动互联网发展起来之后，运营商开始关注大数据，进行“用户行为分析”，根据人群分析做精准营销，推荐流量套餐。
此外，运营商提供IDC服务，通过“云”中心的方式为互联网企业提供服务。 武新： 运营商从最近两三年开始，感受到这方面的压力，开始寻求解决方案。中国移动“信令”分析系统项目对海量数据进行分析和挖掘；中国联通对“话单”数据进行用户行为分析。中国电信“新一代数据库”产品正在测试中，通过精分系统，进行精准营销。此外，在运营商专网也已应用大数据。运营商目前仍处于测试探索中，通过几种方法针对不同的应用进行测试、筛选。
目前运营商的相关项目有“流量分析”、“智能管道”和“新一代数据库”产品等，传统的数据库面对海量数据已经无法支撑，将来会慢慢被大数据代替掉。 要有开放的心态 《通信世界周刊》： 发展大数据需要解决哪些问题，关键点是什么？ 卢东明： 由于数据分析要看存储效果，涉及到效率和速度。目前运营商应用大数据存在的问题是避免无限制的花钱。另一方面，运营商要和厂商合作，针对不同的业务类型和应用场景，采取不同的分析方法。此外，运营商要有开放的心态，因为大数据作为开源的软件也不是可以解决所有的问题的。 武新： 在数据处理上，运营商转型中不仅有技术上的问题，还需要经历一个时间阶段和过程。
此外，运营商要转变思维方式，其在数据分析上的经验不如互联网企业，这是方法论问题，关系到如何用数据做生意。运营商以前都是依托传统业务，海量数据的出现，使得行业即将洗牌，运营商不得不转型重视数据挖掘。 但运营商可以发挥自己的优势，首先，要分析用户行为的变化，由分析以前的语音用户转变为分析上网行为。其次，运营商有能力提供类似互联网公司的服务，如QQ聊天。
最后，运营商有专网资源，有自己的数据中心可以运维，但是目前这些优势还没有完全发挥出来，是因为还没把握透用户的需求。
以上是小编为大家分享的关于大数据的价值如何体现的相关内容，更多信息可以关注环球青藤分享更多干货
『柒』 大数据应用成功的四个标准
大数据应用成功的四个标准
在大数据范畴大展拳脚肯定是个正确方向，同时世界各地的初创公司及企业巨头也在借力大数据和大数据应用创造价值——将大量的数据处理转化为金钱或竞争优势。然而光彩的背后，总是掩饰着一些不可忽视的真相。简而言之，不是所有在大数据上的尝试都得到了应有的回报，而且远非如此。同样这里也有另一个不容忽视的真相，在IT企业界，大数据“成功”定义的标准非常宽松，甚至“我们并没有完全失败”这种的观念都可以归结于“成功”。
那么大数据应用成功的标准究竟是什么？10gen战略副总裁Matt Asay带来了他为成功总结的4个标准：
首先，必须要可以运作
大数据应该为行业创造切实的价值，不止是高科技。McKinsey在关于大数据未来的报告中指出，大数据在医疗、政府、零售以及制造产业上拥有万亿的潜在价值。机构对大数据的成功实现需要在一下几个方面带来切实的收获：附加收益、提升客户满意度、削减成本等。
其次，必须有本质提高
大数据交付的不应该只是渐进式的商务模式改善，更应该是本质上的突破。比如就初创企业Foursquare来说，为了发现数据之间的关系，Foursquare使用了机器学习算法让系统可以建立“Explore”，一个社交推荐系统可以实时的给用户推荐有价值的位置信息，使用新的业务模式去驱动位置信息类型业务。“Explore”依赖大数据技术，同时从多于3000万个位置信息中获取见解。现在Foursquare已经具备了理解人们之间如何进行互动的能力，并且位置信息也不只止步平台，而是真实世界。
再次，必须具备高速度
传统数据库技术会拉低大数据的性能，同样也是非常繁琐的，因为不管这项技术是否迎合你的需求，专利许可涉及到的企业繁琐制度远超出你的想象。一个成功大数据项目，使用的工具集和数据库技术必须同时满足数据体积及多样性的双重需求。论据是：一个Hadoop集群只需几个小时就可以搭建，搭建完成后就可以提供快速的数据分析。事实上大部分的大数据技术都是开源的，这就意味着你可以根据你的需求添加支持和服务，同时许可不再是快速部署的阻碍之一。
最后，必须能以前所不能
在大数据出现之前，类似Gilt Groupe这种“限时抢购”公司根本不可能实现。限时抢购网站需要日处理上千万用户的登陆，并且会造成非常高的服务器负载峰值——通过高性能、快速扩展的大数据技术让这种商业模型成为可能。
总结
大数据部署成败的关键不是系统每秒可以处理多少数据量，而是使用大数据后给公司业务带来了多少价值以及是否让业务有突破性的提升。专注业务类型，选择适合公司业务的工具集才是该重点关注的领域。
『捌』 电商企业怎样用好大数据
电商企业怎样用好大数据
大数据正在促生新的蓝海，催生新的经济增长点，正在成为政府和企业竞争的新焦点。2012年，瑞士达沃斯论坛发布《大数据，大影响》报告，称“数据已经成为一种新的经济资产类别，就像货币或黄金一样”。2012年，美国政府启动“大数据研究和发展计划”，将大数据上升到了国家战略层面。对于企业来说，数据正在取代人才成为企业的核心竞争力。
在众多领域中，显然电商企业比传统零售企业在这方面会更有优势，因为电商企业本身就是通过数据平台为用户提供零售服务的。那么，电商企业如何应用好这一优势？
电商企业具备先天优势
当前，我国电子商务正处于快速发展期。以阿里巴巴为例，2012年，淘宝和天猫成交量之和超过一万亿元。根据国家统计局数据，2012年全国社会消费品零售总额为20.17万亿元，一万亿元相当于其总量的4.8%。我国电子商务井喷式发展的背后是消费者数据的几何级增长，电子商务龙头企业也积极部署、探索和挖掘大数据相关应用。
——电商企业通过大数据应用创新商业模式
大数据的重要趋势就是数据服务的变革，把人分成很多群体，对每个群体甚至每个人提供针对性的服务。消费数据量的增加为电商企业提供了精确把握用户群体和个体网络行为模式的基础。电商企业通过大数据应用，可以进行个人化、个性化、精确化和智能化广告推送与推广服务的探索，创立比现有广告和产品推广形式性价比更高的全新商业模式。同时，电商企业也可以通过对大数据的把握，寻找更多更好的增加用户黏性、开发新产品和新服务、降低运营成本的方法与途径。
实际上，国外传统零售巨头早已开始大数据的应用和实践。Tesco是全球利润第二大零售商，其从会员卡的用户购买记录中，充分了解用户的行为，并基于此进行一系列的业务活动，例如通过邮件或信件寄给用户的促销可以变得更个性化，店内的商家商品及促销也可以根据周围人群的喜好、消费时段来更加有针对性，从而提高货品的流通。这样的做法为Tesco获得了丰厚的回报，仅在市场宣传一项，就能帮助其每年节省3.5亿英镑的费用。
从国内来看，我国电商企业已逐步认识到大数据应用对于电商发展的重要性。以凡客诚品为例，经过近几年的高速发展，凡客每年的销售量成倍增长，库存问题逐渐成为制约其发展的主要因素。2011年，凡客成立了数据中心，针对企业经营数据，包括库存、进货周期、周转、订单等，研究分析新产品的上架与新用户增长的关系，每上线一个新产品与它能够带来的用户二次购买的关系等，开展大数据应用实践。凡客的高库存问题目前已得到了缓解，库存周转周期由100天下降为50天~30天，有效降低了运营成本。
——电商企业通过大数据应用推动差异化竞争
当前，我国电子商务发展面临的两大突出问题是成本和同质化竞争。而大数据时代的到来将为其发展和竞争提供新的出路，包括具体产品和服务形式，通过个性化创新提升企业竞争力。
阿里巴巴通过对旗下的淘宝、天猫、阿里云、支付宝、万网等业务平台进行资源整合，形成了强大的电子商务客户群及消费者行为的全产业链信息，造就了独一无二的数据处理能力，这是目前其他电子商务公司无法模仿与跟随的。同时，也将电子商务的竞争从简单的价格战上升了一个层次，形成了差异化竞争。目前，淘宝已形成的数据平台产品，包括数据魔方、量子恒道、超级分析、金牌统计、云镜数据等100余款，功能包括店铺基础经营分析、商品分析、营销效果分析、买家分析、订单分析、供应链分析、行业分析、财务分析和预测分析等。
此外，电商企业通过大数据应用积极开拓发展新蓝海——互联网金融业务。目前阿里、京东、苏宁三大主流电商企业已相继试水。除“阿里小贷”模式比较成功之外，“京东模式”也渐出效果。2012年，京东通过与中国银行合作，推出“供应链金融服务”，供应商凭借其在京东的订单、入库单等向京东提出融资申请，核准后递交银行，再由银行给予放款。此服务可以帮助京东供应商大幅度缩短账期，资金回报率由原来的60%左右提高到226%。
警惕隐私风险
虽然电子商务企业已经走在大数据时代的前列，但在开始规划大数据美好蓝图的同时也要警惕其面临的挑战和风险。
企业信息化投资将规模化发展。电商企业内部的经营交易信息，包括商品、物流信息，以及用户的社交信息、位置信息等将构成企业大数据的主要来源。其信息量远远超越了现有企业IT架构和基础设施的承载能力，其实时性要求大大超越现有的计算能力。此外，电商企业还将面临数据孤岛、数据质量、数据格局等数据治理问题。要想依靠大数据获益，我国电商企业必将进行新一轮的信息化投资和建设。
相关管理政策尚不明确。大数据时代下，云计算必将成为电商企业选择的业务模式，其本质是数据处理技术。数据是资产，云为数据资产提供了保管、访问的场所和渠道。云计算所提供的服务，既包括软件服务和应用平台服务，又包括基础设施服务，但目前我国针对云计算服务的管理政策和技术标准尚未明确。
数据安全与隐私问题突出。一方面，大量的数据汇集，包括大量的企业运营数据、客户信息、个人的隐私和各种行为的细节记录，面临的数据泄露风险将会增大。电商企业既要防止数据在云上丢掉，也要防止数据在端上被窃取和篡改。另一方面，一些敏感数据的所有权和使用权还没有明确的界定，很多基于大数据的分析都未考虑到其中涉及的个人隐私问题。