大数据时代情报学面临的挑战和机遇

❶ 大数据时代的数据分析技术面临的挑战

数据分析是整个大数据处理流程的核心，大数据的价值产生于分析过程。从异构数据源抽取和集成的数据构成了数据分析的原始数据。根据不同应用的需求可以从这些数据中选择全部或部分进行分析。小数据时代的分析技术，如统计分析、数据挖掘和机器学习等，并不能适应大数据时代数据分析的需求，必须做出调整。

大数据时代的数据分析技术面临着一些新的挑战，主要有以下几点。

（1）数据量大并不一定意味着数据价值的增加，相反这往往意味着数据噪音的增多。因此，在数据分析之前必须进行数据清洗等预处理工作，但是预处理如此大量的数据，对于计算资源和处理算法来讲都是非常严峻的考验。

（2）大数据时代的算法需要进行调整。首先，大数据的应用常常具有实时性的特点，算法的准确率不再是大数据应用的最主要指标。在很多场景中，算法需要在处理的实时性和准确率之间取得一个平衡。其次，分布式并发计算系统是进行大数据处理的有力工具，这就要求很多算法必须做出调整以适应分布式并发的计算框架，算法需要变得具有可扩展性。许多传统的数据挖掘算法都是线性执行的，面对海量的数据很难在合理的时间内获取所需的结果。因此需要重新把这些算法实现成可以并发执行的算法，以便完成对大数据的处理。最后，在选择算法处理大数据时必须谨慎，当数据量增长到一定规模以后，可以从小量数据中挖掘出有效信息的算法并一定适用于大数据。

（3）数据结果的衡量标准。对大数据进行分析比较困难，但是对大数据分析结果好坏的衡量却是大数据时代数据分析面临的更大挑战。大数据时代的数据量大，类型混杂，产生速度快，进行分析的时候往往对整个数据的分布特点掌握得不太清楚，从而会导致在设计衡量的方法和指标的时候遇到许多困难。

❷ 浅谈基于大数据时代的机遇与挑战论文

浅谈基于大数据时代的机遇与挑战论文推荐

在学习和工作中，大家总少不了接触论文吧，论文的类型很多，包括学年论文、毕业论文、学位论文、科技论文、成果论文等。为了让您在写论文时更加简单方便，以下是我精心整理的浅谈基于大数据时代的机遇与挑战论文，仅供参考，希望能够帮助到大家。

浅谈基于大数据时代的机遇与挑战论文

1、大数据的基本概况

大数据(Big Data)是指那些超过传统数据库系统处理能力的数据，其具有以下四个基本特性，即海量性、多样性、易变性、高速性。同时数据类型繁多、数据价值密度相对较低、处理速度快、时效性要求高等也是其主要特征。

2、大数据的时代影响

大数据，对经济、政治、文化等方面都具有较为深远的影响，其可帮助人们进行量化管理，更具科学性和针对性，得数据者得天下。大数据对于时代的影响主要包括以下几个方面：

(1)“大数据决策”更加科学有效。如果人们以大数据分析作为基础进行决策，可全面获取相关决策信息，让数据主导决策，这种方法必将促进决策方式的创新和改变，彻底改变传统的决策方式，提高决策的科学性，并推动信息管理准则的重新定位。2009 年爆发的甲型H1N1 流感就是利用大数据的一个成功范例，谷歌公司通过分析网上搜索的大量记录，判断流感的传播源地，公共卫生机构官员通过这些有价值的数据信息采取了有针对性的行动决策。

(2)“大数据应用”促进行业融合。虽然大数据源于通信产业，但其影响绝不局限于通信产业，势必也将对其他产生较为深远的影响。目前，大数据正逐渐广泛应用于各个行业和领域，越来越多的企业开始以数据分析为辅助手段加强公司的日常管理和运营管理，如麦当劳、肯德基、苹果公司等旗舰专卖店的位置都是基于大数据分析完成选址的，另外数据分析技术在零售业也应用越来越广泛。

(3)“大数据开发”推动技术变革。大数据的应用需求，是大数据新技术开发的源泉。相信随着时代的不断发展，计算机系统的数据分析和数据挖掘功能将逐渐取代以往单纯依靠人们自身判断力的领域应用。借助这些创新型的大数据应用，数据的能量将会层层被放大。

另外，需要注意的是，大数据在个人隐私的方面，容易造成一些隐私泄漏。我们需要认真严肃的对待这个问题，综合运用法律、宣传、道德等手段，为保护个人隐私，做出更积极的努力。

3、大数据的应对策略

3.1 布局关键技术研发创新。

目前而言，大数据的技术门槛较高，在这一领域有竞争力的多为一些在数据存储和分析等方面有优势的信息技术企业。为促进产业升级，我们必须加强研究，重视研发和应用数据分析关键技术和新兴技术，具体可从以下几个方面入手：第一，夯实发展基础，以大数据核心技术为着手点，加强人工智能、机器学习、商业智能等领域的理论研究和技术研发，为大数据的应用奠定理论基础。二是加快基础技术(非结构化数据处理技术、可视化技术、非关系型数据库管理技术等)的研发，并使其与物联网、移动互联网、云计算等技术有机融合，为解决方案的制定打下坚实基础。三是基于大数据应用，着重对知识计算( 搜索) 技术、知识库技术、网页搜索技术等核心技术进行研发，加强单项技术产品研发，并保证质量的提升，同时促使其与数据处理技术的有机结合，建立科学技术体系。

3.2 提高软件产品发展水平。

一是促进以企业为主导的产学研合作，提高软件发展水平。二是运用云计算技术促进信息技术服务业的转型和发展，促进中文知识库、数据库与规则库的建设。三是采取鼓励政策引导软硬件企业和服务企业应用新型技术开展数据信息服务，提供具有行业特色的系统集成解决方案。四是以大型互联网公司牵头，并聚集中小互联网信息服务提供商，对优势资源进行系统整合，开拓与整合本土化信息服务。五是以数据处理软件商牵头，这些软件商必须具备一定的基础优势，其可充分发挥各自的数据优势和技术优势，优势互补，提高数据软件开发水平，提高服务内容的精确性和科学性。同时提高大数据解决方案提供商的市场能力和集成水平，以保障其大数据为各行业领域提供较为成熟的解决方案。

3.3 加速推进大数据示范应用。

大数据时代，我们应积极推进大数据的示范应用，可从以下几个方面进行实践：第一，对于一些数据量大的领域(如金融、能源、流通、电信、医疗等领域)，应引导行业厂商积极参与，大力发展数据监测和分析、横向扩展存储、商业决策等软硬件一体化的行业应用解决方案。第二，将大数据逐渐应用于智慧城市建设及个人生活和服务领域，促进数字内容加工处理软件等服务发展水平的提高。第三，促进行业数据库(特别是高科技领域)的深度开发，建议针对不同的行业领域建立不同的专题数据库，以提供相应的内容增值服务，形成有特色化的服务。第四，以重点领域或重点企业为突破口，对企业数据进行相应分析、整理和清洗，逐渐减少和去除重复数据和噪音数据。

3.4 优化完善大数据发展环境。

信息安全问题是大数据应用面临的主要问题，因此，我们应加强对基于大数据的情报收集分析工作信息保密问题的研究，制定有效的防范对策，加强信息安全管理。同时，为优化完善大数据发展环境，应采取各种鼓励政策(如将具备一定能力企业的数据加工处理业务列入营业税优惠政策享受范围)支持数据加工处理企业的发展，促使其提高数据分析处理服务的水平和质量。三是夯实大数据的应用基础，完善相关体制机制，以政府为切入点，推动信息资源的集中共享。

做到上面的几点，当大数据时代来临的时候，面临大量数据将不是束手无策，而是成竹在胸，而从数据中得到的好处也将促进国家和企业的快速发展。

大数据为经营的横向跨界、产业的越界混融、生产与消费的合一提供了有利条件，大数据必将在社会经济、政治、文化等方面对人们生活产生巨大的影响，同时大数据时代对人类的数据驾驭能力也提出了新的挑战与机遇。面对新的挑战与发展机遇，我们应积极应对，以掌握未来大数据发展主动权。

结构

论文一般由名称、作者、摘要、关键词、正文、参考文献和附录等部分组成，其中部分组成（例如附录）可有可无。

1、论文题目

要求准确、简练、醒目、新颖。

2、目录

目录是论文中主要段落的'简表。（短篇论文不必列目录）

3、内容提要

是文章主要内容的摘录，要求短、精、完整。

4、关键词定义

关键词是从论文的题名、提要和正文中选取出来的，是对表述论文的中心内容有实质意义的词汇。关键词是用作计算机系统标引论文内容特征的词语，便于信息系统汇集，以供读者检索。每篇论文一般选取3-8个词汇作为关键词，另起一行，排在“提要”的左下方。

主题词是经过规范化的词，在确定主题词时，要对论文进行主题分析，依照标引和组配规则转换成主题词表中的规范词语。（参见《汉语主题词表》和《世界汉语主题词表》）。

5、论文正文

（1）引言：引言又称前言、序言和导言，用在论文的开头。引言一般要概括地写出作者意图，说明选题的目的和意义, 并指出论文写作的范围。引言要短小精悍、紧扣主题。

（2）论文正文：正文是论文的主体，正文应包括论点、论据、论证过程和结论。主体部分包括以下内容：

a.提出问题-论点；

b.分析问题-论据和论证；

c.解决问题-论证方法与步骤；

d.结论。

6、参考文献

一篇论文的参考文献是将论文在研究和写作中可参考或引证的主要文献资料，列于论文的末尾。参考文献应另起一页，标注方式按进行。

7、论文装订

论文的有关部分全部抄清完了，经过检查，再没有什么问题，把它装成册，再加上封面。论文的封面要朴素大方，要写出论文的题目、学校、科系、指导教师姓名、作者姓名、完成年月日。论文的题目的作者姓名一定要写在表皮上，不要写里面的补页上。

❸ 为什么要考虑大数据环境下企业竞争情报研究的机遇和挑战

市场竞争大要考虑大数据环境下企业竞争情报研究的机遇和挑战。在解析失数据的基本内涵和多元价值基础上，从数据的属性角度剖析大数据给企业竞争情报工作带来的机遇。

❹ 大数据时代,面临的七个挑战和八大趋势

大数据时代,面临的七个挑战和八大趋势

大数据挑战和机遇并存，大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段，大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战，但前景依然非常乐观。

大数据发展的挑战

目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重，导致数据价值不能充分挖掘;数据可用性低，数据质量差，导致数据无法利用;数据相关管理技术和架构落后，导致不具备大数据处理能力;数据安全能力和防范意识差，导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值，但缺乏大数据相关的政策法规，导致数据开放和隐私之间难以平衡，也难以更好的开放。

挑战一：业务部门没有清晰的大数据需求

很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在大数据方向的发展，也阻碍了企业积累和挖掘自身的数据资产，甚至由于数据没有应用场景，删除很多有价值历史数据，导致企业数据资产流失。因此，这方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业务人员了解大数据的价值。

挑战二：企业内部数据孤岛严重

企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。如果不打通这些数据，大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。

挑战三：数据可用性低，数据质量差

很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明，高质量的数据的数据应用可以显著提升企业的商业表现，数据可用性提高10%，企业的业绩至少提升在10%以上。

挑战四：数据相关管理技术和架构

技术架构的挑战包含以下几方面：(1)传统的数据库部署不能处理TB级别的数据，快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库，对数据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构，需要强大的数据中心来支撑，数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时，减少服务器的低负载情况，成为海量数据中心运维的一个重点工作。

挑战五：数据安全

网络化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多，黑客犯罪的动机比以往都来的强烈，一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们，要加强大数据网络安全的建设。另外，大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。

挑战六：大数据人才缺乏

大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。

挑战七：数据开放与隐私的权衡

在大数据应用日益重要的今天，数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用，不仅能促进相关产业的发展，也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。同时，开放与隐私如何平衡，也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。

大数据发展趋势

虽然大数据仍在起步阶段，存在诸多挑战，但未来的发展依然非常乐观。大数据的发展呈现八大趋势：数据资源化，将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合，行业定制化解决方案将涌现;数据将越来越开放，数据共享联盟将出现;大数据安全越来越受重视，大数据安全市场将愈发重要;大数据促进智慧城市发展，为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。

趋势一：数据资源化，将成为最有价值的资产

随着大数据应用的发展，大数据价值得以充分的体现，大数据在企业和社会层面成为重要的战略资源，数据成为新的战略制高点，是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据，大影响》的报告宣传，数据已经成为一种新的资产类别，就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、网络、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功，并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产，成为提升机构和企业竞争力的有力武器。

趋势二：大数据在更多的传统行业的企业管理落地

一种新的技术往往在少数行业应用取得了好的效果，对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用，其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此，我们有理由相信，大数据作为一种从数据中创造新价值的工具，将会在许多行业的企业得到应用，带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求，更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学，相信大数据在科学管理企业方面有更显著的促进，让更多拥抱大数据的企业实现智慧企业管理。

趋势三：大数据和传统商业智能融合，行业定制化解决方案将涌现

来自传统商业智能领域者将大数据当成一个新增的数据源，而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案，即不仅要能收集、处理和分析企业内部的业务数据，还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外，还希望能结合移动设备的位置信息，这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟，无论是大数据还是商业智能，目的都是为分析服务的，数据全面整合起来，更有利于发现新的商业机会，这就是大数据商业智能。同时，由于行业的差异性，很难研发出一套适用于各行业的大数据商业智能分析系统，因此，在一些规模较大的行业市场，大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。

趋势四：数据将越来越开放，数据共享联盟将出现

大数据越关联越有价值，越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到，美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网，在2013年年底正式开放;上海在2012年启动了政府数据资源开放试点工作，数据涉及地理位置、交通、经济统计和资格资质等数据;2014年，贵州省也加入数据开放之列，10月份云上贵州正式上线。对于不同的行业，数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息，那么就需要全国，甚至全世界的医疗信息共享，从而可以通过平台进行分析，获取更大的价值。我们相信数据会呈现一种共享的趋势，不同领域的数据联盟将出现。

趋势五：大数据安全越来越受重视，大数据安全市场将愈发重要

随着数据的价值的越来越重要，大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息，也有更多的骗术和犯罪手段出现，所以，在大数据时代，无论对于数据本身的保护，还是对于由数据而演变的一些信息的安全，对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的，与传统安全相比，大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析，并且找出针对大数据的业务的威胁，然后提出有针对性的解决方案。比如，对于数据存储这个场景，目前很多企业采用开源软件如Hadoop技术来解决大数据问题，由于其开源性，但是其安全问题也是突出的。因此，市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。

趋势六：大数据促进智慧城市发展，为智慧城市的引擎

随着大数据的发展，大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力，需要城市能够更合理地进行资源布局和调配，而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念，最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化，关键是要实现对数字信息的智慧处理，其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等，都是以大数据为基础的的智慧城市应用领域。

趋势七：大数据将催生一批新的工作岗位和相应的专业

一个新行业的出现，必将在工作职位方面有新的需求，大数据的出现也将推出一批新的就业岗位，例如，大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源，数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求，高校也将逐步开设大数据相关的专业，以培养相应的专业人才。企业也将和高校紧密合作，协助高校联合培养大数据人才。如2014年，IBM 全面推进与高校在大数据领域的合作，引入强大的研发团队和业务伙伴，推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养，建设符合中国教学特色及人才需求的大数据相关学分课程，为未来建设特色专业方向做准备。

趋势八：大数据在多方位改善我们的生活

大数据不仅用于企业和政府，也应用于我们的生活。在健康方面：我们可以利用智能手环监测，对我们的睡眠模式来进行追踪，了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况，让远在他方的外出工作者更加放心;在出行方面：我们可以利用智能导航出行GPS数据了解交通状况，并根据拥堵情况进行路线实时调优。在居家生活方面：大数据将成为智能家居的核心，智能家电实现了拟人智能，产品通过传感器和控制芯片来捕捉和处理信息，可以根据住宅空间环境和用户需求自动设置控制，甚至提出优化生活质量的建议，如我们的冰箱可能会在每天一大早建议我们当天的菜谱。

以上是小编为大家分享的关于大数据时代,面临的七个挑战和八大趋势的相关内容，更多信息可以关注环球青藤分享更多干货

❺ 大数据时代信息检索的机遇与挑战

首先先帮您了解下什来么是大数源据，大数据”意指一个超大的、无法在可承受的时间范围内用传统软件工具进行捕捉、管理、处理的数据集合。
“大数据”的特点，业界将其归纳为4个”V”,即：Volume(容量),Variety(多样性),Velocity(时效性),Value(价值)。
然后，您问的关于大数据时代信息检索的机遇与挑战，先说机遇：
现在好多企业都还使用的是传统关系型数据库，无法横向扩展，对于数据存储规模有非常大的限制，而且传统关系性数据库数据记录达到百万或者千万级时，信息检索速度特别慢，设置会超时，这就是大数据技术的机遇。
挑战会很多，首先是一般的大数据技术是针对海量历史记录的，对频繁更新的应用支撑的不是很好，有很多业务应用需要实现检索亚毫秒级等。
我现在正在做这个行业，有机会多交流。

❻ 大数据时代的挑战、价值与应对策略

大数据时代的挑战、价值与应对策略
随着移动互联网、物联网、云计算等的快速发展，及视频监控、智能终端、应用商店等的快速普及，全球数据量出现爆炸式增长。在此背景下，电信运营商在其网络无休止扩容的同时，却面临“增量不增收”的困境；而一些采用“数据驱动型决策”模式经营的公司，则可将其生产力提高5%～6%。因此，有必要深入研究大数据时代（Big Data Era）的挑战、价值与务实应对策略。
1大数据时代的基本特征
据统计，2010年以互联网为基础所产生的数据比之前所有年份的总和还要多；而且不仅是数据量的激增，数据结构亦在演变。Gartner预计，2012年半结构和非结构化的数据，诸如文档、表格、网页、音频、图像和视频等将占全球网络数据量的85%左右；而且，整个网络体系架构将面临革命性改变。由此，所谓大数据时代已经来临！
对于大数据时代，目前通常认为有下述四大特征，称为“四V”特征：
（1）量大（Volume Big）。数据量级已从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量。
（2）多样化（Variable Type）。数据类型繁多，愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。
（3）快速化（VelocityFast）。数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理；处理工具亦在快速演进，软件工程及人工智能等均可能介入。
（4）价值高和密度低（Value HighandLowDensity）。以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；360°全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。
2大数据时代面临的挑战
（1）运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战，管道化压力化解及“云－管－端”的有效装备也均面临新挑战。
（2）大数据的“四V”特征在数据存储、传输、分析、处理等方面均带来本质变化。数据量的快速增长，对存储技术提出了挑战；同时，需要高速信息传输能力支持，与低密度有价值数据的快速分析、处理能力。
（3）海量数据洪流中，在线对话与在线交易活动日益增加，其安全威胁更为严峻；而且现今黑客的组织能力、作案工具、作案手法及隐蔽程度更上一层楼，典型的有APT（Advanced Persistent Threat，高级持续性安全威胁）。
（4）大数据环境下通过对用户数据的深度分析，很容易了解用户行为和喜好，乃至企业用户的商业机密，对个人隐私问题必须引起充分重视。
（5）大数据时代的基本特征，决定其在技术与商业模式上有巨大的创新空间，这将对可持续发展起关键作用。
（6）大数据时代的基本特征及安全挑战，对政府制订规则与监管部门发挥作用提出了新的挑战。
3大数据带来的价值
（1）利用大数据特征，借助云计算等有效工具，深度挖掘流量与数据价值，可帮助运营商实施好流量经营，减轻管道化风险，发扬“云－管－端”的智能管道的威力。
（2）多业务环境下掌握用户体验效果尤为重要，可从海量用户数据中深度分析、挖掘出用户的行为习惯和消费爱好，以实施精准营销及网络优化，掌控数据增值的“金钥匙”。
（3）掌握好大数据的存储、分类、挖掘、快速调用和决策支撑，并应用于企业的日常运营、维护及战略转型中，成为企业可持续发展、维持竞争优势的当务之急与重要途径。
（4）充分利用对大数据的分析、挖掘，可帮助找到隐蔽性极强的APT之类的安全威胁，助力信息安全部门找到应对新型安全威胁的有效途径。
（5）通过对公共大数据的分析、挖掘与利用，可减少欺诈行为及错误数据的负面作用、追收逃税漏税及刺激公共机构生产力等，帮助政府节省开支。例如英国政府即通过此途径节省大约330亿英镑/年。
4大数据时代的应对策略
（1）大数据时代应以智慧创新理念融合大数据与云计算，在大数据洪流中提升知识价值洞察力，实施高效实时个性化运作，建立有效增值的商业模式，确保应对APT之类的新型安全威胁。
（2）电信运营商转型中流量经营已成共识，即以智能管道与聚合平台为基础，以扩大流量规模、提升流量层次及丰富流量内涵作为基本经营方向，并以释放流量价值为基本目标，可见大数据和云计算的深度融合与此流量经营目标十分吻合。实际上已经有一些运营商借助大数据Hadoop云工具管理与分析网络中的用户数据，为日常运维及制定市场战略等提供有效支撑。
（3）针对大数据时代的基本特征，加强全方位创新。包括IBM、EMC、HP、Microsoft等在内的IT巨头，纷纷加速收购相关大数据公司进行技术整合，寻找数据洪流大潮中新的立足点。而涉及人工智能、机器学习等新技术的创新应用，已初显效益。
（4）将大数据时代全方位创新工作和智慧城市发展紧密结合。借助移动互联网、大数据与云计算的融合、智能运营管道等，建立智能平台，优化配置城市资源，向真正的智慧城市迈进。
（5）借助大数据创新处理技术应对APT安全攻击。APT安全攻击的最主要特征为单点隐蔽能力强、攻击空间路径不确定、攻击渠道不确定；同时APT攻击一旦入侵成功则长期潜伏，攻击时间上具有持续性。目前，全流量审计方案具备强大的实时检测能力与事后回溯能力，并可将安全工作人员的分析能力、计算机存储与运算能力组合在一起，是一种较完整的解决方案。

❼ 当代大学生应该如何应对“大数据”带来的机遇与挑战

大数据，或称巨量资料，是指所涉及的资料量规模巨大，以致无法通过目前主流软件工具在合理时间内撷取、管理、处理并整理成为帮助企业达致经营决策目的的资讯。大数据技术不仅能够提高人们利用数据的效率，而且能够实现数据的再利用和重复利用，进而大大降低交易成本，提升人们开发自我潜能的空间。人们可以低成本或零成本进行事物信息全息式的纵向历史比对和横向现实比对。大数据技术自身不仅能够迅速衍生为新兴信息产业，还可以同云计算、物联网和智慧工程技术联动，支撑一个信息技术的新时代。

云计算、物联网、大数据、智慧工程都是新一代信息技术。云计算技术是一种按使用量付费的模式，这种模式可以提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供，只需投入很少的管理工作，或与服务供应商进行很少的交互。云计算技术可以使人们及时利用各类大数据。物联网技术的实质就是物物相连的互联网，物联网的核心和基础仍然是互联网，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。物联网技术可以溯源大数据和保证信息的真实性。智慧工程就是把感应器嵌入和装备到电网、铁路、桥梁、隧道、公路、建筑、供水系统、大坝、油气管道等各种物体中，并且进行普遍连接，与现有的互联网整合起来，实现人类社会与物理系统的整合。智慧工程可以激活沉寂的大数据。

❽ 如何认识大数据背景下，统计学面临的挑战与机遇

1.大数据对统计学带来的挑战
传统的统计学一般还停留在用抽样技术在总体中抽取样本收集数据，然后建立模型对数据进行统计分析。但是在数据如此之多的今天传统的统计学在完成这方面时面临巨大的挑战。统计学要想推陈出新，必须要自己作出改革。
2.大数据为统计学带来的机遇
统计学从古至今一直以来就是一门研究数据的学科，统计学和大数据内在具有联系性，大数据让统计学登上了学科霸主的地位，很多教学单位现在都注重统计学人才的培养。统计学能够让人们更好的把握对数据的分析和应用。总结了以下几点大数据时代为统计学带来的发展机遇。
（1）大数据为统计学提供了新的研究方向，对大数据进行分析，为统计学提供了新的实用价值，因为不仅电商，传统商家还有政府都需要对庞杂的数据进行分析，找出其中包含的关于经济发展趋势的宏观信息，微观信息，还有公众的喜好和需求等等，为了获取这些信息，更加严密和系统的科学方法会被引入统计学研究中。
（2）统计学能够充分利用计算机技术的发展，统计理论方法需要在学科交叉中获得新的生命力，统计学应该从数据发展的现在趋势中寻找统计发展的灵感。考虑到现在的信息技术、云计算、互联网的发展，并且以政府统计作为现代化统计的基础，从传统的统计学向现代统计学发展。
（3）对统计人才的培养提出了新的要求，现在需要的不仅仅是对统计学理论知识有清晰认识的统计学人才，而是高层次的数据分析师，要有数学知识、统计建模知识、计算机技能、编程技能、大数据挖掘、还要有管理技能等的复合型人才。

（4）可以进一步深化统计理论模型，现在进行统计分析不像以往，统计指标的获得要经过复杂的演算过程。现在一般都是依靠大型软件程序，但是这些大型的软
件程序的编制却需要特定的统计模型来完成的，如果想要在大数据时代获得发展的优先权，就要研发出相应的数理统计的模型。