大数据时代发展历程

Ⅰ 几年左右什么促使了大数据的突破

2003——2006年，非结构化的数据大量出现，传统的数据库处理难以应对，也称非结构化数据阶段。
大数据发展历程：
1、上世纪末，是大数据的萌芽期，处于数据挖掘技术阶段。随着数据挖掘理论和数据库技术的成熟，一些商业智能工具和知识管理技术开始被应用。
2、2003年-2006年是大数据发展的突破期，社交网络的流行导致大量非结构化数据出现，传统处理方法难以应对，数据处理系统、数据库架构开始重新思考。
3、2006年-2009年，大数据形成并行计算和分布式系统，为大数据发展的成熟期。
4、2010年以来，随着智能手机应用，数据碎片化、分布式、流媒体特征更加明显，移动数据急剧增长。
5、2011年麦肯锡全球研究院发布《大数据：下一个创新、竞争和生产力的前沿》，2012年维克托·舍恩伯格《大数据时代：生活、工作与思维的大变革》宣传推广，大数据概念开始风靡全球。

Ⅱ 大数据发展主要分为几个阶段

六个：阶段1 技术试验阶段、阶段2 自动化阶段、阶段3 投入生产阶段、阶段4 数据管理阶段、阶段5 重视安全性阶段、阶段6 云基础架构的大数据阶段

大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长枝手60%。大数据就是互联网发展到现今阶段的一埋搭正种表象或特征而已，没有必要神话它或对它保持敬畏之心。

Ⅲ 浅述大数据技术的发展历程与未来发展趋势

大数据技术的发展历程与未来发展趋势：

从文明之初的“结绳记事”，到文字发明后的“文以载道”，再到近现代科学的“数据建模”，数据一直伴随着人类社会的发展变迁，承载了人类基于数据和信息认识世界的努力和取得的巨大进步。

然而，直到以电子计算机为代表的现代信息技术出现后，为数据处理提供了自动的方法和手段，人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济社会发展方方面面的应用(即信息化)，推动数据(信息)成为继物质、能源之后的又一种重要战略资源。

大数据于2012、2013年达到其宣传高潮，2014年后概念体系逐渐成形，对其认知亦趋于理性。大数据相关技术、产品、应用和标准不断发展，逐渐形成了包括数据资源与API、开源平台与工具、数据基础设施、数据分析、数据应用等板块构成的大数据生态系统，并持续发展和不断完善，其发展热点呈现了从技术向应用、再向治理的逐渐迁移。

经过多年来的发展和沉淀，人们对大数据已经形成基本共识是大数据现象源于互联网及其延伸所带来的无处不在的信息技术应用以及信息技术的不断低成本化。大数据泛指无法在可容忍的时间内用传统信息技术和软硬件工具对其进行获取、管理和处理的巨量数据集合，具有海量性、多样性、时效性及可变性等特征，需要可伸缩的计算体系结构以支持其存储、处理和分析。

Ⅳ 大数据的产生与发展现状研究

摘 要：大数据的产生给未来信息技术带来新的机遇与挑战。大数据对数据处理的有效性、实时性提出了更高要求，需要根据大数据的特点对当前数据处理技术实施变革，从而形成更有益于大数据采集、存储、处理、管理、分析、共享的新兴技术。本文从大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。

关键词 ：大数据 物联网 信息处理 海量计算

一、大数据的产生与发展现状

随着物联网、云计算等信息技术的飞速发展，大数据技术(Big Data)也越发进入人们的视线。大数据是用传统方法或工具很难处理或分析的数据信息。目前，人们对大数据的理解还不够全面和深入，关于大数据的含义也没有一个统一的定义。亚马逊大数据科学家John Rauser认为：大数据是超过任何一台计算机处理能力的庞大数据量。Informatica 的中国区首席顾问但彬指出：大数据是海量数据与复杂类型的数据的结合。而维基网络则把大数据定义成诸多大而复杂的、难以用当前数据库处理的数据集合。

大数据研究受到国内外学术界和工业界的广泛关注，已成为当今信息时代全世界讨论的热点。2008年，Nature杂志就推出大数据专刊，计算社区联盟也在同一年发表了报告《Big data computing; Creating revolutionary breakthroughs in commerce， science and society》，报告阐述了解决大数据问题所需的关键技术以及所面临的挑战。美国奥x政府于2012年3月在白宫网站发布了《大数据研究和发展倡议》，提出了通过收集、处理海量、复杂的数据信息，从而提升能力，加快科学和工程领域的创新步伐，转变学习教育模式，强化美国本土的安全”。2011年1月，微软公司同惠普公司合作开发了一系列能够提升生产力，同时提高决策速度的设备。此外，欧盟委员会也提出驾驳大数据浪潮的战略思路，日本发布的《面向 2020 的 ICT综合战略》也提出需要构造大量丰富的数据基础。

近年来，我国也积极开展对大数据的研究。2011年10月，工信部确认京沪深杭等 5 城市为“云计算中心”试点城市。2012年6月，中国计算机学会青年计算机科技论坛也举办了“大数据时代，智谋未来”学术报告研讨会。大数据及其科学研究方法涉及应用领域很广，并将与国计民生密切相关的科学决策、金融工程以及知识经济领域紧紧接合。

二、大数据的特点

目前，企业界和学术界都一致认为，大数据具有4个“V”特征，即：容量(Volume)、种类(Variety)、速度(Velocity)和至关重要的`价值(Value)。

(1) 容量(Volume)巨大。海量的数据集从TB 级别提升到PB 级别。

(2) 种类(Variety)繁多。大数据数据源有多种，数据格式和种类不同于以前所规定的结构化数据范畴。

(3)价值(Value)密度低。如视频的例子，在不间断连续监控的过程中，可能有意义的数据仅有一两秒。

(4)速度(Velocity)快。包含大量实时、在线数据处理分析的需求1秒钟定律。

三、大数据应用的领域

大数据产业的发展将推动全球经济由粗放型向集约型转变，这将对提升企业整体竞争力和政府监管能力具有意义深远的影响。

商业作为大数据的重要应用领域。沃尔玛公司通过对消费者购物行为等一系列非结构化数据的分析，了解不同顾客的购物习惯，公司从所销售的数据进行分析，从而选出适合在一起搭配出售的商品;淘宝也针对买家开设了大数据平台，为客户量身打造了一整套完善的网购体验产品。

大数据在金融业也起到了至关重要的作用。美国Equifax公司利用大数据技术，通过对其的数据库中与财务有关的记录海量信息进行索引处理和交叉分享，从而得到客户的个人信用等级，以推断出客户的支付需求与能力。

随着大数据在医疗与生命科学研究过程中的广泛应用和不断扩展。2010年，中国公布的《十二五规划》指出：要重点建设国家级、省级和地市级三级医疗卫生信息平台，建设电子病历和电子档案两个最为基础的数据库。各级医院也将在医疗信息仓库、数据中心等领域加大投入，医疗数据信息的存储将愈加被关注，医疗信息中心的关注焦点也将由传统的计算领域转为存储领域。

除此之外，大数据在制造业领域也有着广阔的应用。制造业企业积累了广泛的数据信息，在开展对业务数据进行技术管理的同时，企业需要通过大数据处理技术来帮助决策者从数据库储存的海量信息中找到有价值的信息，并且对其进行分析处理，从而增强决策的正确性、规避风险。

四、大数据所面临的挑战

大数据技术使人们能够更好地利用之前不能使用的各个数据类型，找出被忽略的信息，促进企业组织更加高效、智能。但随着对大数据研究的不断深入，人们也更加意识到当大数据技术向人们敞开“方便之门”的同时，也带来了众多的挑战：

(1)大数据需要更为专业化的管理技术人才。

(2) 大数据的合理利用需要解决容量大、类别多和时效性高的数据处理问题。

(3)大数据的利用对信息安全提出了更高要求。

(4)大数据的集成与管理问题。

这些挑战已成为关系到未来大数据发展的重要因素，同时也成为未来引领大数据发展的推动力。

五、结束语

大数据已经逐步渗透到人们工作生活的诸多领域中，对于大数据的研究也在不断的深化。本文针对大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。大数据的发展还处于初级阶段，还有更为广阔的空间需要人们不断开拓，如何合理地利用大数据、更加高效地处理大数据来为人们服务仍需要广大研究者不断地研究和探索。

参考文献：

[1]刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报，2014，46(6)：957- 972.

[2]严霄凤，张德馨.大数据研究[J].计算机技术与发展，2013，23(4)：168-172.

[3]刘俊.基于大数据流的Multi-Agent系统模型研究[J].计算机技术与发展， 2007，17(5)：166-169.

Ⅳ 大数据的历史

一、大数据的陷阱作文

李娜再度夺得大满贯，超越了张德培的华人大满贯纪录，非举国体制下的奇迹造就了举国的愉悦。

在总结李娜成功因素的时候，也再次看到了这样的言论：是大数据起到了重要的作用。但这次李娜夺冠，最靠谱的解释就是李娜在卡洛斯的帮助下大大提升了心理层面的战斗力。

在技术层面领先的前提下，李娜在整场比赛中克服了节奏问题，她具备了一颗冠军的心脏。2012年9月6日，代表亚洲网球至高水平的中国选手李娜在美国迎战名将小威廉姆斯。

当时，IBM公司在综合了美网过去8年的全部比赛数据之后，为参赛球员制定了“Keys to the march”的比赛制胜策略。李娜一方获得赢球的关键包括3个指标：1.一发得分率超过69%;2.4-9拍相持中得分利率要超过48%:3.发球局30-30或40-40时得分率要超过67%。

比赛结果是，李娜溃败。比赛结束后，IBM高调地宣布李娜仅仅完成了三项制胜策略中的项，而小威廉姆斯则完成了自己三项制胜策略中的两项。

于是，很多人就顺着IBM的思路问，李娜为什么不照着BM的策略去打球？其实，当当事人的主观愿望不积极的时候，大数据对他们来说不过是噪音而已。同样，数据也会因为主观意愿具有欺骗性。

我们很多时候都会被误导，认为大数据的作用是让历史提示未来。其实不然。

在网球这样的领域里，历史数据甚至常常会成为陷阱。有意思的是，在另一场女子网球比赛中，一位球员做到了IBM为其制定的三项指标中的两个，她却失败了。

而胜利的一方，只完成了一个指标。

二、大数据时代发展历程是什么

可按照时间点划分大数据的发展历程。

大数据时代发展的具体历程如下：2005年Hadoop项目诞生。 Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目，后来因其技术的高效性，被Apache Software Foundation公司引入并成为开源应用。

Hadoop本身不是一个产品，而是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。从技术上看，Hadoop由两项关键服务构成：采用Hadoop分布式文件系统（HDFS）的可靠数据存储服务，以及利用一种叫做MapRece技术的高性能并行数据处理服务。

这两项服务的共同目标是，提供一个使对结构化和复杂数据的快速、可靠分析变为现实的基础。2008年末，“大数据”得到部分美国知名计算机科学研究人员的认可，业界组织计算社区联盟 （puting munity Consortium），发表了一份有影响力的白皮书《大数据计算：在商务、科学和社会领域创建革命性突破》。

它使人们的思维不仅局限于数据处理的机器，并提出：大数据真正重要的是新用途和新见解，而非数据本身。此组织可以说是最早提出大数据概念的机构。

2009年印度 *** 建立了用于身份识别管理的生物识别数据库，联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的问题。同年，美国 *** 通过启动://Data.gov网站的方式进一步开放了数据的大门，这个网站向公众提供各种各样的 *** 数据。

该网站的超过4.45万量数据集被用于保证一些网站和智能手机应用程序来跟踪从航班到产品召回再到特定区域内失业率的信息，这一行动激发了从肯尼亚到英国范围内的 *** 们相继推出类似举措。2009年，欧洲一些领先的研究型图书馆和科技信息研究机构建立了伙伴关系致力于改善在互联网上获取科学数据的简易性。

2010年2月，肯尼斯ž库克尔在《经济学人》上发表了长达14页的大数据专题报告《数据，无所不在的数据》。库克尔在报告中提到：“世界上有着无法想象的巨量数字信息，并以极快的速度增长。

从经济界到科学界，从 *** 部门到艺术领域，很多方面都已经感受到了这种巨量信息的影响。科学家和计算机工程师已经为这个现象创造了一个新词汇：“大数据”。

库克尔也因此成为最早洞见大数据时代趋势的数据科学家之一。2011年2月，IBM的沃森超级计算机每秒可扫描并分析4TB（约2亿页文字量）的数据量，并在美国著名智力竞赛电视节目《危险边缘》“Jeopardy”上击败两名人类选手而夺冠。

后来 *** 认为这一刻为一个“大数据计算的胜利。” 相继在同年5月，全球知名咨询公司麦肯锡（McKinsey&pany）肯锡全球研究院（MGI）发布了一份报告——《大数据：创新、竞争和生产力的下一个新领域》，大数据开始备受关注，这也是专业机构第一次全方面的介绍和展望大数据。

报告指出，大数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

报告还提到，“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。2011年12 月，工信部发布的物联网十二五规划上，把信息处理技术作为4 项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。

2012年1月份，瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响》（Big Data, Big Impact） 宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。2012年3月，美国奥巴马 *** 在白宫网站发布了《大数据研究和发展倡议》，这一倡议标志着大数据已经成为重要的时代特征。

2012年3月22日，奥巴马 *** 宣布2亿美元投资大数据领域，是大数据技术从商业行为上升到国家科技战略的分水岭，在次日的电话会议中， *** 对数据的定义“未来的新石油”，大数据技术领域的竞争，事关国家安全和未来。并表示，国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力；国家数字 *** 体现对数据的占有和控制。

数字 *** 将是继边防、海防、空防之后，另一个大国博弈的空间。2012年4月，美国软件公司Splunk于19日在纳斯达克成功上市，成为第一家上市的大数据处理公司。

鉴于美国经济持续低靡、股市持续震荡的大背景，Splunk首日的突出交易表现尤其令人们印象深刻，首日即暴涨了一倍多。Splunk是一家领先的提供大数据监测和分析服务的软件提供商，成立于2003年。

Splunk成功上市促进了资本市场对大数据的关注，同时也促使IT厂商加快大数据布局。2012年7月，联合国在纽约发布了一份关于大数据政务的白皮书，总结了各国 *** 如何利用大数据更好地服务和保护人民。

这份白皮书举例说明在一个数据生态系统中，个人、公共部门和私人部门各自的角色、动机和需求：例如通过对价格关注和更好服务的渴望，个人提供数据和众包信息，并对隐。

三、大数据时代的产生背景

进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

它已经上过《 *** 》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。 数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。

正如《 *** 》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是 *** ，所有领域都将开始这种进程。”

。

四、大数据时代是什么意思

大数据时代：最早提出大数据时代到来的是全球知名咨询公司麦肯锡， 大数据在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

大数据提出的背景：进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《 *** 》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。

数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。正如《 *** 》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。

哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是 *** ，所有领域都将开始这种进程。” (5)大数据时代发展历程扩展阅读 大数据影响 现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。

大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。 在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。

有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。

这些数据的规模是如此庞大，以至于不能用G或T来衡量。大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）。

发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万…… 截止到2012年，数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB) EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。

而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。

而到了2020年，全世界所产生的数据规模将达到今天的44倍。 每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。

然而，即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下去。

我们现在还处于所谓“物联网”的最初级阶段，而随着技术成熟，我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一，而从2005年起，用在硬件、软件、人才及服务之上的商业投资也增长了整整50%，达到了4000亿美元。

大数据的精髓 大数据带给我们的三个颠覆性观念转变：是全部数据，而不是随机采样；是大体方向，而不是精确制导；是相关关系，而不是因果关系。A.不是随机样本，而是全体数据：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样（随机采样，以前我们通常把这看成是理所应当的限制，但高性能的数字技术让我们意识到，这其实是一种人为限制）； B.不是精确性，而是混杂性：研究数据如此之多，以至于我们不再热衷于追求精确度；之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱；拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可。

适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力； C.不是因果关系，而是相关关系：我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大。

五、为什么大数据如此重要

大数据是一种现代云基础架构，它包含了多种与其他人连接和共享信息的方法。它推动了“物联网”的发展，如通过社交网站连接人、通过共享朋友或网络来寻找人们之间互相认识的可能性。大数据的背后运行着人工智能，而它对于大多数人而言是完全透明的，人们不知道背后有这样的技术。大数据位于人们日常使用的智能手机之后，然后人们通过它给移动互联网贡献信息，即使他们并没有意识到这一点。

为什么大数据如此重要？

第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动” 转变“数据驱动”。

总结

在大数据时代到来的时候，要用大数据的思维去发掘大数据的潜在价值。大数据的意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。从前我们所了解的数据是冷冰冰的、死气沉沉的，被存到冷备份默默地等着人拿出来用，我们对待数据的感觉十分消极，要先想清楚其用处才开始分析应用。现在，数据时代来临了，人们正在试图点燃数据，使其变热，赋予生命。所谓“活数据”，是动态的数据，流通的数据，因互动而产生，因产生而互动，是自然演化的数据，要用大数据的思维去考虑这些数据怎样才能带来效益。未来大数据的发展前景非常好，与大数据相关的职业比如数据挖掘师，数据分析师等必定会有广阔的发展空间。

六、如何实现大数据量数据库的历史数据归档

这个问题是这样的：

首先你要明确你的插入是正常业务需求么？如果是，那么只能接受这样的数据插入量。

其次你说数据库存不下了 那么你可以让你的数据库上限变大 这个你可以在数据库里面设置的 里面有个数据库文件属性 maxsize

最后有个方法可以使用，如果你的历史数据不会对目前业务造成很大影响 可以考虑归档处理 定时将不用的数据移入历史表 或者另外一个数据库。

注意平时对数据库的维护 定期整理索引碎片

Ⅵ 数据发展的历程

大数据的发展历程

随着计算机和网络的发展，信息不断“爆炸”：

• 1970s: 超大规模数据库 (VLDB)【GB=10^9字节】

• 21世纪初：海量数据（massive data）【TB=10^12字节】

• 2008年：Big data 【PB=10^15字节】

• 现在实际的数据量已经达到：ZB=10^3EB=10^6PB=10^21字节

2008年9月4日，《自然》（Nature）刊登了一个名为“Big Data”的专辑。2011年5月，美国著名咨询公司麦肯锡(McKinsey)发布《大数据：创新、竞争和生产力的下一个前沿》的报告，首次提出了“大数据”概念，认为数据已经成为经济社会发展的重要推动力。大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。

2013年3月29日，美国奥巴马政府宣布推出“大数据研究和发展计划”(Big Data Research and Development Initiative)，有人将其比之为克林顿政府当年提出的“信息高速公路”计划 。该计划涉及美国国家科学基金会、卫生研究院、能源部、国防部等6个联邦政府部门，投资超两亿美元，研发收集、组织和分析大数据的工具及技术。2012年7月日本推出“新ICT战略研究计划”，在新一轮IT振兴计划中日本政府把大数据发展作为国家层面战略提出。这是日本新启动的2011年大地震族尘一度搁置的政府ICT战略研究。英国政府也宣称投资6亿英镑科学资金，并计划在未轮卜来两年内在大数据和节能计算研究投资1.89亿英镑。政府把大量的资金投入到计算基础设施，用以捕捉并分析通过开放式数据革命获得的数据流，带动企业投入更多的资金。

2012年3月，我国科技部发布的“十二五国家科技计划信息技术领域2013年度备选项目征集指南”把大数据研究列在首位。中国分别举办了第一届（2011年）兆桐禅和第二届（2012年）“大数据世界论坛”。IT时代周刊等举办了“大数据2012论坛”，中国计算机学会举办了“CNCC2012大数据论坛”。国家科技部，863计划信息技术领域2015年备选项目包括超级计算机、大数据、云计算、信息安全、第五代移动通信系统（5G）等。2015年8月31日，国务院正式印发《促进大数据发展行动纲要》。

Ⅶ 大数据的生命周期的九个阶段

大数据的生命周期的九个阶段
企业建立大数据的生命周期应该包括这些部分：大数据组织、评估现状、制定大数据战略、数据定义、数据收集、数据分析、数据治理、持续改进。

一、大数据的组织
没有人，一切都是妄谈。大数据生命周期的第一步应该是建立一个专门预算和独立KPI的“大数据规划、建设和运营组织”。包括高层的首席数据官，作为sponsor，然后是公司数据管理委员会或大数据执行筹划指导委员会，再往下就是大数据的项目组或大数据项目组的前身：大数据项目预研究团队或大数据项目筹备组。这个团队是今后大数据战略的制定和实施者的中坚力量。由于人数众多，建议引入RACI模型来明确所有人的角色和职责。
二、大数据的现状评估和差距分析
定战略之前，先要做现状评估，评估前的调研包括三个方面：一是对外调研：了解业界大数据有哪些最新的发展，行业顶尖企业的大数据应用水平如何？行业的平均尤其是主要竞争对手的大数据应用水准如何？二是对内客户调研。管理层、业务部门、IT部门自身、我们的最终用户，对我们的大数据业务有何期望？三是自身状况摸底，了解自己的技术、人员储备情况。最后对标，作差距分析，找出gap。
找出gap后，要给出成熟度现状评估。一般而言，一个公司的大数据应用成熟度可以划分为四个阶段：初始期（仅有概念，没有实践）；探索期（已经了解基本概念，也有专人进行了探索和探讨，有了基本的大数据技术储备）；发展期（已经拥有或正在建设明确的战略、团队、工具、流程，交付了初步的成果）；成熟期（有了稳定且不断成熟的战略、团队、工具、流程，不断交付高质量成果）。
三、大数据的战略
有了大数据组织、知道了本公司大数据现状、差距和需求，我们就可以制定大数据的战略目标了。大数据战略的制定是整个大数据生命周期的灵魂和核心，它将成为整个组织大数据发展的指引。
大数据战略的内容，没有统一的模板，但有一些基本的要求：
1. 要简洁，又要能涵盖公司内外干系人的需求。
2. 要明确，以便清晰地告诉所有人我们的目标和愿景是什么。
3. 要现实，这个目标经过努力是能达成的。
四、大数据的定义
我认为：“数据不去定义它，你就无法采集它；无法采集它，你就无法分析它；无法分析它，你就无法衡量它；无法衡量它，你就无法控制它；无法控制它，你就无法管理它；无法管理它，你就无法利用它”。所以“在需求和战略明确之后，数据定义就是一切数据管理的前提”。
五、 数据采集
1. 大数据时代的数据源很广泛，它们可能来自于三个主要方面：现有公司内部网各应用系统产生的数据（比如办公、经营生产数据），也有来自公司外互联网的数据（比如社交网络数据）和物联网等。
2.大数据种类很多，总的来讲可以分为：传统的结构化数据，大量的非结构化数据（比如音视频等）。
3. 数据采集、挖掘工具很多。可以基于或集成hadoop的ETL平台、以交互式探索及数据挖掘为代表的数据价值发掘类工具渐成趋势。
4. 数据采集的原则：在数据源广泛、数据量巨大、采集挖掘工具众多的背景下，大数据决策者必须清楚地确定数据采集的原则：“能够采集到的数据，并不意味着值得或需要去采集它。需要采集的数据和能够采集到的数据的"交集"，才是我们确定要去采集的数据。”
六、数据处理和分析
业界有很多工具能帮助企业构建一个集成的“数据处理和分析平台”。对企业大数据管理者、规划者来讲，关键是“工具要满足平台要求，平台要满足业务需求，而不是业务要去适应平台要求，平台要去适应厂商的工具要求”。那么这个集成的平台应该有怎样的能力构成呢？它应该能检索、分类、关联、推送和方便地实施元数据管理等。见下图：
七、 数据呈现
大数据管理的价值，最终要通过多种形式的数据呈现，来帮助管理层和业务部门进行商业决策。大数据的决策者需要将大数据的系统与BI（商业智能）系统和KM（知识管理）系统集成。下图就是大数据的各种呈现形式。
八、 审计、治理与控制
1.大数据的审计、治理和控制指的是大数据管理层，组建专门的治理控制团队，制定一系列策略、流程、制度和考核指标体系，来监督、检查、协调多个相关职能部门的目标，从而优化、保护和利用大数据，保障其作为一项企业战略资产真正发挥价值。
2.大数据的治理是IT治理的组成部分，大数据的审计是IT审计的组成部分，这个体系要统筹规划和实施，而不是割裂的规划和实施。
3.大数据的审计、治理与控制的核心是数据安全、数据质量和数据效率。
九、 持续改进
基于不断变化的业务需求和审计与治理中发现的大数据整个生命周期中暴露的问题，引入PDCA等方法论，去不断优化策略、方法、流程、工具，不断提升相关人员的技能，从而确保大数据战略的持续成功！

Ⅷ 大数据发展的三个阶段是：

大数据发展的三燃谈嫌个阶段是：

A.萌芽期

B.低谷期

C.成熟期

D.大规模应用期

正确答案：侍毕萌芽期；成熟皮手期；大规模应用期

Ⅸ 大数据的发展历程有哪几个阶段

对于大数据的发展主要分为下面5大阶段：

Ⅹ 大数据时代发展历程是什么

可按照时间点划分大数据的发展历程。