大数据的发展历图

㈠ 人工智能发展史 4张图看尽AI重大里程碑

作者 | 王健宗 瞿晓阳

来源 | 大数据DT

01 人工智能发展历程

图1是人工智能发展情况概览。人工智能的发展经历了很长时间的历史积淀，早在1950年，阿兰·图灵就提出了图灵测试机，大意是将人和机器放在一个小黑屋里与屋外的人对话，如果屋外的人分不清对话者是人类还是机器，那么这台机器就拥有像人一样的智能。

▲图1 人工智能起源及发展

随后，在1956年的达特茅斯会议上，“人工智能”的概念被首次提出。在之后的十余年内，人工智能迎来了发展史上的第一个小高峰，研究者们疯狂涌入，取得了一批瞩目的成就，比如1959年，第一台工业机器人诞生；1964年，首台聊天机器人也诞生了。

但是，由于当时计算能力的严重不足，在20世纪70年代，人工智能迎来了第一个寒冬。早期的人工智能大多是通过固定指令来执行特定的问题，并不具备真正的学习和思考能力，问题一旦变复杂，人工智能程序就不堪重负，变得不智能了。

虽然有人趁机否定人工智能的发展和价值，但是研究学者们并没有因此停下前进的脚步，终于在1980年，卡内基梅隆大学设计出了第一套专家系统——XCON。该专家系统具有一套强大的知识库和推理能力，可以模拟人类专家来解决特定领域问题。

从这时起，机器学习开始兴起，各种专家系统开始被人们广泛应用。不幸的是，随着专家系统的应用领域越来越广，问题也逐渐暴露出来。专家系统应用有限，且经常在常识性问题上出错，因此人工智能迎来了第二个寒冬。

1997年，IBM公司的“深蓝”计算机战胜了国际象棋世界冠军卡斯帕罗夫，成为人工智能史上的一个重要里程碑。之后，人工智能开始了平稳向上的发展。

2006年，李飞飞教授意识到了专家学者在研究算法的过程中忽视了“数据”的重要性，于是开始带头构建大型图像数据集—ImageNet，图像识别大赛由此拉开帷幕。

同年，由于人工神经网络的不断发展，“深度学习”的概念被提出，之后，深度神经网络和卷积神经网络开始不断映入人们的眼帘。深度学习的发展又一次掀起人工智能的研究狂潮，这一次狂潮至今仍在持续。

图2列出了人工智能发展史上的一些重要事件。从诞生以来，机器学习经历了长足发展，现在已经被应用于极为广泛的领域，包括数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏、艺术创作和机器人等，以及我们特别关注的机器学习和深度学习未来发展的一大趋势——自动化机器学习和深度学习（AutoML及AutoDL）。

▲图2 人工智能发展重大事件

02 下一代人工智能

我们首先通过图3来回顾一下人工智能的发展历程。

▲图3 人工智能发展历程

到目前为止，人工智能按照总体向上的发展历程，可以大致分为4个发展阶段，分别为精耕细作的诞生期、急功近利的产业期、集腋成裘的爆发期，以及现在逐渐用AutoML来自动产生神经网络的未来发展期。

早期由于受到计算机算力的限制，机器学习处于慢速发展阶段，人们更注重于将逻辑推理能力和人类总结的知识赋予计算机。但随着计算机硬件的发展，尤其是GPU在机器学习中的应用，计算机可以从海量的数据中学习各种数据特征，从而很好地完成人类分配给它的各种基本任务。

此时，深度学习开始在语音、图像等领域大获成功，各种深度学习网络层出不穷，完成相关任务的准确率也不断提升。同时，深度学习神经网络朝着深度更深、结构更加巧妙复杂的方向推进，GPU的研发与应用也随着神经网络对算力要求的不断提高而持续快速向前推进。图4展示了近年来主要神经网络的发展。

▲图4 主要深度神经网络的发展

2012年，AlexNet为了充分利用多个GPU的算力，创新性地将深度神经网络设计成两部分，使网络可以在两个GPU上进行训练。

2013年，ZFNet又进一步解决了Feature Map可视化的问题，将深度神经网络的理解推进了一大步。2014年，VGGNet通过进一步增加网络的深度而获得了更高的准确率；同年，GoogLeNet的发明引入了重复模块Inception Model，使得准确率进一步提升。

而2015年ResNet将重复模块的思想更深层次地发展，从而获得了超越人类水平的分辨能力。这时，由于深度神经网络层数的不断加深，需要训练的参数过于庞大，为了在不牺牲精度的同时减少需要训练的参数个数，2017年DenceNet应运而生。

随着深度神经网络的不断发展，各种模型和新颖模块的不断发明利用，人们逐渐意识到开发一种新的神经网络结构越来越费时费力，为什么不让机器自己在不断的学习过程中创造出新的神经网络呢？

出于这个构思，2017年Google推出了AutoML——一个能自主设计深度神经网络的AI网络，紧接着在2018年1月发布第一个产品，并将它作为云服务开放出来，称为Cloud AutoML。

自此，人工智能又有了更进一步的发展，人们开始探索如何利用已有的机器学习知识和神经网络框架来让人工智能自主搭建适合业务场景的网络，人工智能的另一扇大门被打开。

㈡ 大数据时代发展历程是什么

可按照时间点划分大数据的发展历程。

㈢ 大数据的生命周期的九个阶段

大数据的生命周期的九个阶段
企业建立大数据的生命周期应该包括这些部分：大数据组织、评估现状、制定大数据战略、数据定义、数据收集、数据分析、数据治理、持续改进。

一、大数据的组织
没有人，一切都是妄谈。大数据生命周期的第一步应该是建立一个专门预算和独立KPI的“大数据规划、建设和运营组织”。包括高层的首席数据官，作为sponsor，然后是公司数据管理委员会或大数据执行筹划指导委员会，再往下就是大数据的项目组或大数据项目组的前身：大数据项目预研究团队或大数据项目筹备组。这个团队是今后大数据战略的制定和实施者的中坚力量。由于人数众多，建议引入RACI模型来明确所有人的角色和职责。
二、大数据的现状评估和差距分析
定战略之前，先要做现状评估，评估前的调研包括三个方面：一是对外调研：了解业界大数据有哪些最新的发展，行业顶尖企业的大数据应用水平如何？行业的平均尤其是主要竞争对手的大数据应用水准如何？二是对内客户调研。管理层、业务部门、IT部门自身、我们的最终用户，对我们的大数据业务有何期望？三是自身状况摸底，了解自己的技术、人员储备情况。最后对标，作差距分析，找出gap。
找出gap后，要给出成熟度现状评估。一般而言，一个公司的大数据应用成熟度可以划分为四个阶段：初始期（仅有概念，没有实践）；探索期（已经了解基本概念，也有专人进行了探索和探讨，有了基本的大数据技术储备）；发展期（已经拥有或正在建设明确的战略、团队、工具、流程，交付了初步的成果）；成熟期（有了稳定且不断成熟的战略、团队、工具、流程，不断交付高质量成果）。
三、大数据的战略
有了大数据组织、知道了本公司大数据现状、差距和需求，我们就可以制定大数据的战略目标了。大数据战略的制定是整个大数据生命周期的灵魂和核心，它将成为整个组织大数据发展的指引。
大数据战略的内容，没有统一的模板，但有一些基本的要求：
1. 要简洁，又要能涵盖公司内外干系人的需求。
2. 要明确，以便清晰地告诉所有人我们的目标和愿景是什么。
3. 要现实，这个目标经过努力是能达成的。
四、大数据的定义
我认为：“数据不去定义它，你就无法采集它；无法采集它，你就无法分析它；无法分析它，你就无法衡量它；无法衡量它，你就无法控制它；无法控制它，你就无法管理它；无法管理它，你就无法利用它”。所以“在需求和战略明确之后，数据定义就是一切数据管理的前提”。
五、 数据采集
1. 大数据时代的数据源很广泛，它们可能来自于三个主要方面：现有公司内部网各应用系统产生的数据（比如办公、经营生产数据），也有来自公司外互联网的数据（比如社交网络数据）和物联网等。
2.大数据种类很多，总的来讲可以分为：传统的结构化数据，大量的非结构化数据（比如音视频等）。
3. 数据采集、挖掘工具很多。可以基于或集成hadoop的ETL平台、以交互式探索及数据挖掘为代表的数据价值发掘类工具渐成趋势。
4. 数据采集的原则：在数据源广泛、数据量巨大、采集挖掘工具众多的背景下，大数据决策者必须清楚地确定数据采集的原则：“能够采集到的数据，并不意味着值得或需要去采集它。需要采集的数据和能够采集到的数据的"交集"，才是我们确定要去采集的数据。”
六、数据处理和分析
业界有很多工具能帮助企业构建一个集成的“数据处理和分析平台”。对企业大数据管理者、规划者来讲，关键是“工具要满足平台要求，平台要满足业务需求，而不是业务要去适应平台要求，平台要去适应厂商的工具要求”。那么这个集成的平台应该有怎样的能力构成呢？它应该能检索、分类、关联、推送和方便地实施元数据管理等。见下图：
七、 数据呈现
大数据管理的价值，最终要通过多种形式的数据呈现，来帮助管理层和业务部门进行商业决策。大数据的决策者需要将大数据的系统与BI（商业智能）系统和KM（知识管理）系统集成。下图就是大数据的各种呈现形式。
八、 审计、治理与控制
1.大数据的审计、治理和控制指的是大数据管理层，组建专门的治理控制团队，制定一系列策略、流程、制度和考核指标体系，来监督、检查、协调多个相关职能部门的目标，从而优化、保护和利用大数据，保障其作为一项企业战略资产真正发挥价值。
2.大数据的治理是IT治理的组成部分，大数据的审计是IT审计的组成部分，这个体系要统筹规划和实施，而不是割裂的规划和实施。
3.大数据的审计、治理与控制的核心是数据安全、数据质量和数据效率。
九、 持续改进
基于不断变化的业务需求和审计与治理中发现的大数据整个生命周期中暴露的问题，引入PDCA等方法论，去不断优化策略、方法、流程、工具，不断提升相关人员的技能，从而确保大数据战略的持续成功！

㈣ 数据发展的历程

大数据的发展历程

随着计算机和网络的发展，信息不断“爆炸”：

• 1970s: 超大规模数据库 (VLDB)【GB=10^9字节】

• 21世纪初：海量数据（massive data）【TB=10^12字节】

• 2008年：Big data 【PB=10^15字节】

• 现在实际的数据量已经达到：ZB=10^3EB=10^6PB=10^21字节

2008年9月4日，《自然》（Nature）刊登了一个名为“Big Data”的专辑。2011年5月，美国著名咨询公司麦肯锡(McKinsey)发布《大数据：创新、竞争和生产力的下一个前沿》的报告，首次提出了“大数据”概念，认为数据已经成为经济社会发展的重要推动力。大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。

2013年3月29日，美国奥巴马政府宣布推出“大数据研究和发展计划”(Big Data Research and Development Initiative)，有人将其比之为克林顿政府当年提出的“信息高速公路”计划 。该计划涉及美国国家科学基金会、卫生研究院、能源部、国防部等6个联邦政府部门，投资超两亿美元，研发收集、组织和分析大数据的工具及技术。2012年7月日本推出“新ICT战略研究计划”，在新一轮IT振兴计划中日本政府把大数据发展作为国家层面战略提出。这是日本新启动的2011年大地震族尘一度搁置的政府ICT战略研究。英国政府也宣称投资6亿英镑科学资金，并计划在未轮卜来两年内在大数据和节能计算研究投资1.89亿英镑。政府把大量的资金投入到计算基础设施，用以捕捉并分析通过开放式数据革命获得的数据流，带动企业投入更多的资金。

2012年3月，我国科技部发布的“十二五国家科技计划信息技术领域2013年度备选项目征集指南”把大数据研究列在首位。中国分别举办了第一届（2011年）兆桐禅和第二届（2012年）“大数据世界论坛”。IT时代周刊等举办了“大数据2012论坛”，中国计算机学会举办了“CNCC2012大数据论坛”。国家科技部，863计划信息技术领域2015年备选项目包括超级计算机、大数据、云计算、信息安全、第五代移动通信系统（5G）等。2015年8月31日，国务院正式印发《促进大数据发展行动纲要》。