A. 全球大数据产业现状及投资前景预测
全球大数据产业现状及投资前景预测
纵观国内外,大数据已经形成产业规模,并上升到国家战略层面,大数据技术和应用呈现纵深发展。面向大数据的云计算技术、大数据计算框架等不断推出,新型大数据挖掘方法和算法大量出现,大数据新模式、新业态层出不穷,传统产业开始利用大数据实现转型升级。人工智能、深度学习、工业物联网、虚拟现实、智慧城市等领域的发展推动大数据的应用普及。新兴行业、传统行业围绕数据服务体系,已经形成了传统行业数据平台、互联网数据平台及行业资讯类数据平台。以数据应用为基础的新一代数据服务企业,在促进主体行业发展的同时,同样促进了行业内中小企业的发展。
1
大数据发展的产业环境分析
美国政策层面发力推动大数据应用发展。政府推出了一系列的公开数据计划,在健康、能源、气候、教育、金融、公共安全等领域开放数据和信息,促进创新的突破,从而推动经济发展。美国致力于扩大联邦数据公开范围和受用对象的范围,尤其扩大高价值数据资产,探讨如何进一步扩展收集和分析工业竞争和创新相关的数据。
为了进一步挖掘联邦政府数据的应用潜力,促进创新与社会进步,2016年1月美商务部发起了一项旨在使政府数据更加容易使用的数据易用性计划(CDUP)。5月,白宫发布《联邦大数据研发战略计划》,为未来的大数据研发列出7条战略计划,旨在建立大数据创新生态系统,加强数据分析能力,从大量、多样、实时的数据库中提取有效信息,服务于科学研究、经济增长与国家安全。2016年,美国应用大数据预测选举也引起世界关注,大数据应用开始为广大公众所关注,数据的真实性及数据安全成为关注焦点。
英国以数据共享为根本积极推动大数据平台建设。新建哈璀(Hartree)大数据中心,投资1.13亿英镑。新建艾伦图灵研究所,投资4200万英镑,开展大数据科学与技术的研究。投资1.5亿英镑建立第一个国家级老年痴呆症研究所。建立应对重大疾病新的数学研究中心。英国成立大数据战略委员会,发布《开放数据战略白皮书》,统一政府数字平台,开通政府部门开放数据通道,设立数据开放共享奖励基金,2018年还将出台“数据保护通则”的专门法规,旨在开发利用数据资源产生更大的商业价值和经济增长。
瑞典启动国家重点科研计划(NFP)大数据专项(Big Data, NFP75)。2017年正式启动,计划投入资金2.5亿瑞士法郎,从2017年至2020年为期4年。该专项主要分为三个板快:大数据信息技术:大数据分析基础性研究、大数据基础设施构架、数据库和计算中心;大数据相关社会及法律问题:大数据涉及对社会经济发展的影响预测(如对贸易、商务模式、人员交通及物流的影响)、个人隐私及空间的保护及相关的社会伦理和法律问题及对策等;大数据应用:对大数据在交通、健康、灾害及社会风险控制、能源转型领域的应用展开基础性研究。瑞士国家重点科研计划由瑞士联邦政府推出,目的是对关系瑞士社会经济发展全局的重要领域展开基础性研究并提出对策建议。
我国各地政府积极为大数据发展营造环境。2014年、2015年“大数据”首次写入国家《政府工作报告》。在2015年3月5日举行的两会中,李总理在政府工作报告中提到,制定“互联网+”行动计划,推动移动互联网、云计算、大数据、物联网等与现代制造业结合,促进电子商务、工业互联网和互联网金融健康发展,引导互联网企业拓展国际市场。
当前,《国家大数据战略及行动纲要(2015-2025)》征求意见稿完成。国家自然基金委、科技部支持了大量大数据研究项目;北京市、上海市、天津市、重庆市、广东省、贵州省等制定了大数据发展规划,多地开始建数据产业基地,天津拟打造国家数据聚集区,与北京、河北联合建“京津冀大数据走廊”;重庆计划将大数据培育成重要战略性新兴产业,加快建设两江云计算产业园,陕西西咸新区、湖北武汉光谷、贵州贵安新区等地提出要设国家级大数据基地。
上海成立数据交易中心。2016年4月1日,上海数据交易中心挂牌成立,上海数据交易中心是经上海市人民政府批准,上海市经济和信息化委、上海市商务委联合批复成立的国有控股混合所有制企业,承担着促进商业数据流通、跨区域的机构合作和数据互联、公共数据与商业数据融合应用等工作职能。交易中心以国内领先的“技术+规则”双重架构,创新结合IKVLTP 六要素技术,采用自主知识产权的虚拟标识技术和二次加密数据配送技术,结合面向应用场景的交易规则,将在全面保障个人隐私、数据安全前提下推动数据聚合流动。
上海将围绕“资源、技术、产业、应用、安全”融合联动这一条主线,聚焦“政府治理和公共服务能力提升、经济发展方式转变”两个方面,创新“交易机构+创新基地+产业基金+发展联盟+研究中心”五位一体大数据产业链生态发展布局,力争打造国家数据科学中心、亚太数据交换中心和全球“数据经济”中心,形成集数据贸易、应用服务、先进产业为一体的大数据战略高地。
2
大数据产业的行业需求预测
企业需求
传统企业的大数据转型。随着互联网化进程的不断推进,在改变了用户消费习惯的同时,众多传统企业面临了一系列必须面对的问题,其中一条核心主线就是基于已有数据的使用以及对于用户数据的采集。对于有效利用数据,很多传统企业开展了试探性的使用和分析,并逐步结合互联网平台,使数据形成闭环。地产、制造、金融企业已经在逐步建立互联网销售平台,其实平台的本身并不是去加大产品销售量,而是通过平台对传统营业网点、销售渠道的信息进行有效管理,从而建立可供判断或分析的数据之用。
更好的吸纳客户的潜在需求,更快的适应市场变化,从而带动新一轮研发的生成或变革。而此类企业的成长点,市场化性质,及企业性质将区别于传统企业,而走上新业态、新模式的道路。包括车联网、互联网金融、汽车电商、房产电商,都已经出现了苗头。对于大数据产业的发展,传统企业转型是区别于其他领域的却又独树一帜的重要组成部分。
平台企业的大数据战略。对于相对IT投入较少,IT基础较为薄弱的领域,比如零售、餐饮、服装、农业、出版等行业,企业不会去自建云计算及大数据平台,更多的则是会依靠专业化的数据服务企业或是数据服务平台来满足数据分析的需求。行业数据服务平台架构的初衷,主要是用云服务方式解决上述行业的信息化建设及运维需求。
目前上海类似的行业数据平台不少,建筑业的筑想网、医药业的安捷力等都是在行业垂直领域专业度很高的企业,而且较之通用、普适性的平台,此类平台的发展更具有和行业发展的共存性和相通性,是大数据产业发展过程中一个非常重要的组成部分。
互联网企业大数据规模化发展。互联网传媒是推动企业接触大数据服务中一个相对快速的行业,传媒由传统的单向被动模式转变成为双向互动模式,在吸引了用户群体的同时也通过定义用户肖像,来推动精准营销。精准营销使企业享受了新媒体带来的最实惠的成果,也为企业带来了一份较之传统传媒更加具体的数据分析报告。
同样在互联网领域,无论是社交平台、团购还是移动应用,在其互联网平台构建的过程中,收集、汇总、分析数据是非常重要的一个环节。通过甄别不同年龄段、性别、爱好的用户群,来精准定位推送不同的消息,而在这些精准定位的背后,则是每天几十甚至几百TB的数据增长量和分析量,可以说,有了互联网才推进了大数据产业的发展。
热点关联领域需求
金融大数据。中国金融信息服务产业存在产业链分布广、市场空间巨大的特点,但与此同时,又表现出产业集中度非常低的现状。因此,未来必将经历大量的并购整合,最终出现几家庞大的IT服务机构。传统金融服务领域的人才资源、市场能力、技术及研发方面在全国范围内都具有不可比拟的优势,产业环境、配套资源都非常成熟。
在金融信息服务产业链中,已经拥有了证券、期货、金融期货、科技技术等交易所以及钢铁、有色金属等各类生产物资交易所,拥有像安硕信息、万得资讯、金仕达、银联、普兰金融、春雨供应链等一大批具有行业代表性的龙头企业,还有一批以经尔纬为代表的掌握大数据技术及具有资源整合能力的公司。金融领域的数据库建设比较完善且都为结构化的数据,随着人工智能、深度学习等新兴技术的介入,大数据将显示出大有可为的趋势,对基于大数据分析的成果的需求也将越加旺盛。
交通大数据。一是智能交通,在交通和环境信息的基础上,实现交付跟踪,工作流程监督,和人力资源管理。在智能交通系统中,如果车辆使用了该应用,就可以监测到相关数据。智慧城市首席信息官可以使用从物联网信息库中获取运输和交通过程的信息。这将大大改善交通运输,建立服务型的支付方式,而不是简单的付款程序,如时间收费制度。
智慧城市的核心价值是根据交通数据来建立对公民有益的基础政策。智能交通也产生了很多新的商业创新。二是自动驾驶,目前GOOGLE借助大数据及车载技术和传感器,以及高级辅助驾驶系统、软件、地图数据、GPS和无线通信数据等,实现了无人驾驶,可以预见,不久的将来,大数据在自动驾驶领域的应用越来越被看好。
新媒体大数据。大数据引领的新媒体已经颠覆了国外数个传统媒体,比如停刊的美国《新闻周刊》以及德国出现战后最大的纸媒倒闭潮等。以眼球经济为基础的传统媒体展示型广告已快速向以数据为基础的网络媒体精准型广告进行转变。百视通和东方明珠的整合已经打造了全国最大的千亿级别的传媒上市公司。在电信、广电及互联网领域海量数据处理具有丰富的研发及应用经验,所用技术涵盖了分布式计算、海量数据处理、流计算、机器学习及神经网络等,重点关注于互联网广告投放技术、效果监测、目标受众行为分析及精准细分、广告智能匹配等。未来几年,新媒体大数据将越来越受到业界的追捧。
制造业大数据。利用大数据推动信息化和工业化深度融合,研究推动大数据在研发设计、生产制造、经营管理、市场营销、售后服务等产业链各环节的应用,研发面向不同行业、不同环节的大数据分析应用平台,选择典型企业、重点行业、重点地区开展工业企业大数据应用项目试点,积极推动制造业网络化和智能化。最近几年,从国家到地方政府,日益重视大数据在制造业特别是高端智能制造领域的应用,例如《中国制造2025》。从这个意义上来说,大数据在制造业应该发挥的潜力巨大,释放空间和余地很大。
3
大数据投资前景预判
人工智能等新兴领域价值潜力巨大
智能化领域及智慧城市建设。大数据与深度学习、人工智能交叉的领域成为资本追逐的焦点。例如日本提出建成超智能社会,实现ICT技术在全社会的深度融合应用。日本第五期科技计划提出建设SOCIETY 5.0(超智能社会),基于以人工智能、物联网、大数据为代表的ICT技术,研究开发先进机器人、超级计算机、传感器、高速通信等技术,实现网络空间与现实空间高度融合的信息物理系统,运用大数据促使社会生活各领域实现高度智能化,推进经济发展与社会进步。日本超智能社会的提出,受到诸多大数据公司和风投的关注。类似,我国各地正在大力推进的智慧城市建设中的与新兴技术交叉应用的环节,大数据将有着重要的一席之地。大数据与智慧交通、绿色环保、民生安全等领域的融合,在人工智能、深度学习的带动下,大数据应用商机无限。
支撑分享经济智能平台被看好
分享经济在短时间内崛起并成为全球现象,规模和影响力都呈现出指数增长。2014年12月,普华永道发布了预测报告指出全球分享经济的规模将从2015年的150亿美元增长到2025年的3350亿美元。在全球经济努力复苏的背景下,分享经济模式的新颖性和巨大发展潜力受到各国政府的高度支持,甚至提升到了国家战略的高度。大数据、云计算、人工智能将构建支撑分享经济的智能平台,而这些平台将日益彰显其经济价值,从而能够灵活、便利、及时、安全、经济地连接不同需求的陌生人,从而在分享经济的新模式中,大数据起到了核心作用,占领核心的地位,其价值不言而喻。
B. 大数据未来的发展前景怎么样
现在互联网的大时代,人们都离不开手机和网络,所以科技公司多了,小程序,app,网页等项目也多了,那么就会由大量的招聘需求。ui设计,前端,后端等的需求增加。软件多了,那么就需要更多的大数据分析师了。
数据科学与大数据技术专业就业方向
大数据应用开发工程师
此类人才负责搭建大数据应用平台以及开发分析应用程序,他们必须熟悉工具或算法、编程、优化以及部署不同的MapRece,他们研发各种基于大数据技术的应用程序及行业解决方案。其中,ETL开发者是很抢手的人才,他们所做的是从不同的源头抽取数据,转换并导入数据仓库以满足企业的需要,将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,末后加载到数据仓库,成为联机分析处理、数据挖掘的基础,为提取各类型的需要数据创造条件。
大数据分析师
此类人才主要从事数据挖掘工作,运用算法来解决和分析问题,让数据显露出真相,同时,他们还推动数据解决方案的不断更新。随着数据集规模不断增大,企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapRece、Pig等的需求将持续增长,具备Hadoop框架经验的技术人员是很抢手的大数据人才,他们所从事的是热门的分析师工作。
C. 大数据未来发展8大态势 -《数据要素:全球经济社会发展的新动力》
本文摘自:《数据要素:全球经济 社会 发展的新动力》
作者:赵刚博士
(1)数据化:所有能数据化的都将被数据化
从狭义上讲,数据化就是将事物及其运动转化为机器可以识别的信息的过程。从广义上讲,数据化是指人类利用数据全面认知并优化改造客观世界的过程。未来,机器会获取越来越多的数据,人类认识和改造世界的能力也会大大增强。
促使这种变化的要素有四个。
一是技术。不仅是大数据技术,与数据相关的新一代信息技术,如互联网、移动互联网、物联网、云计算、3D打印、AR/VR/MR、数字孪生、区块链等,都还在不断发酵、进化、孕育、突破,并一起促进大数据的加速发展。人们常说的数据爆炸才刚刚开始。
二是需求。大数据用得越多,需求也会越来越多。
三是变化。现在已经有大量的大数据改变生产、生活、治理的案例,技术、模式、制度、理念已经出现一些变化,尽管还很初步,但代表了未来的发展方向。
四是政策。数据已经被普遍看成新的生产要素,各地都在采取措施依靠大数据为经济发展打造新动能。这四大要素结合起来,将共同推进大数据向前发展,决定了未来大数据发展的趋势。
数据化可以看作未来大数据发展的第一个大趋势——所有能数据化的都将被数据化。无论是生产还是生活,无论是制造业还是服务业,无论是消费端还是产业端,越来越多的东西将会呈现数据化的态势,新一轮的数据大爆炸不可避免。
(2)数据价值:更多的数据价值将被挖掘出来
数据之所以受到重视,是因为数据本身有价值。在美国物理学家约翰·惠勒看来,“万物源于比特”,世界是由比特构成的,也就是由数据构成的。在大数据者的眼里,所有事物都是数据。所以,同样一种物体,他能看到更多的东西:数据从哪里来?到哪里去?它的生态是什么?它会造成哪些影响?你看到的数据越多,说明你的数据能力越强。机器智能发展到今天,我们可以逐步将隐藏在事物内部、背后的数据挖掘出来,捕捉到它们,并把它们储藏起来,开发出针对它们的应用,这就是大数据的价值。
数据价值的核心是发现新规律。当大数据应用到一定程度时,所有规律都可能被发现,无限接近事实本身。例如,一部手机能告诉我们很多秘密:你每天走了多少路,每天睡了几个小时,去过什么地方,你的兴趣爱好,你的消费水平、消费结构、消费习惯,你的财产状况、交友状况,等等。机器会为我们捕捉到更多数据,并从中发现更多规律和事实,这就是大数据的威力所在。
(3)数据驱动:数据驱动一切成为现实
如今,连老司机如果不用导航都不会开车了。我们到一个地方参加会议,基本就是数据驱动:会议通知是数据化的,日程安排是数据化的,出门叫车是数据化的,走什么路线也是数据决定的。使用网约车时,一次叫车的供需匹配技术上只需要0.12秒,但背后要运算数据576亿次。网约车打败出租车、外卖打败方便面、电子商务打败百货商场等表面上看是跨界经营,背后的区别就在于大数据。
现在每个人的手机上都预装、下载有很多App,它们都在你睡觉时悄悄地更新,这样的迭代创新越来越容易,甚至你根本感受不到。移动支付的发展让我们用的钱也都变成了数字,并让我国率先进入了无现金 社会 。制造业更是如此,原来流水线是把人变成了机器,而将来的智能制造是把机器变得更像人,甚至比人更聪明、更能干、更可靠。数据驱动一切已经越来越成为现实,大大改变了整个世界。
数字已经开始重新定义一切,在你认知的所有事物之前加上“数字”二字,如数字经济、数字政府、数字 汽车 、数字建筑、数字出行等,你就会发现这些东西已经与以前大不一样了。我们可以发现,用数据说话、靠数据决策、依数据行动已变成非常自然的事情。数据驱动一切还带来了另一个重大变化或新的机遇:所有生意都值得重做一遍。用数字化的思维看一看你现在所从事的工作、业务,你会发现完全可以重新来过,而且很可能成为绝活。因此,每一家企业都可以问一下自己:10年后,你的竞争对手是谁?
(4)数据融合:催生新业态
这里要强调一个观点:单一数据的价值有限,而多种数据融合的创新潜力无限。过去,一些政府部门对掌握的数据看得很紧,总能提出很多理由,认为这些数据是不能随便对外开放的。但现在大家已经认识到,如果数据不开放,不让大家使用,它就变得越来越没有价值。现在找到数据的手段、工具、途径比过去丰富多了,远非传统的统计数据可以比拟。不能很好地做到数据开放,就会有新的数据出来,形成覆盖或取代。数据关联起来融合应用会产生更大的价值。网约车的应用就整合了地理大数据、交通大数据、服务大数据、用户大数据、交易大数据、信用大数据等。近年来出现的诸多新业态、新模式,以及由此而成长起来的独角兽企业,几乎都是多种大数据集成应用的结果。未来几年,数据融合还会催生一大批数字新物种,成长出一批新的巨无霸平台型、生态型企业。
(5)数据经济:无数据不经济
大家对于数字经济已经耳熟能详,其背后实际上是数据经济,是数据在发挥重要作用。狭义的数据经济是指以数据的生产、加工、交易为主要对象的经济活动总和,广义的数据经济是指以数据为基础的经济活动的总和。也许将来所有经济活动都是以数据为基础的,都可以被称为数据经济。所以,我们可以说,“无数据不经济”。
(6)数据能力:未来核心竞争力
未来,谁能够找到大数据,而且用好大数据,这样的企业拥有的竞争力将跟传统企业的竞争力大不一样,其可以轻易完成降维打击。数据能力体现在哪些方面?这里给出一个简单的公式:
数据能力=数据+算法+算力
数据能力将会成为未来的核心竞争力,形成竞争新优势。对于国家、企业是如此,对于每个人也一样。我国提升数据能力有自己的独特优势,在未来几年的数据竞争中可以取得一些优势。我们拥有最多的人口和最多的网民,每个人都是最重要的信息源,每个人用的信息越来越多,创造的数据也越来越多,利用数据创造的价值也会越来越大。过去,由于我们的小数据做得不太好,所以对大数据的依赖就会很强,也使大数据得以快速发展。从创新实践看,目前我国在大数据应用领域不比任何一个国家差,我们培养起来的互联网公司有很多都是国际上的佼佼者。
(7)数据开放:政府和企业会主动推进数据开放
这是一个判断,也是一个期待。
从20世纪80年代起,我们逐步建立了各种各样的信息系统,其中最令人头疼的一个问题就是形成了许多“数据孤岛”。这种状况在未来几年将会有大的改观。大家已经认识到数据价值在什么地方——用的人越用,数据的价值及机构存在的价值越大,创新发展的机遇也越多,反之亦然。数据开放也是发展大数据产业、催生新业态、培育新动能的迫切需要。对于这个问题,舍恩伯格曾经说得很直白:政府不需要补贴和建立所谓新兴产业,只需要开放自己的数据,就能培育一个新的增长点。也就是说,政府把数据开放出来,它产生的价值是巨大的——数据开放可以让数据流动起来,继而释放价值、整合资源。对于掌握大量有用数据的企业而言,开放数据也已经成为企业生态化发展的内在需要。开放的数据越多,得到的数据会更多,生态体系会更完善、更强大。
(8)数据未来:“今天才是第一天”
我比较喜欢凯文·凯利的一句话:“今天才是第一天”。他在《必然》一书中提到了影响未来发展的12个驱动力,包括形成、知化、流动、屏读、使用、共享、过滤、重混、互动、追踪、提问、开始,强调一切才刚刚开始,真正伟大的变革还没有出现。这12个驱动力或12个发展趋势,每一个都会对大数据的应用和发展起到促进作用。
在研究数字经济和数字化转型时,我曾提到过8个演进方向和趋势,包括数字化、网络化、数据化、智能化、平台化、生态化、个性化和共享化,这“八化”中的每一个都与大数据应用息息相关。当然,大数据在发展的同时也会带来一些新的问题。例如,将来数据治理难点和热点都会越来越多,包括数据主权的确认、数据如何进行交易、数据安全和隐私保护、数据跨境流动等,这些都是目前没有研究透,也没有研究好的问题。
大数据不是万能的,数据可以让我们发现越来越多的规律,但数据绝不等于事实本身,需要谨防一些数据陷阱。我们在争取用更多的数据、更好的算法发挥作用的同时,要保持清醒的头脑,不能迷信大数据,更不能用大数据干坏事。基于数据的 社会 变革才刚刚开始,对于每个数据工作者而言都是任重道远。也许,我们能做的唯一正确的事情就是学习。
D. 大数据的大未来及价值所在
大数据的大未来及价值所在
大数据作为一个尚未完全普及的概念,其实已经贯穿在每个人日常生活的方方面面。而随着科技的进步,大数据也在逐渐从数据本身向着数据之间所蕴含的更丰富的前景发展。
全球大数据现状
大数据(big data),或称海量数据,是由数量巨大、结构复杂、类型众多数据构成的数据集合,其所涉及的数据量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理的目的。大数据是基于云计算的数据处理与应用模式,通过数据的整合共享,交叉复用形成的智力资源和知识服务能力。
大数据并非一个新出现的概念。1980年,著名未来学家阿尔文·托夫勒在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过,大约从2009年开始,“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出,互联网上的数据每年将增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。同时,全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。IDC2012年发布的数字宇宙研究报告(Digital Universe)显示,接下来的8年中,我们所产生的数据量将超过40 ZB(Zettabyte,即十万亿亿字节,1ZB=230TB),相当于地球上每个人产生5200GB的数据。
我们正处于一个数据爆炸式增长的时代
大数据本身只是复杂而几乎无序的数据,而其背后的关联性,才是大数据巨大的价值所在。目前众多大数据研究的重中之重,就是从海量的数据中提取相关内容,形成有意义、有价值的讯息。这个过程基本可以分为三个阶段。
数据即信息阶段。在这个阶段中,数据本身就是信息的所在。比如网络用户的身份信息、天气信息等。这些信息本身具有价值,在特定领域中能够直接应用,因此在大数据尚未崛起时就已经受到很多关注。然而随着当前来自不同渠道的大量数据表面相关性的降低,数据本身所提供的价值越来越具有局限性。因此这一阶段已经逐渐稳定在一些特定行业中。
数据蕴含信息阶段。在发现数据信息本身的局限性后,人们开始越来越多地研究数据内部的相关性,亦即数据间所蕴含的信息。随着移动互联网和社交媒体的普及,数据相关性正在逐渐取代因果关系,成为连接互联网数据的最重要因素。新闻聚合服务Techmeme的编辑发表文章称,网络已经进入了“相关性时代”。例如,电商可以通过用户的网页浏览记录、所在区域和性别年龄等相关信息,推测出用户的购物喜好,从而进行针对性的精准广告投放等。
孤立数据之间的相关性才是大数据的价值所在
纽约时报博客作者和统计学家Nate Silver凭借自己建立的数学模型,通过对大量数据的分析和统计,在2008年美国大选中曾准确预测了49个州的选举结果,而2012年的美国大选则准确预测了全部50个州的选举结果,在美国乃至全世界激起了对大数据及其相关性统计的追捧。目前大数据应用很多就处于这个阶段,如facebook和谷歌同样基于数据相关性分析推出的“社交图谱”和“知识图谱”,并将其应用于自身的产品中。
数据预测信息阶段。随着技术发展和大数据分析的不断深入,会有越来越多的数据进入庞大的数据库中,供系统进行更加精确分析和决策。比如,可穿戴设备提供了更多用户的身体状态数据,车联网、物联网不断记录着用户的行为倾向性数据,庞大的社交信息承载着新闻发展的趋势……而这些信息无一不是大数据的组成部分。
而随着计算能力的增强,一旦多种大数据之间记录、读取和分析的隔阂被打通,可供计算和决策的数据量就会显著增加,由此而来的更加智能化的网络将具有更加针对性的服务,甚至能够预测用户的行为并提前作出响应。未来用户也许会拥有随着情绪变化色彩的服装、根据爱好自动切换的电视节目、走到旁边自动开锁的汽车,以及更多无法想象的智能化应用,实现智能家居、智能城市。而这一切,都得益于不断增长、成熟的大数据分析处理。事实上,在这种情况下,每个用户就成为了数据本身。
这三个阶段,并没有明确的界限和区别,而是一个不断演进的过程。大数据随着人的发展而不断积累,也随着科技的发展不断被更有效地利用,成为这个时代最具价值的一笔财富。当然,当前的科技还远远没有达到实现第三阶段的水平:数据的存储、计算能力,网络的吞吐量,各个数据源之间的互联互通等等都是亟待解决的问题,而大数据所带来的产业结构调整、用户隐私问题甚至人们生活方式的变化,也都需要更多时间去研究和摸索。不过这些并不能掩盖大数据蕴含的巨大潜力,相信随着时间发展,大数据业务能够带来更多令人惊喜的创新和改变。
E. 全球大数据发展的新动向与新趋势
全球大数据发展的新动向与新趋势
目前,伴随移动互联网、智能硬件和物联网的快速普及,全球数据总量呈现指数级增长态势,与此同时,机器学习等先进的数据分析技术创新也日趋活跃,使得大数据隐含的价值得以更大程度的显现,一个更加注重数据价值的新时代正悄然来临。
瑞士洛桑国际管理学院2017年度《世界数字竞争力排名》显示,各国数字竞争力与其整体竞争力呈现出高度一致的态势,即数字竞争力强的国家整体竞争力也很强,同时也更容易产生颠覆性创新。实际上,以美国、英国、韩国和日本等为代表的发达国家一向重视大数据在促进经济发展和社会变革、提升国家整体竞争力等方面的重要作用,当前更是把大数据视为重要的战略资源,大力抢抓大数据技术与产业发展先发优势,积极捍卫本国数据主权,力争在数字经济时代占得先机。我们从各国发展大数据的新举措中或许可以窥探到大数据发展的新趋势。
美国:稳步实施“三步走”战略 打造面向未来的大数据创新生态
美国是率先将大数据从商业概念上升至国家战略的国家,通过稳步实施“三步走”战略,在大数据技术研发、商业应用以及保障国家安全等方面已全面构筑起全球领先优势。
第一步快速部署大数据核心技术研究,并在部分领域积极开发大数据应用。2012年白宫科技政策办公室发布《大数据研究发展倡议》,以提升从海量和复杂数据中获取知识、挖掘价值的能力,进而推动科学与工程领域创新步伐加速。第二步调整政策框架与法律规章,积极应对大数据发展带来的隐私保护等问题。2014年美国发布《大数据:把握机遇,守护价值》白皮书,再次重申要把握大数据可为经济社会发展带来创新动力的重大机遇,同时也要高度警惕大数据应用所带来的隐私、公平等问题,以积极、务实的态度深刻剖析可能面临的治理挑战。第三步强化数据驱动的体系和能力建设,为提升国家整体竞争力提供长远保障。2016年美国发布《联邦大数据研发战略计划》,形成涵盖技术研发、数据可信度、基础设施、数据开放与共享、隐私安全与伦理、人才培养以及多主体协同等七个维度的系统的顶层设计,打造面向未来的大数据创新生态。
特朗普就任美国总统后,对大数据应用及其产业发展持续关注,并督促相关部门实施大数据重大项目,构建并开放高质量数据库,强化5G、物联网和高速宽带互联网等大数据基础设施,促进数字贸易和跨境数据流动等。2017年4月美国能源部与退伍军人事务部联合发起“百万退伍军人项目(MVP)”,希望借助机器学习技术分析海量数据,以改善退伍军人健康状况。2017年9月医疗保健研究与质量局发布美国首个可公开使用的数据库,其中包括全美600多个卫生系统。白宫科技政策办公室一直积极与他国展开合作,以预防数字经济监管障碍、促进信息流动和反对数字本地化等。
英国:紧抓大数据产业机遇 应对脱欧后的经济挑战
大数据发展初期,英国在借鉴美国经验和做法的基础上,充分结合本国特点和需求,加大大数据研发投入、强化顶层设计,聚焦部分应用领域进行重点突破。近期英国特别重视大数据对经济增长的拉动作用,密集发布《数字战略2017》《工业战略:建设适应未来的英国》等,希望到2025年数字经济对本国经济总量的贡献值可达2000亿英镑,积极应对脱欧可能带来的经济增速放缓的挑战。
2012年,英国便将大数据作为八大前瞻性技术领域之首,一次性投入1.89亿英镑用于相关科研与创新,在八大领域投入总额中占比高达38.6%,远超其余七个领域。随后,英国将全方位构建数据能力上升为国家战略,于2013年发布《把握数据带来的机遇:英国数据能力战略规划》,提出人力资本(研发人才与善于运用数据的民众)、基础设施和软硬件开发能力,以及丰富开放的数据资产是发展大数据的核心,事关能否在未来竞争中占据领先优势。该战略同时提出了11项具体行动部署,短短两三年便释放出巨大的数字潜力。从2010年至2015年,数字经济对英国经济增加值的贡献增长了21.7%,超过了同期经济增加值增长率的17.4%,2015年数字经济规模为1180亿英镑,在经济增加值中的占比超过了7%,其中数字商品和服务出口总值超过500亿英镑。
为从数据中挖掘出更大的价值,创造并维护一个能够保持更多收益和增长的经济体系,同时让全社会都能从中收益,英国政府在2017年3月提出了新时期发展数字经济的顶层设计《数字战略2017》。新战略中提出七大目标及相应举措,特别是对各个目标都提出了更高标准的要求。一是打造世界一流的数字基础设施,二是使每个人都能获得所需的数字技能,三是成为最适合数字企业创业和成长的国家,四是推动每一个企业顺利实现数字化智能化转型,五是拥有最安全的网络安全环境,六是塑造平台型政府,为公众提供最优质的数字公共服务,七是充分释放各类数据的潜能的同时解决好隐私和伦理等问题。
2017年11月,英国面向全社会发布《工业战略:建设适应未来的英国》白皮书,强调英国应积极应对人工智能和大数据、绿色增长、老龄化社会以及未来移动性等四大挑战,呼吁各方紧密合作,促进新技术研发与应用,以确保英国始终走在未来发展前沿,实现本轮技术变革的经济和社会效益最大化。为此,2018年4月底英国专门发布《工业战略:人工智能》报告,立足引领全球人工智能和大数据发展,从鼓励创新、培养和集聚人才、升级基础设施、优化营商环境以及促进区域均衡发展等五大维度提出一系列实实在在的举措。
韩国:以大数据等技术为核心应对第四次工业革命
多年来,韩国的智能终端普及率以及移动互联网接入速度一直位居世界前列,这使得其数据产出量也达到了世界先进水平。为充分利用这一天然优势,韩国很早就制定了大数据发展战略,并力促大数据担当经济增长的引擎。2016年年底,韩国发布以大数据等技术为基础的《智能信息社会中长期综合对策》,以积极应对第四次工业革命的挑战。
2013年12月,韩国多部门便联合发布“大数据产业发展战略”,将发展重点集中在大数据基础设施建设和大数据市场创造上。2015年年初,韩国给出全球进入大数据2.0时代的重大判断,大数据技术日趋精细、专业服务日益多样,数据收益化和创新商业模式是未来大数据的主要发展趋势。基于此,在同年发布的《K-ICT》战略中,韩国将大数据产业定义为九大战略性产业之一,目标是到2019年使韩国跻身世界大数据三大强国。韩国还非常注重对他国经验的借鉴,2015年5月中国发布《大数据发展调查报告》后,韩国专门对中国与韩国大数据应用情况进行了比较分析,并聚焦韩国大数据应用水平与大数据市场不协调的问题,提出了一系列新举措。
近两年全球第四次工业革命浪潮的到来,倒逼韩国重新审视本国智能制造和信息技术的发展,并于2016年年底提出《智能信息社会中长期综合对策》,将大数据及其相关技术界定为智能信息社会的核心要素,并提出具体的发展目标与举措。
一是充分挖掘数据资源价值,强化未来竞争力源头。构筑开放共享的大规模数据基础设施,到2025年实现320个公共机构的数据开放;促进数据流通和使用,激活数据交易市场,推动公共和民间数据实现以价值为导向的交易;激活数据分析企业,到2020年数据专业服务企业规模达到100家;培养大数据专业人才,将每年培养的数据科学家数量从2017年的500名增长到2030年的1000名;发展区块链技术,提高数据管理可靠性等。二是筑牢大数据技术基础。加强数学方法论研究,长期稳定支持新型学习推断、量子计算、神经形态芯片等下一代计算技术研究,推动科研大数据开放共享,推进产业数据中心建设,强化产学研合作共同研发产业共性技术等。三是面向数据服务需求,构筑超连接网络环境。确保频率资源供应,有序推进5G商用化进程,实现大规模机器间通信,实现不同业务网络之间的实时超连接;推动通信运营商体系优化,摒除后发企业进入运营行业的壁垒;进一步强化物联网和云计算基础设施并充分利用智能传感器数据;分阶段引进量子通信与安全网络等。
大数据发展新趋势
综合以上几个典型国家的新动向和新举措,可以发现当前及未来全球大数据发展的新趋势。
一是大数据与人工智能、云计算、物联网、区块链等技术日益融合,成为各国抢抓未来发展机遇的战略性技术。英国在工业战略中强调大数据与人工智能的发展,很有可能推动现有的商品和服务市场被颠覆和取代。日本将大数据、物联网和人工智能界定为建设超智能社会服务平台必不可少的共性技术。韩国与日本相似,将智能信息化社会定义为“ICBM(物联网、云服务、大数据和手机)与AI(人工智能)相融合的社会”。
二是大数据资源对各国经济政治博弈的重要性更加凸显。美国最新版国家安全战略中,特朗普再次将“数据”比喻为一种能源,他认为掌握了数据及相关能力,就是为美国经济的持续增长、有效抵制敌对意识形态以及部署建设最强大军事力量等构建了最基础的保障。最近的“脸书危机”事件,再加上近年来“剑桥分析”及其母公司“战略通讯实验室”参与多国领导人选举活动事件,使得大数据资源及相关技术成为某些国家利益集团及企业影响政治生态和社会安全的重要手段,各国政治社会发展面临的风险变得更加复杂和不可预测。
三是大数据应用基础条件发生跨越式变化。一方面政府数据开放的广度和深度将进一步拓宽,多源数据融合技术的进步,为公共服务数字化与智能化水平的提升提供了技术层面的保障,数据的标准化及开放则成为各国建设服务型政府和平台型政府的资源保障。另一方面大数据应用的基础设施将成为与水电气暖等相类似的设施,成为人们生活中必不可少的部分。这其中包括物联网、智能硬件等数据采集类设施,5G、光通信等超高速数据传输类设施,以及超级计算机、云计算以及边缘计算等计算类设施,以及新型的存储设施等等。
四是大数据安全为各国实现“平衡”发展带来更严峻的挑战。各国大数据发展战略中,不同国家和地区对“数据开放共享”与“个人信息保护”的侧重点不同,比如欧盟希望通过强制性的统一标准最大限度的保护个人隐私,而美国则更相对弱化法律约束、希望充分调动企业的主动性,这种态势对未来全球大数据国际规则的融合发展提出了新难题。同时对大数据企业权利和义务也要进行再平衡,监管太严将限制企业创新的脚步,但如果放手太多,在实践中难免出现企业对个人隐私大规模侵害的问题。
F. 如何看待未来五年全球大数据分析发展趋势
随着我国进入大数据时代,很多人对于大数据的发展趋势还处于懵懂的状态,充分提升大数据的应用对于我国各个行业,都会有非常重要和有效的指导性作用。那么,大数据的发展趋势到底是怎样的呢?下面,就让我们一起来了解一下吧。
第一、突破科学理论
大数据的发展十分快速,对于目前已经飞速发展并且极具影响力的互联网一样,对于社会的各个行业来说都是一个新的技术革命,其相关技术的普及,对于科学技术上的突破都是非常显而易见的。
第二、成立数据联盟和数据科学
在不久的未来,大数据将会成为一个专门的学科,会被更多的人所熟知和了解,并且,大数据相关职业也会逐渐普及,由于大数据的普遍使用,也会催生出更多的行业岗位,数据共享会在企业层面进行扩展,从而成为产业的核心。
第三、数据形成资源化
所谓资源化,就是社会和企业对于已经成为战略资源的大数据内容,给予了更多的关注的认识,从而使大数据成为了大家所关注和抢夺的焦点,所以,企业将会对大数据资源进行战略计划的制定,从而获得市场的主导。
第四、深度结合云计算
云计算的存在为大数据的处理提供了强有效的支撑作用,大数据的运作与运处理是不可分割的,从2013年开始,云计算技术和大数据处理技术就已经有效的结合,其关系也非常密切,而随着大数据时代的不断发展,两者的关系也会更加的密切和契合。
第五、数据管理成为企业的核心竞争力
企业对大数据处理有了更为明确的定义并且持续发展,从而能够影响企业的发展和决策。并且,大数据进行的数据处理活动,对于企业的经营业务和管理效率也都会产生直接的影响。
大数据作为现今时代不可忽视的一种数据分析处理技术,是企业能够对自身充分认识和指导发展的有效手段,其发展趋势也是不可小觑的。