① 大数据时代,面临的七个挑战和八大趋势
大数据时代,面临的七个挑战和八大趋势
大数据挑战和机遇并存,大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段,大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战,但前景依然非常乐观。
大数据发展的挑战
目前大数据的发展依然存在诸多挑战,包括七大方面的挑战:业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重,导致数据价值不能充分挖掘;数据可用性低,数据质量差,导致数据无法利用;数据相关管理技术和架构落后,导致不具备大数据处理能力;数据安全能力和防范意识差,导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值,但缺乏大数据相关的政策法规,导致数据开放和隐私之间难以平衡,也难以更好的开放。
挑战一:业务部门没有清晰的大数据需求
很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又是非盈利部门,企业决策层担心投入比较多的成本,导致了很多企业在搭建大数据部门时犹豫不决,或者很多企业都处于观望尝试的态度,从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和挖掘自身的数据资产,甚至由于数据没有应用场景,删除很多有价值历史数据,导致企业数据资产流失。因此,这方面需要大数据从业者和专家一起,推动和分享大数据应用场景,让更多的业务人员了解大数据的价值。
挑战二:企业内部数据孤岛严重
企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不一样,这导致企业内部自己的数据都没法打通。如果不打通这些数据,大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通,并且实现技术和工具共享,才能更好的发挥企业大数据的价值。
挑战三:数据可用性低,数据质量差
很多中型以及大型企业,每时每刻也都在产生大量的数据,但很多企业在大数据的预处理阶段很不重视,导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型,对数据进行清洗和去噪,以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因,导致企业的数据的可用性差,数据质量差,数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息,还有对收集到的数据进行很好的预处理处理,才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明,高质量的数据的数据应用可以显著提升企业的商业表现,数据可用性提高10%,企业的业绩至少提升在10%以上。
挑战四:数据相关管理技术和架构
技术架构的挑战包含以下几方面:(1)传统的数据库部署不能处理TB级别的数据,快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库,并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术,在设计的开始就没有考虑数据类别的多样性,尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库,对数据处理时间要求不高,这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据,进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构,需要强大的数据中心来支撑,数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时,减少服务器的低负载情况,成为海量数据中心运维的一个重点工作。
挑战五:数据安全
网络化生活使得犯罪分子更容易获得关于人的信息,也有了更多不易被追踪和防范的犯罪手段,可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多,黑客犯罪的动机比以往都来的强烈,一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们,要加强大数据网络安全的建设。另外,大数据的不断增加,对数据存储的物理安全性要求会越来越高,从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。
挑战六:大数据人才缺乏
大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才,能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来,大数据将会出现约100万的人才缺口,在各个行业大数据中高端人才都会成为最炙手可热的人才,涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据,所以拥有大数据的企业应该与学校联合培养人才。
挑战七:数据开放与隐私的权衡
在大数据应用日益重要的今天,数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用,不仅能促进相关产业的发展,也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划,系统之间缺乏统一的标准,形成了众多“信息孤岛”,而且受行政垄断和商业利益所限,数据开放程度较低,这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善,大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此,建立一个良性发展的数据共享生态系统,是我国大数据发展需要迈过去的一道砍。同时,开放与隐私如何平衡,也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私,逐步加强隐私立法,将是大数据时代的一个重大挑战。
大数据发展趋势
虽然大数据仍在起步阶段,存在诸多挑战,但未来的发展依然非常乐观。大数据的发展呈现八大趋势:数据资源化,将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合,行业定制化解决方案将涌现;数据将越来越开放,数据共享联盟将出现;大数据安全越来越受重视,大数据安全市场将愈发重要;大数据促进智慧城市发展,为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。
趋势一:数据资源化,将成为最有价值的资产
随着大数据应用的发展,大数据价值得以充分的体现,大数据在企业和社会层面成为重要的战略资源,数据成为新的战略制高点,是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据,大影响》的报告宣传,数据已经成为一种新的资产类别,就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、网络、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功,并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产,成为提升机构和企业竞争力的有力武器。
趋势二:大数据在更多的传统行业的企业管理落地
一种新的技术往往在少数行业应用取得了好的效果,对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用,其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此,我们有理由相信,大数据作为一种从数据中创造新价值的工具,将会在许多行业的企业得到应用,带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求,更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学,相信大数据在科学管理企业方面有更显著的促进,让更多拥抱大数据的企业实现智慧企业管理。
趋势三:大数据和传统商业智能融合,行业定制化解决方案将涌现
来自传统商业智能领域者将大数据当成一个新增的数据源,而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案,即不仅要能收集、处理和分析企业内部的业务数据,还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外,还希望能结合移动设备的位置信息,这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟,无论是大数据还是商业智能,目的都是为分析服务的,数据全面整合起来,更有利于发现新的商业机会,这就是大数据商业智能。同时,由于行业的差异性,很难研发出一套适用于各行业的大数据商业智能分析系统,因此,在一些规模较大的行业市场,大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。
趋势四:数据将越来越开放,数据共享联盟将出现
大数据越关联越有价值,越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到,美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网,在2013年年底正式开放;上海在2012年启动了政府数据资源开放试点工作,数据涉及地理位置、交通、经济统计和资格资质等数据;2014年,贵州省也加入数据开放之列,10月份云上贵州正式上线。对于不同的行业,数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息,那么就需要全国,甚至全世界的医疗信息共享,从而可以通过平台进行分析,获取更大的价值。我们相信数据会呈现一种共享的趋势,不同领域的数据联盟将出现。
趋势五:大数据安全越来越受重视,大数据安全市场将愈发重要
随着数据的价值的越来越重要,大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息,也有更多的骗术和犯罪手段出现,所以,在大数据时代,无论对于数据本身的保护,还是对于由数据而演变的一些信息的安全,对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的,与传统安全相比,大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据的业务的威胁,然后提出有针对性的解决方案。比如,对于数据存储这个场景,目前很多企业采用开源软件如Hadoop技术来解决大数据问题,由于其开源性,但是其安全问题也是突出的。因此,市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。
趋势六:大数据促进智慧城市发展,为智慧城市的引擎
随着大数据的发展,大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力,通过物联网、移动互联网、云计算等新一代信息技术,实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的的智慧城市应用领域。
趋势七:大数据将催生一批新的工作岗位和相应的专业
一个新行业的出现,必将在工作职位方面有新的需求,大数据的出现也将推出一批新的就业岗位,例如,大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源,数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求,高校也将逐步开设大数据相关的专业,以培养相应的专业人才。企业也将和高校紧密合作,协助高校联合培养大数据人才。如2014年,IBM 全面推进与高校在大数据领域的合作,引入强大的研发团队和业务伙伴,推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养,建设符合中国教学特色及人才需求的大数据相关学分课程,为未来建设特色专业方向做准备。
趋势八:大数据在多方位改善我们的生活
大数据不仅用于企业和政府,也应用于我们的生活。在健康方面:我们可以利用智能手环监测,对我们的睡眠模式来进行追踪,了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况,让远在他方的外出工作者更加放心;在出行方面:我们可以利用智能导航出行GPS数据了解交通状况,并根据拥堵情况进行路线实时调优。在居家生活方面:大数据将成为智能家居的核心,智能家电实现了拟人智能,产品通过传感器和控制芯片来捕捉和处理信息,可以根据住宅空间环境和用户需求自动设置控制,甚至提出优化生活质量的建议,如我们的冰箱可能会在每天一大早建议我们当天的菜谱。
以上是小编为大家分享的关于大数据时代,面临的七个挑战和八大趋势的相关内容,更多信息可以关注环球青藤分享更多干货
② 在互联网+及大数据时代,组织及管理者面临着哪些新的挑战和机遇
大数据泛指巨量的数据集,因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。有报告指出数据是一种生产资料,大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富,价值堪比石油。因此,发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。
大数据时代的来临
互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2003年是100MB,2008年是1GB(1GB等于1024MB),2014年将是10GB。全网流量累计达到1EB(即10亿GB或1000PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首,每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等于1000GB),存储量40PB(1PB等于1000TB)。网络公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)的摄像头一小时能产生3.6GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。
信息爆炸不自今日起,但近年来人们更加感受到大数据的来势迅猛。一方面,网民数量不断增加,另一方面,以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网,人均0.1个;2013年全球将有500亿个设备联网,人均70个。随着宽带化的发展,人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%,即信息总量每两年就可以翻番,这一趋势还将持续。目前,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大,处理的难度也越大,但对其进行挖掘可能得到的价值更大,这就是大数据热的原因。首先,大数据反映舆情和民意。网民在网上产生的海量数据,记录着他们的思想、行为乃至情感,这是信息时代现实社会与网络空间深度融合的产物,蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计,2012年底我国网民数为5.64亿,手机网民为4.2亿,通过分析相关数据,可以了解大众需求、诉求和意见。其次,企业和政府的信息系统每天源源不断产生大量数据。根据一个公司的调研报告,全球企业的信息存储总量已达2.2ZB(1ZB等于1000EB),年增67%。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元,收集环境和社会管理所需的信息。2011年,英国《自然》杂志曾出版专刊指出,倘若能够更有效地组织和使用大数据,人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面,IBM日本公司建立经济指标预测系统,从互联网新闻中搜索影响制造业的480项经济数据,计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具,从近千万条网民留言中归纳出六种心情,进而对道琼斯工业指数的变化进行预测,准确率达到87%。制造业方面,华尔街对冲基金依据购物网站的顾客评论,分析企业产品销售状况;一些企业利用大数据分析实现对采购和合理库存量的管理,通过分析网上数据了解客户需求、掌握市场动向。有资料显示,全球零售商因盲目进货导致的销售损失每年达1000亿美元,这方面的数据分析大有作为。
在农业领域,硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表,预测农场来年产量,向农户出售个性化保险。在商业领域,沃尔玛公司通过分析销售数据,了解顾客购物习惯,得出适合搭配在一起出售的商品,还可从中细分顾客群体,提供个性化服务。在金融领域,华尔街“德温特资本市场”公司分析3.4亿微博账户留言,判断民众情绪,依据人们高兴时买股票、焦虑时抛售股票的规律,决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业,对他们发放无需担保的贷款。目前已放贷300多亿元,坏账率仅0.3%。
在医疗保健领域,“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况,与美国疾病控制和预防中心提供的报告对比,追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台,医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析,可以实现对症下药的个性化治疗。在社会安全管理领域,通过对手机数据的挖掘,可以分析实时动态的流动人口来源、出行,实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎,可以收集热点事件,挖掘舆情,还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理,提取人们行为的时空规律性,进行犯罪预测。在科学研究领域,基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例,基于大数据分析的材料基因组学和合成生物学等正在兴起。
报告推测,如果把大数据用于美国的医疗保健,一年产生潜在价值3000亿美元,用于欧洲的公共管理可获得年度潜在价值2500亿欧元;服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元;利用大数据分析,零售商可增加运营利润60%,制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前,大数据技术的运用仍存在一些困难与挑战,体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志,去伪存真,尽可能收集异源甚至是异构的数据,必要时还可与历史数据对照,多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标,通常要用到冗余配置、分布化和云计算技术,在存储时要按照一定规则对数据进行分类,通过过滤和去重,减少存储量,同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数,其复杂性不仅体现在数据样本本身,更体现在多源异构、多实体和多空间之间的交互动态性,难以用传统的方法描述与度量,处理的复杂度很大,需要将高维图像等多媒体数据降维后度量与处理,利用上下文关联进行语义分析,从大量动态而且可能是模棱两可的数据中综合信息,并导出可理解的内容。第四是结果的可视化呈现,使结果更直观以便于洞察。目前,尽管计算机智能化有了很大进步,但还只能针对小规模、有结构或类结构的数据进行分析,谈不上深层次的数据挖掘,现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前,我国正处在全面建成小康社会征程中,工业化、信息化、城镇化、农业现代化任务很重,建设下一代信息基础设施,发展现代信息技术产业体系,健全信息安全保障体系,推进信息网络技术广泛运用,是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情,把握规律,实现科学发展,做出科学决策具有重要意义,我们必须重新认识数据的重要价值。
为了开发大数据这一金矿,我们要做的工作还很多。首先,大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术(IT)企业已提前发力,通过加大开发力度和兼并等多种手段,努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌,既是为了练兵,也是为了获取情报。过分依赖国外的大数据分析技术与平台,难以回避信息泄密风险。有些日常生活信息看似无关紧要,其实从中也可摸到国家经济和社会脉搏。因此,我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》,这是继1993年宣布“信息高速公路”之后又一重大科技部署,联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距,更需要国家政策支持。
中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁,应注重公开信息,应重视数据挖掘。美国联邦政府建立统一数据开放门户网站,为社会提供信息服务并鼓励挖掘与利用。例如,提供各地天气与航班延误的关系,推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始,当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘,又要防止侵犯个体隐私;既提倡数据共享,又要防止数据被滥用。此外,还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的,要注意技术安全性和管理制度安全性并重,防止信息被损坏、篡改、泄露或被窃,保护公民和国家的信息安全。
大数据时代呼唤创新型人才。预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。预测美国到2018年需要深度数据分析人才44万—49万,缺口14万—19万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者150万,这方面的人才缺口更大。中国是人才大国,但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映,是一个应用驱动性很强的服务领域,是具有无穷潜力的新兴产业领域;目前,其标准和产业格局尚未形成,这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手,但要注意科学规划,切忌一哄而上。
③ 大数据时代应如何应对变革带来的机遇与挑战
大数据时代应如何应对变革带来的机遇与挑战
大数据时代带给我们更多冲击,要想与时俱进,并不断的提升,那就要摒弃原来的传统思想,大胆努力的接受大数据带来的新挑战。想要弄清楚大数据时代带给我们的变化,那就要先知道大数据是什么,这样方可以更好的迎接大挑战,应对时代带来的变革。大数据是指海量的数据,这是非结构化的数据,无法用传统的数据来处理。大数据技术的应用给人们生活带来了诸多的便利性,许多疫情的报告都来源于大数据。
大数据的应用并不是那么简单,其引发的是模式的变革,其应用不仅仅是发电、输电,而是基于互联网技术,这对于人们的生产过程以及商品交换带来了变革性的影响。整个变革过程的技术手段就是数据的挖掘与分析,其是在互联网基础上,将使制造行业的生产效率大幅度提升。大灵气无法产生新的物质产品,也无法创造新的市场需求,但却可以大幅度的提升生产力。
国际上对于大数据的定义了四大特征,那就是海量的数据规模、快速的数据流转、动态的数据体系、多样的数据类型以及巨大的数据价值。基于大数据的全国的数据信息总量每两年就翻番。对于企业而言,大数据来源于企业内部信息系统所产生的运营数据,数据越大结果越好。成功的进入大数据时代,企业将拥有更多的发展潜能。
通过对大数据的处理,人们放弃了因果关系而选择了相互联系。在未来的几年内,大数据将成为提升公司竞争力的有力基础,行业与行业之间的竞争将演变为数据的竞争,所以,解决数据资源的搜索与共享将成为当务之急。以互联网行业的代表阿里巴巴和谷歌为例,前者的服务器都达到了上万台,而后者则超过了五十万台,这就是数据的差别。
大数据是一种运营模式,数据的膨胀决定了企业的未来发展方向,越来越多的企业意识到了数据增涨的隐患。随着时间的推移,数据对于人们和企业的重要性会越发突显。
④ 数字经济时代,我们大学生面临的机遇和挑战有哪些
在现在这个时代,可以说机遇与挑战并存,数字经济时代的到来,使得一些新兴科技产业的快速发展,可以说这辐射到了社会的方方面面.因此,这个时候也伴随着各个方面的机遇,整个社会需要大量的新型技术人才,像信息技术,人工智能的快速发展,这对我们大学生来讲都是机遇啊,这都是我们可以选择的从事的职业,当然我们也可以利用数字经济的红利,实现我们的价值.
另一方面,数字经济时代的到来,也意味着我们需要顺应时代,我们应面对它所带来的挑战,比如,我们是否理解数字经济,正像上面所说的,新型产业,新型岗位大量的涌现,我们自身的技术,能力以及知识能否匹配上这个时代的到来,所以对我们的挑战很大程度上是我们学习新兴事物的能力,更新知识的能力,以及运用我们知识和时代接轨的能力,这些的都是我们要面临的.
我们正处在一个好的时代,挑战与机遇并存,作为大学生因该感到幸运,见证这个时代的到来,并成为它的参与则和践行者.
⑤ 浅谈基于大数据时代的机遇与挑战论文
浅谈基于大数据时代的机遇与挑战论文推荐
在学习和工作中,大家总少不了接触论文吧,论文的类型很多,包括学年论文、毕业论文、学位论文、科技论文、成果论文等。为了让您在写论文时更加简单方便,以下是我精心整理的浅谈基于大数据时代的机遇与挑战论文,仅供参考,希望能够帮助到大家。
浅谈基于大数据时代的机遇与挑战论文
1、大数据的基本概况
大数据(Big Data)是指那些超过传统数据库系统处理能力的数据,其具有以下四个基本特性,即海量性、多样性、易变性、高速性。同时数据类型繁多、数据价值密度相对较低、处理速度快、时效性要求高等也是其主要特征。
2、大数据的时代影响
大数据,对经济、政治、文化等方面都具有较为深远的影响,其可帮助人们进行量化管理,更具科学性和针对性,得数据者得天下。大数据对于时代的影响主要包括以下几个方面:
(1)“大数据决策”更加科学有效。如果人们以大数据分析作为基础进行决策,可全面获取相关决策信息,让数据主导决策,这种方法必将促进决策方式的创新和改变,彻底改变传统的决策方式,提高决策的科学性,并推动信息管理准则的重新定位。2009 年爆发的甲型H1N1 流感就是利用大数据的一个成功范例,谷歌公司通过分析网上搜索的大量记录,判断流感的传播源地,公共卫生机构官员通过这些有价值的数据信息采取了有针对性的行动决策。
(2)“大数据应用”促进行业融合。虽然大数据源于通信产业,但其影响绝不局限于通信产业,势必也将对其他产生较为深远的影响。目前,大数据正逐渐广泛应用于各个行业和领域,越来越多的企业开始以数据分析为辅助手段加强公司的日常管理和运营管理,如麦当劳、肯德基、苹果公司等旗舰专卖店的位置都是基于大数据分析完成选址的,另外数据分析技术在零售业也应用越来越广泛。
(3)“大数据开发”推动技术变革。大数据的应用需求,是大数据新技术开发的源泉。相信随着时代的不断发展,计算机系统的数据分析和数据挖掘功能将逐渐取代以往单纯依靠人们自身判断力的领域应用。借助这些创新型的大数据应用,数据的能量将会层层被放大。
另外,需要注意的是,大数据在个人隐私的方面,容易造成一些隐私泄漏。我们需要认真严肃的对待这个问题,综合运用法律、宣传、道德等手段,为保护个人隐私,做出更积极的努力。
3、大数据的应对策略
3.1 布局关键技术研发创新。
目前而言,大数据的技术门槛较高,在这一领域有竞争力的多为一些在数据存储和分析等方面有优势的信息技术企业。为促进产业升级,我们必须加强研究,重视研发和应用数据分析关键技术和新兴技术,具体可从以下几个方面入手:第一,夯实发展基础,以大数据核心技术为着手点,加强人工智能、机器学习、商业智能等领域的理论研究和技术研发,为大数据的应用奠定理论基础。二是加快基础技术(非结构化数据处理技术、可视化技术、非关系型数据库管理技术等)的研发,并使其与物联网、移动互联网、云计算等技术有机融合,为解决方案的制定打下坚实基础。三是基于大数据应用,着重对知识计算( 搜索) 技术、知识库技术、网页搜索技术等核心技术进行研发,加强单项技术产品研发,并保证质量的提升,同时促使其与数据处理技术的有机结合,建立科学技术体系。
3.2 提高软件产品发展水平。
一是促进以企业为主导的产学研合作,提高软件发展水平。二是运用云计算技术促进信息技术服务业的转型和发展,促进中文知识库、数据库与规则库的建设。三是采取鼓励政策引导软硬件企业和服务企业应用新型技术开展数据信息服务,提供具有行业特色的系统集成解决方案。四是以大型互联网公司牵头,并聚集中小互联网信息服务提供商,对优势资源进行系统整合,开拓与整合本土化信息服务。五是以数据处理软件商牵头,这些软件商必须具备一定的基础优势,其可充分发挥各自的数据优势和技术优势,优势互补,提高数据软件开发水平,提高服务内容的精确性和科学性。同时提高大数据解决方案提供商的市场能力和集成水平,以保障其大数据为各行业领域提供较为成熟的解决方案。
3.3 加速推进大数据示范应用。
大数据时代,我们应积极推进大数据的示范应用,可从以下几个方面进行实践:第一,对于一些数据量大的领域(如金融、能源、流通、电信、医疗等领域),应引导行业厂商积极参与,大力发展数据监测和分析、横向扩展存储、商业决策等软硬件一体化的行业应用解决方案。第二,将大数据逐渐应用于智慧城市建设及个人生活和服务领域,促进数字内容加工处理软件等服务发展水平的提高。第三,促进行业数据库(特别是高科技领域)的深度开发,建议针对不同的行业领域建立不同的专题数据库,以提供相应的内容增值服务,形成有特色化的服务。第四,以重点领域或重点企业为突破口,对企业数据进行相应分析、整理和清洗,逐渐减少和去除重复数据和噪音数据。
3.4 优化完善大数据发展环境。
信息安全问题是大数据应用面临的主要问题,因此,我们应加强对基于大数据的情报收集分析工作信息保密问题的研究,制定有效的防范对策,加强信息安全管理。同时,为优化完善大数据发展环境,应采取各种鼓励政策(如将具备一定能力企业的数据加工处理业务列入营业税优惠政策享受范围)支持数据加工处理企业的发展,促使其提高数据分析处理服务的水平和质量。三是夯实大数据的应用基础,完善相关体制机制,以政府为切入点,推动信息资源的集中共享。
做到上面的几点,当大数据时代来临的时候,面临大量数据将不是束手无策,而是成竹在胸,而从数据中得到的好处也将促进国家和企业的快速发展。
大数据为经营的横向跨界、产业的越界混融、生产与消费的合一提供了有利条件,大数据必将在社会经济、政治、文化等方面对人们生活产生巨大的影响,同时大数据时代对人类的数据驾驭能力也提出了新的挑战与机遇。面对新的挑战与发展机遇,我们应积极应对,以掌握未来大数据发展主动权。
结构
论文一般由名称、作者、摘要、关键词、正文、参考文献和附录等部分组成,其中部分组成(例如附录)可有可无。
1、论文题目
要求准确、简练、醒目、新颖。
2、目录
目录是论文中主要段落的'简表。(短篇论文不必列目录)
3、内容提要
是文章主要内容的摘录,要求短、精、完整。
4、关键词定义
关键词是从论文的题名、提要和正文中选取出来的,是对表述论文的中心内容有实质意义的词汇。关键词是用作计算机系统标引论文内容特征的词语,便于信息系统汇集,以供读者检索。每篇论文一般选取3-8个词汇作为关键词,另起一行,排在“提要”的左下方。
主题词是经过规范化的词,在确定主题词时,要对论文进行主题分析,依照标引和组配规则转换成主题词表中的规范词语。(参见《汉语主题词表》和《世界汉语主题词表》)。
5、论文正文
(1)引言:引言又称前言、序言和导言,用在论文的开头。引言一般要概括地写出作者意图,说明选题的目的和意义, 并指出论文写作的范围。引言要短小精悍、紧扣主题。
(2)论文正文:正文是论文的主体,正文应包括论点、论据、论证过程和结论。主体部分包括以下内容:
a.提出问题-论点;
b.分析问题-论据和论证;
c.解决问题-论证方法与步骤;
d.结论。
6、参考文献
一篇论文的参考文献是将论文在研究和写作中可参考或引证的主要文献资料,列于论文的末尾。参考文献应另起一页,标注方式按进行。
7、论文装订
论文的有关部分全部抄清完了,经过检查,再没有什么问题,把它装成册,再加上封面。论文的封面要朴素大方,要写出论文的题目、学校、科系、指导教师姓名、作者姓名、完成年月日。论文的题目的作者姓名一定要写在表皮上,不要写里面的补页上。
;⑥ 大数据时代给政府治理带来哪些挑战和机遇
政府治理是一个动态的过程,受社会经济、政治结构、技术变革、文化环境等多因素的综合影响。技术变革是政府治理现代化的重要推动力量,大数据作为一种新技术,推动全球进入一个将数据当作核心资产的新时代,推动社会朝着更加开放、权力更分散和网状大社会方向发展。
数据时代是一个将数据当作核心资产的时代,数据呈现出战略化、资产化和社会化等特征。随着数据作为国家战略资产意识的增强,以及越来越多的国家将数据管理上升到战略层面,大数据势必会以更加积极的姿态进入到公共管理和政府治理范畴内。无论是把大数据单纯作为一种技术,还是一种抽象理念,或者是一个时代背景,它都将对政府治理理念、治理范式、治理内容、治理手段等产生不同程度的影响。
政府治理理念的影响
⒈开放的意识
大数据时代最强音,开放,开放。无论是美国提出的“开放政府”战略,还是规模不断扩大的世界“开放联盟”组织,世界各国政府的开放意识在强化。开放意识的缺失,将使一个国家或政府在大数据时代处于“被淘汰”的境地。
⒉包容的心态
大数据时代,国家间的包容性增强,欧盟科学数据的开放战略志在打破体系内20多个国家的数据分界线,实现数据世界的一体化。美国We the People的上线,政府利用“社交”方式为公民提供了合法的倾诉平台,可以更近距离地听到公众的声音,政府与公众之间的包容度增强;
⒊科学的态度
大数据时代,数据的颗粒度在变小,政府所能获得的和提供的数据更加原始与真实,政府决策过程在科学技术的支撑下变得高效与可考证化,决策结果中不确定因素所带来的风险大大降低。科学思考成为一种习惯,经验分析不再主导。
⒋关联的思考
大数据时代,认识问题、分析问题、思考问题、解决问题,都需要进行“关联”,人的关联、物的关联、人与物的关联,历史时间的关联,地理位置空间的关联,多维度的关联
⒌深度的分析
大数据时代,分析是深度的、实时的、,大数据分析的是极端个人化的数据,这些个人信息以形态各异的形式,分散在不同的时间段、不同的地理位置、不同的网站平台,大数据要做的就是不停的分析,深入的挖掘这些看似不相关的数据,找出数据间可能存在的规律。
对政府治理范式的影响
随着政府治理环境的改变,政府治理范式在不断发展创新。大数据被认为是继互联网革命之后又一次技术革命。技术是政府治理的要素之一,技术变革是政府治理现代化的重要推动力量。对于政府来说,技术变革既可以带来治理手段的创新,也可能推动治理机制的创新,最终变革政府治理范式。
大数据时代要对数据进行治理,而非管理,避免出现数据的独享、集中和单向性,充分体现社会开放性、权力多中心和双向互动特性。一般认为新公共管理自20世纪90年代末已经进入了后新公共管理时期,兴起了“治理”理论。在美国,对新公共管理进行批评并对它大有取代之势的是新公共服务,代表性人物罗伯特﹒登哈特甚至认为新公共服务已经成为公共行政的一种模式。在英国,对新公共管理的批评发展起来的是整体性治理模式( holistic governance),其代表人物是佩里﹒希克斯和帕却克﹒登力维。
除了已经发展较为成熟和体系化的新公共服务和整体性治理两大主流政府治理理论体系外,在信息化技术飞速发展的影响下相继出现了数字化治理、网络化治理等提法。尽管各流派侧重点各有不同,但也存在一定的共性,“治理”理论的核心观点是主张通过合作、协商、伙伴关系,确定共同的目标等途径,实现对公共事务的管理,涉及的核心问题就是权力多中心化以及由此引发主体多元化、结构网络化、过程互动化和方式协调化的诉求。对比大数据的社会属性,发现其与“治理”理论在多中心、回应性、协同化等诸多方面不谋而合。因此,将大数据应用到政府治理中将加速政府治理的创新,可以产生“倍增”效应。内容根据国家信息中心整理
⑦ 大数据给我们带来的真正机遇
大数据给我们带来的真正机遇
大数据怎么用?
随着世界开始迈向大数据时代,社会也将经历类似的地壳运动。在改变我们生活和思维方式的同时,大数据早已在推动我们重新考虑最基本的准则,包括怎样鼓励其增长以及怎样遏制其潜在威胁。然而,不同于印刷革命,我们没有几个世纪的时间去慢慢适应,我们也许只有几年时间。
在大数据时代,对原有规范的修修补补已经满足不了需要,也不足以抑制大数据带来的风险,我们需要全新的制度规范。我们需要设立一个不一样的隐私保护模式,这个模式应该更着重于数据使用者为其行为承担责任,而不是将重心放在收集数据之初取得个人认可上。
对大数据技术进行规范是问题的关键。首先,可以从强调监管大数据的收集,转向重点监管大数据的实际使用。其次,可以让大数据变得不那么神秘,不再是个“黑箱”,增加大数据应用中的透明度和问责制。可创造一个被称为“算法学家”的新职业,这些人接受计算机技术、统计学和数据处理方面的专门训练,对大数据的应用进行评估,以确保公众对大数据系统感到放心。
至于平衡隐私权和国家安全的问题,古希腊哲学家亚里士多德早就提出这样的问题:“我们如何监视守护者?”即使是在他那个年代,这个问题也没有简单的答案。
大数据给我们带来的真正机遇是把许多信息碎片拼起来,为我们的决策服务。大数据时代最大的挑战是如何从大数据中获取“价值”。从大数据中获取最大价值,需要探索式的研究方法。未来,数据科学家会很吃香,这种科学家既要熟悉商业环境,也要有操作层面的知识。
很多问题就出在数据使用上!数据作为资产,就涉及管理的问题,因此“数据治理”就显得越发重要。信息世界同样需要公约,将窃取他人数据视为犯罪,将攻击他人系统视为犯罪,从刑法上加以明确规定,共同营造一个文明有序的数字生活,应该是我们的理想。大数据时代,我们需要尽快跟进这方面的工作,如开展国家间对话,形成公约。
企业利用数据挖掘技术,进行精准广告投放,也涉及隐私问题。一个少女收到了婴儿用品广告,其父大怒,要告企业。事实却是这位少女未婚先孕了。这个故事中,企业使用的是自己采集的客户购物数据,使用的是自己开发的数据挖掘软件,整个过程都没有问题。但事实上却侵犯了个人隐私,应坚决反对。这里面应该有一些法律问题,需要认真研究。
大数据时代,数据作为资源,不被共享是趋势。”这样的话,数据运用一定需要价值交换。在确定数据权益的前提下,数据的运用就是有偿使用。法律需要界定数据的权益,政府界定数据的类型(哪些是隐私,哪些涉及国家安全)等,这样数据的流通就有法可依。
在现阶段法律法规都还没有明确之前,应从国家安全的角度高度关注数据资源的安全。而作为个人,要明白“有行动就可能产生数据”,所以当有些行为涉及隐私时,需要谨慎。
从更大的范围来讲,公共网络中公开的数据应该属于全人类,任何人都有权获取、使用并获益。这样能够更大程度地发挥数据资源的作用,让数据给人类的生活生产带来更多便利,对人类社会进步有重要的意义。
⑧ 大数据,政府统计的机遇与挑战
大数据,政府统计的机遇与挑战
对于政府统计机构来说,没有什么比数据更重要的了。我们研究统计分类标准、统计调查方法、统计数据采集方式、统计数据加工处理方法、统计数据评估技术,都是为了获取真实准确、完整及时、代表性强、分类科学、经济适用的统计数据。
大数据时代的到来,既给政府统计带来重大发展机遇,也带来严峻挑战。
一、大数据在政府统计中的应用
国家统计局高度重视大数据在政府统计中的应用。到目前为止,已经与17家大数据企业签订了战略合作协议。当然,目前大数据在中国政府统计中的应用仍处于起步阶段,主要表现在两个方面:一是大数据成为政府统计数据的部分资料来源;二是大数据成为政府统计数据质量的部分评估依据。
(一)大数据成为政府统计数据的部分资料来源
目前,大数据已经成为中国政府统计数据的部分资料来源,以下是几个有代表性的方面:
1.利用重点网上零售交易平台数据测算网上零售额
为了掌握网上零售交易平台的交易规模和结构,综合测算网上零售数据,从今年1月份开始,国家统计局实施了月度网上零售交易平台调查,调查范围为42家重点网上零售交易平台,包括京东商城、亚马逊、当当网、淘宝网、天猫商城、酒仙网、美团网、中粮我买网、国美在线、大众点评网等。据对上述42家重点网上零售交易平台数据测算,今年1~8月份,全国网上零售额22400.9亿元,同比增长36.5%。其中,实物商品网上零售额18653.4亿元,增长35.6%,占全部网上零售额的83.3%;非实物商品网上零售额3747.5亿元,增长41.1%,占全部网上零售额的16.7%。这对于宏观管理部门和社会公众了解网上零售情况具有重要的参考作用。
2.利用房屋交易网签数据计算全国70个大中城市的新建住宅价格指数
房屋交易网签数据是指买卖双方签订购房合同后,房地产开发企业在房管部门进行备案,并在房产信息网上公布的相关信息,包含地址、楼层、价格、面积和金额等详细信息,基本涵盖了当月新建住宅的全部交易情况。从2011年1月份开始,国家统计局开始采用房屋交易网签数据计算全国70个大中城市的新建住宅价格指数。这对于提高70个大中城市新建住宅价格指数的数据质量起到了重要作用。
3.利用卓创资讯公司提供的价格信息,开展流通领域重要生产资料市场价格监测
国家统计局与卓创资讯公司开展合作,利用该企业提供的价格信息,开展流通领域重要生产资料市场价格监测。从2014年1月开始,按旬共同向社会发布流通领域9大类50种重要生产资料市场价格的检测结果。行业涵盖黑色金属、有色金属、化工产品、煤炭、石油天然气、非金属建材、农产品、农业生产资料、林产品等领域。地区监测范围覆盖北京、天津、河北、山西、内蒙古、辽宁、吉林、上海等24个省区市。这对于宏观管理部门和社会公众了解流通领域重要生产资料市场价格信息起到了重要作用。
(二)大数据成为政府统计数据质量的部分评估依据
国家统计局除了把大数据作为政府统计数据的部分资料来源外,也高度重视利用大数据评估政府统计数据质量。以下是目前比较有代表性的两个方面:一是利用中国银联跨行银行卡消费数据评估社会消费品零售总额数据质量;二是利用大型机械装备企业物联网数据评估固定资产投资数据质量。
二、大数据给政府统计带来的机遇与挑战
对于政府统计来说,大数据既带来了重大发展机遇,也带来严峻挑战。
(一)大数据给政府统计带来重大发展机遇
首先,大数据将不断提高政府统计服务宏观管理和社会公众的能力。随着大数据的不断发展和完善,随着政府统计机构开发应用大数据能力的不断提升,政府统计产品的种类将会不断丰富,政府统计数据的质量和时效性将会不断提升,从而政府统计服务宏观管理和社会公众的能力会不断提高。
其次,大数据将会推动政府统计发生革命性的变化。随着大数据的发展和完善,随着政府统计机构开发应用大数据技术的逐步成熟,政府统计将会发生革命性变化。一是现有的以周期性普查为基础,以抽样调查为主体,综合运用全面调查、重点调查等方法,并充分利用行政记录等资料的统计调查方法体系可能会发生重大变化。长期以来,抽样调查方法,即在总体中抽选样本、利用样本推算总体的方法;普查和全面调查方法,即对总体中所有单位逐一进行调查的方法,在我国政府统计中发挥了重要作用。今后,在较长的时期内这些方法仍然会被政府统计所广泛采用。但在大数据不断发展和完善的情况下,某些领域、某些方面的大数据可能会取代抽样调查、普查和全面调查方法,成为获取统计数据的重要方法,而且这种获取统计数据的方法将会变得越来越重要。二是政府统计中的数据采集方式可能会发生重大变化。长期以来,政府统计机构主要以企业填报、住户记账、调查员入户等方式采集原始数据。在大数据不断发展和完善的情况下,一部分原始数据将通过挖掘大数据的方式获取,而且这种新的数据采集方式将会变得越来越重要。三是政府统计的数据处理模式可能会发生重大变化。在大数据不断发展和完善的情况下,现行的对普查和全面调查数据进行直接审核、汇总、加工处理和对抽样调查数据进行推算放大的数据处理模式可能会发生重大变化。
(二)大数据给政府统计带来严峻挑战
首先,大数据对政府统计能力带来挑战。从大数据本身的产生到发展完善,从政府统计对大数据的初步运用到成熟运用,需要一个较长的时期。在这个过程中,一方面,政府统计中传统的统计调查方法、数据采集方式和数据处理模式将继续运行,否则满足不了宏观管理和社会公众的需求。另一方面,政府统计系统必须投入大量的人力和物力对大数据进行挖掘、加工处理和运用,否则也适应不了大数据时代宏观管理和社会公众的需求。这种双轨运行的模式,对政府统计能力将是一个巨大的挑战。
其次,大数据对传统政府统计理念带来挑战。传统的政府统计有一个约定俗成的理念:抽样调查方法可降低调查成本,提高效率和数据质量。因为抽样调查只对总体中部分抽中的样本进行调查,并非对总体中的每一个单位都进行调查,所以调查单位明显减少,可降低成本,节约时间,提高效率。同时,由于调查单位较少,政府统计机构有能力对基层统计调查人员进行较为扎实的培训和指导,有精力对统计调查数据进行较为严格的检查和审核,从而能够提高统计调查数据质量。随着大数据不断发展完善,政府统计机构将会越来越多地通过大数据企业间接地获取统计数据,不需要对总体中的具体单位进行直接调查,不需要调查员,从而也不需要对调查员进行培训,抽样调查所具有的调查成本低、能够提高统计调查数据质量的优点就不复存在了。
⑨ 大数据时代带来哪些机遇
大数据时代带来哪些机遇
经过30多年的探索与实践,国家核安全局实现了核与辐射安全监管能力的不断提升,但同时也面临着推进核与辐射安全监管体系和监管能力现代化的时代课题。环境保护部副部长李干杰多次强调要按照系统化、科学化、法制化、市场化和信息化的要求,着力研究,做好顶层设计,逐步推进。
然而,在大数据、互联网时代,任何一种监管或治理都不再是单方面的政府治理。“大数据将不仅是技术或生产力,它同时也是生产关系的重塑”,将对我国治理体系和治理能力产生深远的影响。如何利用大数据加快核安全监管现代化进程是当前我们面临的重大课题。
得数据者得天下
大数据的核心是数据,本质是管理。数据是与物质、能源同等重要的基础性战略资源,数据的采集和分析涉及每一个行业,是带有全局性和战略性的工作。正所谓“得数据者,得天下”。因此,数据从哪里来是关键。
纵观核安全监管30年,系统内累积的大量历史资料可看作是“沉睡数据”;一些被标识但没有得到有效应用的数据可看作是“仅标识数据”;而近年来建立的核与辐射安全监管信息化系统中的结构化数据则可看作“活跃数据”。
此外,系统外的其他政府机构和被监管对象的相关数据也是核安全数据集或数据仓库的重要组成部分,必须加以重视和利用,才能形成真正的大数据。
从我国信息化发展的现实情况看,“不愿共享开放”、“不敢共享开放”、“不会共享开放”的情况依然较为普遍。特别是我国各级政府、公共机构汇聚了海量数据资源,但除了部分自用和信息公开外,大部分没有充分发挥数据资源作为“生产要素、无形资产和社会财富”的应有作用。
因此,要打破国家核安全局与其他政府机构、行业和领域的壁垒,建立数据资源开放与共享机制,让数据流动起来,打破数据孤岛;把沉睡数据发掘出来、把仅标识数据系统化,使之成为活跃型数据,才能让数据共享成为可能,继而创造价值。
然而,最基本的问题即安全问题是大数据应用的保障,大数据安全很大程度上已经上升到国家战略层面安全,目前美国、欧洲和日本等国都出台了数据安全战略。面对大数据时代的机遇,我们能不能把控数据安全、保护数据资产是重大挑战。
大数据带来变革
大数据背景下的政府治理将不仅是权位治理,也是公共治理和多元治理、数字治理,在以数字技术为基础、以网络为载体的新媒体生态环境下,大数据进一步赋权于个人与组织,使其分享原本国家独占的治理权力,这在公共安全与应急管理等方面表现更为突出。同时,原本封闭的治理体系逐渐向开放透明的治理体系转变。中国国际经济交流中心副研究员张茉楠指出,“大数据必然要求数据开放、实现共享,这在一定程度上破解了制度黑箱问题。
在大数据、云计算、社会化媒体等全新信息技术的猛烈冲击下,原来存在于政府和公众之间的信息差、文化差、知识差、能力差正在逐渐消除。
核与辐射安全的监管模式是“摇篮到坟墓”的全过程监管,可建立电子监管码对每件物项实施唯一标识,利用现代化的信息、网络、编码技术对关键物项的生产制造、检验、流通、安装调试、运行、退役等环节实施全过程监控,从而将监管过程和大数据采集完美结合。
如何更好地监管?
但是,不管是历史资料的梳理、现有数据的利用,还是其他系统和被监管对象数据的获得,都面临着重重困难,需要大量的经费支持人才支持。
首先要理顺核与辐射安全监管信息化建设体制,做好核与辐射安全监管信息化工程建设顶层设计,以此为构架和标准清理和盘点出核与辐射安全监管的数据资产,建立资源目录体系和公共代码库,完成自身数据全面梳理,为数据资源整合与共享奠定基础。
其次要广泛梳理对其他部门数据的需求,深入调查我国核能及核技术利用企业的数据资源,建立常态化的大数据收集机制,联合被监管单位研究制定“核与辐射安全大数据体系”,明确要求和分工,形成我国核与辐射安全监管大数据中心。
第三,要加强理论研究和方法创新,着力调研国内外核与辐射安全有关的大数据应用案例,特别是核电企业在建设大数据过程中的成功案例与优秀成果,创建核与辐射安全决策支持 (DSS)、主管资讯(EIS)和知识管理(KMS)等系统,推动监管体系和监管能力现代化的进程。比如,可借鉴丹麦癌症协会通过对其国内手机用户的手机使用时间和健康状况进行大数据分析,得出使用手机与癌症的发生毫无关联,特别是大家最担心的脑癌、颈癌、眼癌以及白血病的罹患风险并未增加,来研究低剂量辐射对人的影响。此外,可以借鉴哥伦比亚大学的统计学家通过大数据为纽约沙井设施爆炸进行预警,做出针对性的维修决策,大大降低了事故的发生。
国家核安全局可对历年来同一堆型电站的监督检查、审评数据进行分析汇总,查找薄弱环节,然后再与业主单位的维修维护数据挂钩,不仅能查找出工作环节中的技术或管理问题,还可能改变监督检查模式,提升监管能力。
到2020年,初步建立适应新时期核与辐射安全监管工作需要的信息化管理体系,形成合理顺畅的工作机制,形成信息化的网络保障能力、应用支撑能力、数据存储与共享能力、安全与运维能力,加强物联网、云计算、虚拟化、GIS等新技术以及“三网融合”在核与辐射安全监管中的研究应用,促进信息化技术与核与辐射安全监管业务深度融合,使信息化技术成为核与辐射安全监管和管理决策的重要手段,逐步实现“信息强环保”的战略目标。
以上是小编为大家分享的关于大数据时代带来哪些机遇的相关内容,更多信息可以关注环球青藤分享更多干货