① 大数据时代的挑战、价值与应对策略
大数据时代的挑战、价值与应对策略
随着移动互联网、物联网、云计算等的快速发展,及视频监控、智能终端、应用商店等的快速普及,全球数据量出现爆炸式增长。在此背景下,电信运营商在其网络无休止扩容的同时,却面临“增量不增收”的困境;而一些采用“数据驱动型决策”模式经营的公司,则可将其生产力提高5%~6%。因此,有必要深入研究大数据时代(Big Data Era)的挑战、价值与务实应对策略。
1大数据时代的基本特征
据统计,2010年以互联网为基础所产生的数据比之前所有年份的总和还要多;而且不仅是数据量的激增,数据结构亦在演变。Gartner预计,2012年半结构和非结构化的数据,诸如文档、表格、网页、音频、图像和视频等将占全球网络数据量的85%左右;而且,整个网络体系架构将面临革命性改变。由此,所谓大数据时代已经来临!
对于大数据时代,目前通常认为有下述四大特征,称为“四V”特征:
(1)量大(Volume Big)。数据量级已从TB(1012字节)发展至PB乃至ZB,可称海量、巨量乃至超量。
(2)多样化(Variable Type)。数据类型繁多,愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。
(3)快速化(VelocityFast)。数据流往往为高速实时数据流,而且往往需要快速、持续的实时处理;处理工具亦在快速演进,软件工程及人工智能等均可能介入。
(4)价值高和密度低(Value HighandLowDensity)。以视频安全监控为例,连续不断的监控流中,有重大价值者可能仅为一两秒的数据流;360°全方位视频监控的“死角”处,可能会挖掘出最有价值的图像信息。
2大数据时代面临的挑战
(1)运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战,管道化压力化解及“云-管-端”的有效装备也均面临新挑战。
(2)大数据的“四V”特征在数据存储、传输、分析、处理等方面均带来本质变化。数据量的快速增长,对存储技术提出了挑战;同时,需要高速信息传输能力支持,与低密度有价值数据的快速分析、处理能力。
(3)海量数据洪流中,在线对话与在线交易活动日益增加,其安全威胁更为严峻;而且现今黑客的组织能力、作案工具、作案手法及隐蔽程度更上一层楼,典型的有APT(Advanced Persistent Threat,高级持续性安全威胁)。
(4)大数据环境下通过对用户数据的深度分析,很容易了解用户行为和喜好,乃至企业用户的商业机密,对个人隐私问题必须引起充分重视。
(5)大数据时代的基本特征,决定其在技术与商业模式上有巨大的创新空间,这将对可持续发展起关键作用。
(6)大数据时代的基本特征及安全挑战,对政府制订规则与监管部门发挥作用提出了新的挑战。
3大数据带来的价值
(1)利用大数据特征,借助云计算等有效工具,深度挖掘流量与数据价值,可帮助运营商实施好流量经营,减轻管道化风险,发扬“云-管-端”的智能管道的威力。
(2)多业务环境下掌握用户体验效果尤为重要,可从海量用户数据中深度分析、挖掘出用户的行为习惯和消费爱好,以实施精准营销及网络优化,掌控数据增值的“金钥匙”。
(3)掌握好大数据的存储、分类、挖掘、快速调用和决策支撑,并应用于企业的日常运营、维护及战略转型中,成为企业可持续发展、维持竞争优势的当务之急与重要途径。
(4)充分利用对大数据的分析、挖掘,可帮助找到隐蔽性极强的APT之类的安全威胁,助力信息安全部门找到应对新型安全威胁的有效途径。
(5)通过对公共大数据的分析、挖掘与利用,可减少欺诈行为及错误数据的负面作用、追收逃税漏税及刺激公共机构生产力等,帮助政府节省开支。例如英国政府即通过此途径节省大约330亿英镑/年。
4大数据时代的应对策略
(1)大数据时代应以智慧创新理念融合大数据与云计算,在大数据洪流中提升知识价值洞察力,实施高效实时个性化运作,建立有效增值的商业模式,确保应对APT之类的新型安全威胁。
(2)电信运营商转型中流量经营已成共识,即以智能管道与聚合平台为基础,以扩大流量规模、提升流量层次及丰富流量内涵作为基本经营方向,并以释放流量价值为基本目标,可见大数据和云计算的深度融合与此流量经营目标十分吻合。实际上已经有一些运营商借助大数据Hadoop云工具管理与分析网络中的用户数据,为日常运维及制定市场战略等提供有效支撑。
(3)针对大数据时代的基本特征,加强全方位创新。包括IBM、EMC、HP、Microsoft等在内的IT巨头,纷纷加速收购相关大数据公司进行技术整合,寻找数据洪流大潮中新的立足点。而涉及人工智能、机器学习等新技术的创新应用,已初显效益。
(4)将大数据时代全方位创新工作和智慧城市发展紧密结合。借助移动互联网、大数据与云计算的融合、智能运营管道等,建立智能平台,优化配置城市资源,向真正的智慧城市迈进。
(5)借助大数据创新处理技术应对APT安全攻击。APT安全攻击的最主要特征为单点隐蔽能力强、攻击空间路径不确定、攻击渠道不确定;同时APT攻击一旦入侵成功则长期潜伏,攻击时间上具有持续性。目前,全流量审计方案具备强大的实时检测能力与事后回溯能力,并可将安全工作人员的分析能力、计算机存储与运算能力组合在一起,是一种较完整的解决方案。
② 大数据乃双刃剑 机遇和风险并存
大数据乃双刃剑 机遇和风险并存
对于大多数企业来说,大数据已经成为左右战局的决定性力量,安全风险也随之更加凸显。企业已经搜集并存储了所有的数据,接下来他们该干些什么?他们如何对这些数据进行保护?而且最为重要的是,他们如何安全合法地利用这些数据?
无论是从企业存储策略与环境来看,还是从数据与存储操作的角度来看,大数据带来的“管理风险”不仅日益突出,而且如果不能妥善解决,将肯定会造成“大数据就是大风险”的可怕后果。
从信息安全的角度来看,围绕大数据的问题主要集中在以下五个方面:
1.网络安全
随着线交易、在线对话、在线互动,在线数据越来越多,黑客们的犯罪动机也比以往任何时候都来得强烈。如今的黑客们组织性更强,更加专业,作案工具也是更加强大,作案手段更是层出不穷。相比于以往一次性数据泄露或者黑客攻击事件的小打小闹,现在数据一旦泄露,对整个企业可以说是一着不慎满盘皆输,不仅会导致声誉受损、造成巨大的经济损失,严重的还要承担法律责任。所以在大数据时代,网络的恢复能力以及防范策略可以说是至关重要。
2.云数据
目前来看,企业快速采用和实施诸如云服务等新技术还是存在不小的压力,因为它们可能带来无法预料的风险和造成意想不到的后果。而且,云端的大数据对于黑客们来说是个极具吸引力的获取信息的目标,所以这就对企业制定安全正确的云计算采购策略提出了更高的要求。
3.消费化
众所周知,数据的搜集、存储、访问、传输必不可少的需要借助移动设备,所以大数据时代的来临也带动了移动设备的猛增。随之而来的是BYOD(bring your own device)风潮的兴起,越来越多的员工带自己的移动设备进行办公。不可否认的是,BYOD确实为人们的工作带来了便利,而且也帮助企业节省很大一笔开支,但也给企业带来了更大的安全隐患。曾几何时,手持设备被当成黑客入侵内网的绝佳跳板,所以企业管理和确保员工个人设备的安全性也相应增加了难度。
4.互相联系的供应链
每个企业都是复杂的、全球化的、相互依存的供应链中的一部分,而供应链很可能就是最薄弱的环节。信息将供应链紧密地联系在一起,从简单的数据到商业机密再到知识产权,而信息的泄露可能导致名誉受损、经济损失、甚至是法律制裁。信息安全的重要性也就不言而喻了,它在协调企业之间承包和供应等业务关系扮演着举足轻重的角色。
5.隐私
随着产生、存储、分析的数据量越来越大,隐私问题在未来的几年也将愈加凸显。所以新的数据保护要求以及立法机构和监管部门的完善应当提上日程。
抛开以上提到的问题,数据聚合以及大数据分析就像是企业营销情报的宝库。基于用户过去的购买方式,情绪以及先前的个人偏好进行目标客户的定位,对市场营销者来说绝对是再合适不过了。但是那些出于商业利益考虑而迫切想要采用新技术的企业领导者会被建议先去了解法律和其他方面的限制,这些限制可能涉及多个司法机构;此外,他们应该实施一些隐私最佳实践,并将其设计成分析程序,增加透明度和实行问责制度,而且不应该忽视大数据对人们、对技术的影响。
很显然,保证数据输入以及大数据输出的安全性是个很艰巨的挑战,它不仅会影响到潜在的商业活动和机会,而且有着深远的法律内含。我们应该保持敏捷性并在问题出现前对监管规则作出适当的改变,而不是坐等问题的出现再亡羊补牢。
当然,一切都还处于初级阶段,而且目前也没有太多外在要求来强制企业保证信息的完整性。然而,企业每天处理的数据规模依然在保持增长,大数据分析使得商务决策越来越接近原生数据,信息的质量也变得愈加重要。如果同样复杂的分析可以运用到相关安全数据上面,那么大数据甚至可以用来改善信息安全。
虽然目前这些解决方案很难普及开来,但是他们正在和大数据分析一起用于防骗,网络安全检测,社会分析以及多通道实时监测等过个领域。
总的说来,大数据应该说是具有相当大的价值,但同时它又存在巨大的安全隐患,一旦落入非法分子手中,势必对企业和个人造成巨大的损失。套用一句话,世界是很公平的,收入与风险是成正比的。
③ 大数据时代的信息安全和未来展望
大数据时代的信息安全和未来展望
随着高级可持续性攻击的出现以及恶意软件的复杂性与日俱增,企业急需一种突破传统信息安全保障模式的、灵活的技术和方案来应对未来不断变化的安全威胁。大数据彻底的改变了信息安全行业,基于大数据分析的智能驱动型安全战略将帮助信息安全从业人员重获警惕性和时间的优势,以使他们更好地检测和防御高级网络威胁。
大数据时代信息安全面临挑战
在大数据时代,无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络使得互联网时时刻刻都在产生着海量的数据。随着产生、存储、分析的数据量越来越大,在这些海量数据背后隐藏着大量的经济与政治利益。大数据如同一把双刃剑,在我们享受大数据分析带来的精准信息的同时,其所带来的安全问题也开始成为企业的隐患。
1、黑客更显著的攻击目标:在网络空间里,大数据是更容易被“发现”的大目标。一方面,大数据意味着海量的数据,也意味着更复杂、更敏感的数据,这些数据会吸引更多的潜在攻击者。另一方面,数据的大量汇集,使得黑客成功攻击一次就能获得更多数据,无形中降低了黑客的攻击成本,增加了其“收益率”。
2、隐私泄露风险增加:大量数据的汇集不可避免地加大了用户隐私泄露的风险。一方面,数据集中存储增加了泄露风险,而这些数据不被滥用,也成为人身安全的一部分。另一方面,一些敏感数据的所有权和使用权并没有明确界定,很多基于大数据的分析都未考虑到其中涉及的个体隐私问题。
3、威胁现有的存储和防护措施:大数据存储带来新的安全问题。数据大集中的后果是复杂多样的数据存储在一起,很可能会出现将某些生产数据放在经营数据存储位置的情况,致使企业安全管理不合规。大数据的大小也影响到安全控制措施能否正确运行。安全防护手段的更新升级速度无法跟上数据量非线性增长的步伐,就会暴露大数据安全防护的漏洞。
4、大数据技术成为黑客的攻击手段:在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时,黑客也在利用这些大数据技术向企业发起攻击。黑客会最大限度地收集更多有用信息,比如社交网络、邮件、微博、电子商务、电话和家庭住址等信息,大数据分析使黑客的攻击更加精准。此外,大数据也为黑客发起攻击提供了更多机会。黑客利用大数据发起僵尸网络攻击,可能会同时控制上百万台傀儡机并发起攻击。
5、成为高级可持续攻击的载体:传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测,而高级可持续攻击(APT)是一个实施过程,无法被实时检测。此外,由于大数据的价值低密度特性,使得安全分析工具很难聚焦在价值点上,黑客可以将攻击隐藏在大数据中,给安全服务提供商的分析制造很大困难。黑客设置的任何一个会误导安全厂商目标信息提取和检索的攻击,都会导致安全监测偏离应有方向。
6、信息安全产业面临变革:大数据的到来也为信息安全产业的发展带来了新的契机,还没有意识到这场变革的安全厂商将在这场变革大潮中被抛弃。大数据正在为安全分析提供新的可能性,在未来的安全架构体系中,通过大数据智能分析有效的将原来分割的安全产品更好的融合起来,成为不同的安全智能节点,这将是在大数据时代安全产业需要研究突破的重点。
大数据安全未来趋势展望
据MacDonald预测,到2016年,40%的企业(银行、保险、医药和国防行业为主)将积极地对至少10TB数据进行分析,以找出潜在危险的活动。然而,供应商的产品格局却无法在短期内进行转变。现在,企业通常依赖于SIEM系统来关联和分析安全相关的数据,MacDonald表示目前的SIEM产品无法处理这么大的工作量,大多数SIEM产品提供接近实时数据,但只能处理规范化数据,还有些SIEM产品能够处理大量原始交易数据,但无法提供实时情报信息。
Gartner公司分析师表示,使用“大数据”来提高企业信息安全不完全是炒作,这在未来几年内这将成为现实。大数据将为安全团队带来新的工作方式,通过了解大数据的优势、制定切合实际的目标以及利用现有安全技术的优势,安全管理人员将会发现他们在大数据进行的投资是值得的。
RSA大中国区总经理胡军表示,“大数据将带动安全行业方向性的改变,安全与数据互相影响,未来共同促进发展。现今的安全需要更全面和广泛的可视性,敏捷的分析,可采取行动的情报和可扩展的基础设施。”
我们可以看到,大数据安全已经成为不可阻挡的趋势。在未来,不论是从商业需求角度,还是产业技术角度,大数据安全都将成为业界关注的热点。而在这场大数据安全的盛宴中,也必然会出现新老更替、推陈出新,这一切就让我们拭目以待吧!
④ 大数据安全问题及应对思路研究
大数据安全问题及应对思路研究
随着互联网、物联网、云计算等技术的快速发展,全球数据量出现爆炸式增长。与此同时,云计算为这些海量的多样化数据提供了存储和运算平台,分布式计算等数据挖掘技术又使得大数据分析规律、研判趋势的能力大大增强。在大数据不断向各个行业渗透、深刻影响国家的政治、经济、民生和国防的同时,其安全问题也将对个人隐私、社会稳定和国家安全带来巨大的潜在威胁,如何应对面临巨大挑战。
一、大数据安全关键问题
随着数字化进程不断深入,大数据逐步渗透至金融、汽车、制造、医疗等各个传统行业,甚至到社会生活的每个角落,大数据安全问题影响也日益增大。
(一)国家数据资源大量流失。互联网海量数据的跨境流动,加剧了大数据作为国家战略资源的大量流失,全世界的各类海量数据正在不断汇总到美国,短期内还看不到转变的迹象。随着未来大数据的广泛应用,涉及国家安全的政府和公用事业领域的大量数据资源也将进一步开放,但目前由于相关配套法律法规和监管机制尚不健全,极有可能造成国家关键数据资源的流失。
(二)大数据环境下用户隐私安全威胁严重。随着大数据挖掘分析技术的不断发展,个人隐私保护和数据安全变得非常紧迫。一是大数据环境下人们对个人信息的控制权明显下降,导致个人数据能够被广泛、详实的收集和分析。二是大数据被应用于攻击手段,黑客可最大限度地收集更多有用信息,为发起攻击做准备,大数据分析让黑客的攻击更精准。三是随着大数据技术发展,更多信息可以用于个人身份识别,个人身份识别信息的范围界定困难,隐私保护的数据范围变得模糊。四是以往建立在“目的明确、事先同意、使用限制”等原则之上的个人信息保护制度,在大数据场景下变得越来越难以操作。
(三)基于大数据挖掘技术的国家安全威胁日益严重。大数据时代美国情报机构已抢占先机,美国通过遍布在全球的国安局监听机构如地面卫星站、国内监听站、海外监听站等采集各种信息,对采集到的海量数据进行快速预处理、解密还原、分析比对、深度挖掘,并生成相关情报,供上层决策。2013年6月底,美中情局前雇员斯诺登爆料,美国情报机关通过思科路由器对中国内地移动运营商、中国教育和科研计算机网等骨干网络实施长达4年之久的长期监控,以获取网内海量短信数据和流量数据。
(四)基础设施安全防护能力不足引发数据资产失控。一是基础通信网络关键产品缺乏自主可控,成为大数据安全缺口。我国运营企业网络中,国外厂商设备的现网存量很大,国外产品存在原生性后门等隐患,一旦被远程利用,大量数据信息存在被窃取的安全风险。二是我国大数据安全保障体系不健全,防御手段能力建设处于起步阶段,尚未建立起针对境外网络数据和流量的监测分析机制,对棱镜监听等深层次、复杂、高隐蔽性的安全威胁难以有效防御、发现和处置。
二、国外大数据安全相关举措及我国应对思路
目前世界各国均通过出台国家战略、促进数据融合与开放、加大资金投入等推动大数据应用。相比之下,各国在涉及大数据安全方面的保障举措则起刚刚起步,主要集中在通过立法加强对隐私数据的保护。德国在2009年对《联邦数据保护法》进行修改并生效,约束范围包括互联网等电子通信领域,旨在防止因个人信息泄露导致的侵犯隐私行为;印度在2012年批准国家数据共享和开放政策的同时,通过拟定非共享数据清单以保护涉及国家安全、公民隐私、商业秘密和知识产权等数据信息;美国在2014年5月发布《大数据:把握机遇,守护价值》白皮书表示,在大数据发挥正面价值的同时,应该警惕大数据应用对隐私、公平等长远价值带来的负面影响,建议推进消费者隐私法案、通过全国数据泄露立法、修订电子通信隐私法案等。
我国在布局、鼓励和推动大数据发展应用的同时,也应提早谋划、积极应对大数据带来的安全挑战,从战略制定、法律法规、基础设施防护等方面应对大数据安全问题。
(一)将大数据资源保护上升为国家战略,建立分级分类安全管理机制。一是把数据资源视为国家战略资源,将大数据资源保护纳入到国家网络空间安全战略框架中,构建大数据环境下的信息安全体系,提高应急处置能力和安全防范能力,提升服务能力和运作效率。二是通过国家层面的战略布局,明确大数据资源保护的整体规划和近远期重点工作。三是对国内大数据资源按实施分级分类安全保护思路,保障数据安全、可靠,积极开展大数据安全风险评估工作,针对不同级别大数据特点加强安全防范。五是尽快制定不同级别的大数据采集、存储、备份、迁移、处理和发布等关键环节的安全规范和标准,配套完善相应的监管措施。
(二)完善法律法规,加大个人信息保护监管力度。一是积极推动个人信息保护法律的立法工作,探索通过技术标准、行业自律等手段解决法律出台前的个人信息保护问题。加快《网络安全法》的出台,在《网络安全法》中对电信和互联网行业用户信息保护作出明确法律界定,为相关工作开展提供法律依据。二是加强对个人隐私保护的行政监管,同时要加大对侵害个人隐私行为的打击力度,建立对个人隐私保护的测评机制,推动大数据行业的自律和监督。
(三)加强国家信息基础设施保护,提升大数据安全保障与防范能力。一是促进技术研究和创新,通过加大财政支持力度,激励关系国家安全和稳定的政府和国有企事业单位采用安全可控的产品,提升我国基础设施关键设备的安全可控水平。二是加强大数据信息安全系统建设,针对大数据的收集、处理、分析、挖掘等过程设计与配置相应的安全产品,并组成统一的、可管控的安全系统,推动建立国家级、企业级的网络个人信息保护态势感知、监控预警、测评认证平台。三是充分利用大数据技术应对网络攻击,通过大数据处理技术实现对网络异常行为的识别和分析,基于大数据分析的智能驱动型安全模型,把被动的事后分析变成主动的事前防御;基于大数据的网络攻击追踪,实现对网络攻击行为的溯源。
以上是小编为大家分享的关于大数据安全问题及应对思路研究的相关内容,更多信息可以关注环球青藤分享更多干货
⑤ 如何应对大数据时代的变革机遇挑战
大数据搭着信息时代的快车来到了我们的面前,数据的价值逐渐为人们所重视,同时也让数据分析师的身价倍增。而随着大数据分析工具等大数据应用技术的出现,未来的数据分析师又将遇到怎样的挑战和机遇呢?
工具抢了人的饭碗?
很多大数据分析工具的设计起点非常高,定位了数据分析过程中所需要的大部分功能。很多工具的功能涵盖了从数据前期整合、收集到挖掘、分析乃至末端的数据可视化的整个数据分析过程,功能不可谓不强大。
但如果仅凭这些就认定大数据分析工具能取代数据分析师,未免有些杞人忧天了。恰恰相反,大数据分析工具不是数据分析师的竞争者,而是协助者。工具本来就是为人服务的,数据分析师的专业素养让其能很好的发挥大数据分析工具的性能,二者相辅相成,是友非敌。
企业的支持
虽然大数据的概念已经普及,但是很多企业还是留存有一些传统的观念。很多企业虽然重金聘用了数据分析师甚至是组建了数据分析师团队,但是却并没有建立完善的数据价值体系。对数据分析工作缺乏理解与支持。
相对于数据管理,数据分析工的工作重心还应该放在“挖掘数据价值”上。企业与数据分析师直接缺少职能的沟通,将直接影响企业对数据分析师工作性质的定位;同时,企业应该建立数据库并部署大数据分析工具,为了能更好地对接用户,也为企业和数据分析师留有足够的空间。
从幕后到台前的转变
以往的业务人员经常要磨破嘴皮才能得到别人的认同,而现在许多企业正在考虑让数据分析师带着数据分析结果去谈业务。打算以“让数据说话,以数据服人”去赢得客户的信任。而主要的实施过程,是靠数据可视化技术来实现的。
数据可视化技术让数据能以图表和视频的方式直观地展示在人们面前,而数据分析师作为数据的管理者和挖掘者,是最适合不过的讲解人了。这样就要求数据分析师不仅要有扎实的数据分析能力,还要能提取数据精髓,并将之演讲出来以获得他人的认同。从幕后转到台前,这里面会需要许多技能,数据分析师的工作性质也将发生改变。
在大数据时代,数据分析师所扮演的角色不可能是一成不变的。而只有顺应时代的潮流,响应时代的需要,数据分析师这个行业才能继续生存并发展。其实,大数据分析工具,数据可视化这些技术的出现固然使行业受到了影响与挑战,但对于数据分析师来说,未尝不是一次摆脱传统束缚的机遇!
⑥ 大数据技术的出现给地理信息系统带来哪些机遇和挑战
机遇是,通过结合大数据,gis可以更好地研究区域的时空变化,以及全国乃至全球的时空变化,也可以研究多指标耦合影响下的时空变化。挑战就是,技术可能更难实现。