1. 保护大数据安全的10个要点
一项对2021年数据泄露的分析显示,总共有50亿份数据被泄露,这对所有参与大数据管道工作的人来说,从开发人员到DevOps工程师,安全性与基础业务需求同等重要。
大数据安全是指在存储、处理和分析过于庞大和复杂的数据集时,采用任何措施来保护数据免受恶意活动的侵害,传统数据库应用程序无法处理这些数据集。大数据可以混合结构化格式(组织成包含数字、日期等的行和列)或非结构化格式(社交媒体数据、PDF 文件、电子邮件、图像等)。不过,估计显示高达90%的大数据是非结构化的。
大数据的魅力在于,它通常包含一些隐藏的洞察力,可以改善业务流程,推动创新,或揭示未知的市场趋势。由于分析这些信息的工作负载通常会将敏感的客户数据或专有数据与第三方数据源结合起来,因此数据安全性至关重要。声誉受损和巨额经济损失是大数据泄露和数据被破坏的两大主要后果。
在确保大数据安全时,需要考虑三个关键阶段:
当数据从源位置移动到存储或实时摄取(通常在云中)时,确保数据的传输
保护大数据管道的存储层中的数据(例如Hadoop分布式文件系统)
确保输出数据的机密性,例如报告和仪表板,这些数据包含通过Apache Spark等分析引擎运行数据收集的情报
这些环境中的安全威胁类型包括不适当的访问控制、分布式拒绝服务(DDoS)攻击、产生虚假或恶意数据的端点,或在大数据工作期间使用的库、框架和应用程序的漏洞。
由于所涉及的架构和环境复杂性,大数据安全面临着许多挑战。在大数据环境中,不同的硬件和技术在分布式计算环境中相互作用。比如:
像Hadoop这样的开源框架在设计之初并没有考虑到安全性
依赖分布式计算来处理这些大型数据集意味着有更多的系统可能出错
确保从端点收集的日志或事件数据的有效性和真实性
控制内部人员对数据挖掘工具的访问,监控可疑行为
运行标准安全审计的困难
保护非关系NoSQL数据库
这些挑战是对保护任何类型数据的常见挑战的补充。
静态数据和传输中数据的可扩展加密对于跨大数据管道实施至关重要。可扩展性是这里的关键点,因为除了NoSQL等存储格式之外,需要跨分析工具集及其输出加密数据。加密的作用在于,即使威胁者设法拦截数据包或访问敏感文件,实施良好的加密过程也会使数据不可读。
获得访问控制权可针对一系列大数据安全问题提供强大的保护,例如内部威胁和特权过剩。基于角色的访问可以帮助控制对大数据管道多层的访问。例如,数据分析师可以访问分析工具,但他们可能不应该访问大数据开发人员使用的工具,如ETL软件。最小权限原则是访问控制的一个很好的参考点,它限制了对执行用户任务所必需的工具和数据的访问。
大数据工作负载所需要的固有的大存储容量和处理能力使得大多数企业可以为大数据使用云计算基础设施和服务。但是,尽管云计算很有吸引力,暴露的API密钥、令牌和错误配置都是云中值得认真对待的风险。如果有人让S3中的AWS数据湖完全开放,并且对互联网上的任何人都可以访问,那会怎么样?有了自动扫描工具,可以快速扫描公共云资产以寻找安全盲点,从而更容易降低这些风险。
在复杂的大数据生态系统中,加密的安全性需要一种集中的密钥管理方法,以确保对加密密钥进行有效的策略驱动处理。集中式密钥管理还可以控制从创建到密钥轮换的密钥治理。对于在云中运行大数据工作负载的企业,自带密钥 (BYOK) 可能是允许集中密钥管理而不将加密密钥创建和管理的控制权交给第三方云提供商的最佳选择。
在大数据管道中,由于数据来自许多不同的来源,包括来自社交媒体平台的流数据和来自用户终端的数据,因此会有持续的流量。网络流量分析提供了对网络流量和任何潜在异常的可见性,例如来自物联网设备的恶意数据或正在使用的未加密通信协议。
2021年的一份报告发现,98%的组织感到容易受到内部攻击。在大数据的背景下,内部威胁对敏感公司信息的机密性构成严重风险。有权访问分析报告和仪表板的恶意内部人员可能会向竞争对手透露见解,甚至提供他们的登录凭据进行销售。从内部威胁检测开始的一个好地方是检查常见业务应用程序的日志,例如 RDP、VPN、Active Directory 和端点。这些日志可以揭示值得调查的异常情况,例如意外的数据下载或异常的登录时间。
威胁搜寻主动搜索潜伏在您的网络中未被发现的威胁。这个过程需要经验丰富的网络安全分析师的技能组合,利用来自现实世界的攻击、威胁活动的情报或来自不同安全工具的相关发现来制定关于潜在威胁的假设。具有讽刺意味的是,大数据实际上可以通过发现大量安全数据中隐藏的洞察力来帮助改进威胁追踪工作。但作为提高大数据安全性的一种方式,威胁搜寻会监控数据集和基础设施,以寻找表明大数据环境受到威胁的工件。
出于安全目的监视大数据日志和工具会产生大量信息,这些信息通常最终形成安全信息和事件管理(SIEM)解决方案。
用户行为分析比内部威胁检测更进一步,它提供了专门的工具集来监控用户在与其交互的系统上的行为。通常情况下,行为分析使用一个评分系统来创建正常用户、应用程序和设备行为的基线,然后在这些基线出现偏差时进行提醒。通过用户行为分析,可以更好地检测威胁大数据环境中资产的保密性、完整性或可用性的内部威胁和受损的用户帐户。
未经授权的数据传输的前景让安全领导者彻夜难眠,特别是如果数据泄露发生在可以复制大量潜在敏感资产的大数据管道中。检测数据泄露需要对出站流量、IP地址和流量进行深入监控。防止数据泄露首先来自于在代码和错误配置中发现有害安全错误的工具,以及数据丢失预防和下一代防火墙。另一个重要方面是在企业内进行教育和提高认识。
框架、库、软件实用程序、数据摄取、分析工具和自定义应用程序——大数据安全始于代码级别。 无论是否实施了上述公认的安全实践,代码中的安全缺陷都可能导致数据泄漏。 通过在软件开发生命周期中检测自研代码及开源组件成分的安全性,加强软件安全性来防止数据丢失。
2. 大数据安全面临哪些风险及如何防护
现如今大数据已经逐渐改变了我们的生活方式,成为必不可少的存在,在我们享野首受大数据给我们带来的便利时,安全性无论对于企业还是个人都是必须要解决的重大课题。
总结大数据面临的三大风险问题如下
1.个人隐私问题凸显
例如大数据中的精准营销定位功能,通常是依赖于高度采集个人信息,通过多种关联技术分析来实现信息推广,精准营销。企业会掌握用户大量的数据,不排除隐私部分的敏感数据,一旦服务器遭到不法分子攻击导致数据泄露,很可能危及用户的隐私、财产甚至是人身安全。
2.数据准确与权威性
大数据通过各种渠道获取大量数据进行计算分析,企业通常直接通过分析结果进行支持决策,有时候企业只看结果,却忽略了源头数据的准确性,不准确的数据直接影响大数据分析的结果和企业的利益,错误的指导会对企业带来一定的风险与损失。
3.基础设施维护压力
数据量越大,对基础设施的性能要求就越高,同样对于网络的安全、恢复、防范依赖性就越强,一定程度上对企业设施安全的维护造成了压力,基础设施建设不完善、维护不到位,抱有没出问题就得过且过的态度,时刻面临被攻击的危险可能。
针对上述问题的防护措施如下
1.对用户早脊哗而言
虽然在互联网时代下要完全保护自己的隐私是比较困难的,但也要加强自身信息的防范意识。注册账号时,遵循最少原则,不要随意泄露敏感信息,降陆行低隐私信息被泄露的危险;
2.对企业而言
加强数据安全管理,实现数据的治理与清洗,从源头保证数据的一致性、准确性。首先升级基础服务器环境,建立多重防护、多级互联体系结构,确保大数据处理环境可信度。其次全方位实时监控、审计、防护,防止敏感数据泄露、丢失,确保数据风险可控,并不断通过体系化的大数据安全评估,形成数据安全治理的闭环管理;
3.对政策而言
应该加强对数据信息的保护,对数据的使用进行一定的监管与限制,对非法盗用、滥用数据信息者严惩,之后加强对技术安全研发使用的推广与实施,保证数据安全,加强对数据治理的力度。
大数据时代的到来,可以为我们的生活带来切实的利益,行业的数据规范正在建立并逐步趋于完善,对于我们来说,既不要因为安全风险问题而排斥大数据,也不要疏忽于对个人/企业信息的保护,合理看待和利用大数据,让其发挥真正的价值。
3. 贵阳市大数据安全管理条例
第一章总 则第一条为了加强大数据安全管理,维护国家安全、社会公共利益,保护公民、法人和其他组织的合法权益,促进大数据发展应用,推动实施大数据战略,根据《中华人民共和国网络安全法》等有关法律法规的规定,结合本市实际,制定本条例。第二条本条例适用于本市行政区域内大数据发展应用中的安全保护、监督管理以及相关活动。
涉及国家秘密的大数据安全管理,按照有关保密法律法规的规定执行。
本条例所称大数据安全,是指大数据发展应用中,数据的所有者、管理者、使用者和服务提供者(以下简称安全责任单位)采取保护管理的策略和措施,防范数据伪造、泄露或者被窃取、篡改、非法使用等风险与危害的能力、状态和行动。
本条例所称大数据,是指以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,是对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。
本条例所称数据,是指通过计算机或者其他信息终端及相关设备组成的系统收集、存储、传输、处理和产生的各种电子化的信息。第三条实施大数据安全管理,应当坚持正确的网络安全观,遵循统一领导、政府管理、行业自律、社会监督、风险防控、权责统一、包容审慎、支持创新的原则。第四条市人民政府统一领导本市大数据安全管理工作。区(市、县)人民政府领导本辖区大数据安全管理工作。第五条市网信部门负责统筹协调全市大数据安全监督管理工作,组织开展全市关键信息基础设施监管等工作。区(市、县)网信部门按照职责负责综合协调本辖区大数据安全监督管理工作。
市公安机关负责开展大数据安全的等级保护、日常巡查、执法检查、信息通报、应急处置等监督管理工作。区(市、县)公安机关按照职责负责本辖区大数据安全监督管理工作。
市大数据主管部门统筹协调本市大数据安全保障体系建设。区(市、县)大数据主管部门按照职责负责本辖区大数据安全管理的相关工作。
保密、国家安全、密码管理、通信管理等主管部门按照各自职责,做好大数据安全管理的相关工作。第六条安全责任单位应当加强大数据安全能力建设,履行大数据安全保护职责,接受有关主管部门监督管理和社会监督。第七条县级以上人民政府以及网信、公安、大数据等主管部门和安全责任单位、大众传播媒介按照各自职责,做好大数据安全宣传教育工作。第八条市人民政府设立统一的大数据安全监管服务、投诉举报平台,建立相应的工作机制。
任何单位和个人都有权投诉举报危害大数据安全的行为;有关部门应当对投诉举报予以保密。第二章安全保障第九条安全责任单位应当根据职责明确、意图合规、质量保障、数据最小化、最小授权操作、分类分级保护和可审计的原则,采取有效措施保护数据的保密性、完整性、真实性、可控性、可靠性和可核查性。第十条安全责任单位的法定代表人或者主要负责人是本单位大数据安全的第一责任人。
安全责任单位应当根据数据的生命周期、规模、重要性和本单位的性质、类别、规模等因素,建立安全管理内控制度和支撑保障机制,明确安全管理负责人,落实不同岗位的安全管理职责;关键信息基础设施的运营者还应当设置专门安全管理机构。第十一条安全责任单位应当根据数据类型、级别、敏感程度以及数据安全能力成熟度等要求,制定安全规则、管理规范和操作规程,采取相应的安全管理策略、管理措施和技术手段实施有效管理。第十二条安全责任单位应当按照大数据安全等级保护要求进行系统安全功能配置,制定实施系统配置技术管理规程、软件采购使用限制策略和外部组件使用安全策略,规定配置管理的审批、操作流程,提供符合规范标准的管理与服务,对系统重要配置进行及时更新。第十三条安全责任单位应当制定完善访问控制策略,采取授权访问、身份认证等技术措施,防止未经授权查询、复制、修改或者传输数据。对个人信息和重要数据实行加密等安全保护,对涉及国家安全、社会公共利益、商业秘密、个人信息的数据依法进行脱敏脱密处理。第十四条安全责任单位应当建立大数据安全审计制度,规定审计工作流程,记录并保存数据分类、采集、清洗、转换、加载、传输、存储、复制、备份、恢复、查询和销毁等操作过程,定期进行安全审计分析。
4. 贵州省大数据安全保障条例
第一章总 则第一条为了保障大数据安全和个人信息安全,明确大数据安全责任,促进大数据发展应用,根据《中华人民共和国网络安全法》和有关法律、法规的规定,结合本省实际,制定本条例。第二条本省行政区域内大数据安全保障及相关活动,应当遵守本条例。
涉及国家秘密的大数据安全保障,还应当遵守《中华人民共和国保守国家秘密法》等法律、法规的规定。第三条本条例所称大数据安全保障,是指采取预防、管理、处置等策略和措施,防范大数据被攻击、侵入、干扰、破坏、窃取、篡改、删除和非法使用以及意外事故,保障大数据的真实性、完整性、有效性、保密性、可控性并处于安全状态的活动。
本条例所称大数据是指以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,是对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。
本条例所称大数据安全责任人,是指在大数据全生命周期过程中对大数据安全产生或者可能产生影响的单位和个人,包括大数据所有人、持有人、管理人、使用人以及其他从事大数据采集、存储、清洗、开发、应用、交易、服务等的单位和个人。第四条大数据安全保障工作坚持总体国家安全观,树立正确的网络安全观,按照政府主导、责任人主体,统筹规划、突出重点,预防为主、综合治理,包容审慎、支持创新,安全与发展、监管与利用并重的原则,维护大数据总体和动态安全。第五条大数据安全保障工作应当围绕国家大数据战略和省大数据战略行动实施,建立健全大数据安全管理制度,建设大数据安全地方标准体系、大数据安全测评体系、大数据安全保障体系等,采取大数据安全攻防演练等安全保障措施,推动大数据安全技术、制度、管理创新和发展。第六条省人民政府负责全省大数据安全保障工作,市、州和县级人民政府负责本行政区域内大数据安全保障工作。
开发区、新区管理机构根据设立开发区、新区的人民政府的授权,负责本辖区大数据安全保障的具体工作。第七条县级以上有关部门按照下列规定,履行大数据安全保障职责:
(一)网信部门负责统筹协调、检查指导和相关监督管理等工作;
(二)公安机关负责安全保护和管理、风险评估、监测预警、应急处置和违法行为查处等监督管理工作;
(三)大数据发展管理部门负责与大数据安全相关的数据管理、产业发展、技术应用等工作;
(四)通信管理部门负责电信网、公共互联网运行安全监督管理等工作;
(五)保密行政管理部门负责保密监督管理等工作;
(六)密码管理部门负责密码监督管理等工作;
(七)其他部门按照有关法律、法规的规定和各自职责做好大数据安全保障工作。第八条省人民政府应当根据大数据发展应用总体规划,编制大数据安全保障规划;网信、公安、大数据发展管理等部门应当根据大数据安全保障规划,编制本部门、本行业大数据安全保障专项规划。第九条县级以上人民政府应当建立大数据安全保障工作领导协调机制和责任机制,协调和指导本行政区域内大数据安全保障有关事项。
公安机关应当按照网络安全等级保护要求,会同有关部门制定大数据风险测评、应急防范等安全制度,加强对大数据安全技术、设备和服务提供商的风险评估和安全管理。第十条任何单位和个人都有维护大数据安全的义务,不得从事危害大数据安全的活动,不得利用大数据从事危害国家安全以及损害国家利益、社会公共利益和他人合法权益的活动。
对危害大数据安全或者利用大数据从事违法犯罪活动的行为,任何单位和个人都有权劝阻、制止、投诉、举报。收到投诉举报的部门应当依法及时查处,保护举报人的合法权益;不属于本部门职责的,应当及时移送有权处理的部门。第十一条鼓励开展大数据安全知识宣传普及、教育培训,增强全社会大数据安全意识,提高大数据安全风险防范能力。第十二条鼓励、支持成立大数据安全联盟、行业协会等社会组织,开展行业自律、交流合作和安全技术研究等大数据安全工作。第二章安全责任第十三条实行大数据安全责任制,保障大数据全生命周期安全。
大数据安全责任,按照谁所有谁负责、谁持有谁负责、谁管理谁负责、谁使用谁负责以及谁采集谁负责的原则确定。
大数据基于复制、流通、交换等同时存在的多个安全责任人,分别承担各自安全责任。
5. 数据安全基础能力要求包括
数据安全基础能力要求包括如晌谈下:
1、基础安全要求:大数据服务提供者要创建大数据服务安全策略和规程,建立系统和数据资产清单、组织和人员岗位,形成满足大数据服务的元数据结构和符合业务流程的数据和系统供应链结构,以及符合法律法规和相关标准要求的大数据服宴做碰务基础安全能力要求。
大数据服务提供者应:
1、建立数据资产安全管理规范,明确大数据服务相关数据资产的安全管理目标和安全原则。
2、建立数据资产分类分级方晌谈法和操作指南,以及数据资产分类分级的变更审批流程和机制。
3、建立数据资产组织和管理模式,制定数据资产登记制度,宴做碰明确数据资产管理相关方。
4、建立数据资产清单,明确数据资产管理范围和属性。
5、定期审核和更新数据资产安全管理相关的安全规范、管理制度等。
6. 大数据安全管理制度实行数据什么管理制度
首先员工的防泄密意识要培养起来,也要有相关的规章制度,起码入职时要进行防泄密方面的回规章和答行为培训,哪些行为是禁止的要明示,然后员工的上网行为和对重要文件的操作行为要规范,对于移动存储设备的接入要严格一些。