大数据面临问题研究

Ⅰ 大数据发展遇到的困境

大数据的理念已经被追捧多年，但是还远未达到人们想象的完全实用的程度。大数据的发展受阻主要表现在以下几个方面:

1.数据基础的缺失

大数据发展的前提条件是要有丰富的数据源，对于制造业，IT行业数据化程度比较高，虽然缺少资源共享和信息交换，但至少可以在公司内部探索和尝试。

但对于教育，医疗行业数据化程度还是远远落后于大数据时代的需求。单从患者的角度考虑，自己在各个医院的病例和居家检测的医学数据。如果将这些数据利用起来，就会遇到数据源不算，数据格式不统一，隐私问题等等。

2.数据孤岛之踵

不同的数据源独立存在，不能够互相共享，形成了一个个数据孤岛。

政府部门缺乏数据开放的动力，由于其掌握的数据有一定的敏感性而趋于保守态度。比如税务部门的个人纳税信息会涉及到个人隐私，公安部门的监控信息更是涉及到个人的人身安全问题。

各大企业不会随便开放自身有价值的数据，因为它有巨大的商业价值，也关系到企业的生死存亡。比如搜索引擎，谷歌的搜寻效果比其他的好，其实他们的技术差别不大。真正的差异是谷歌的数据量大，能够找到最佳的搜索策略。而其他的搜索引擎则相反，从而造成恶性循环。

即使没有商业竞争，企业也会尽量独占数据。比如航空公司的航班晚点，他不会提前通知，而会出于商业利益选择在乘客登记结束后广播通知。

3.难以突破创新的瓶颈

对于相应行业数据垄断的大企业，利用自身垄断地位阻碍创新使垄断地位更加坚固。搜索引擎就是一个很好的案例，还有某互联网公司利用资源优势模仿竞争对手的创新产品，并且挤垮对手。

4.个人隐私

个人信息越来越多的被别人掌握，我们既不能阻止，也不知道会产生怎样的后果。一方面，我们的虚拟世界和实际生活轨迹可以通过大数据洞察一切，预测我们的行为。另一方面，作为数据的主人，却不知道数据如何被记录，流向哪里，被谁利用，这个过程我们一无所知。

大数据的发展需要解决个人隐私问题。一方面不能被无限制的使用，每个人都有对个人隐私有知情权，拒绝的权利。另一方面需要将个人隐私数据找到安全，可靠的方法共享，这样大数据才能够发展。

5.其他方面

数据的泛滥，盲目的崇拜等

Ⅱ 大数据安全面临哪些风险及如何防护

现如今大数据已经逐渐改变了我们的生活方式，成为必不可少的存在，在我们享野首受大数据给我们带来的便利时，安全性无论对于企业还是个人都是必须要解决的重大课题。

总结大数据面临的三大风险问题如下

1.个人隐私问题凸显

例如大数据中的精准营销定位功能，通常是依赖于高度采集个人信息，通过多种关联技术分析来实现信息推广，精准营销。企业会掌握用户大量的数据，不排除隐私部分的敏感数据，一旦服务器遭到不法分子攻击导致数据泄露，很可能危及用户的隐私、财产甚至是人身安全。

2.数据准确与权威性

大数据通过各种渠道获取大量数据进行计算分析，企业通常直接通过分析结果进行支持决策，有时候企业只看结果，却忽略了源头数据的准确性，不准确的数据直接影响大数据分析的结果和企业的利益，错误的指导会对企业带来一定的风险与损失。

3.基础设施维护压力

数据量越大，对基础设施的性能要求就越高，同样对于网络的安全、恢复、防范依赖性就越强，一定程度上对企业设施安全的维护造成了压力，基础设施建设不完善、维护不到位，抱有没出问题就得过且过的态度，时刻面临被攻击的危险可能。

针对上述问题的防护措施如下

1.对用户早脊哗而言

虽然在互联网时代下要完全保护自己的隐私是比较困难的，但也要加强自身信息的防范意识。注册账号时，遵循最少原则，不要随意泄露敏感信息，降陆行低隐私信息被泄露的危险；

2.对企业而言

加强数据安全管理，实现数据的治理与清洗，从源头保证数据的一致性、准确性。首先升级基础服务器环境，建立多重防护、多级互联体系结构，确保大数据处理环境可信度。其次全方位实时监控、审计、防护，防止敏感数据泄露、丢失，确保数据风险可控，并不断通过体系化的大数据安全评估，形成数据安全治理的闭环管理；

3.对政策而言

应该加强对数据信息的保护，对数据的使用进行一定的监管与限制，对非法盗用、滥用数据信息者严惩，之后加强对技术安全研发使用的推广与实施，保证数据安全，加强对数据治理的力度。

大数据时代的到来，可以为我们的生活带来切实的利益，行业的数据规范正在建立并逐步趋于完善，对于我们来说，既不要因为安全风险问题而排斥大数据，也不要疏忽于对个人/企业信息的保护，合理看待和利用大数据，让其发挥真正的价值。

Ⅲ 大数据面行业发展面临哪些现实困境

1、大部分数据都是孤立的，与其他类型的数据隔离开来，无法进行宏观全面的分析。例如，财务数据很难与消费者数据轻松汇总，以获得关于特定客户行为对公司财务绩效影响的更深刻的见解。
2、很难足够快地处理大数据以使洞察有用。大多数类型的数据的价值都是短暂的，消费者今天所做的将在明天和后天发生改变。为了获得最大利益，企业需要能够快速提供行动指导的洞察，但大多数传统的数据库系统无法以必要的速度处理数据。
3、收集的大部分数据都被浪费掉了。负责在海量数据中寻找业务问题“答案”的业务分析师必须过滤掉不相关的数据，并找出可能存在答案的特定数据集。结果，估计有60%至73%的数据未提供价值。如今，另一个主要的数据来源正在推动潮流——物联网数据。物联网在许多方面加剧了数据问题，但它也提供了解决方案。

Ⅳ 大数据安全问题及应对思路研究

大数据安全问题及应对思路研究

随着互联网、物联网、云计算等技术的快速发展，全球数据量出现爆炸式增长。与此同时，云计算为这些海量的多样化数据提供了存储和运算平台，分布式计算等数据挖掘技术又使得大数据分析规律、研判趋势的能力大大增强。在大数据不断向各个行业渗透、深刻影响国家的政治、经济、民生和国防的同时，其安全问题也将对个人隐私、社会稳定和国家安全带来巨大的潜在威胁，如何应对面临巨大挑战。

一、大数据安全关键问题

随着数字化进程不断深入，大数据逐步渗透至金融、汽车、制造、医疗等各个传统行业，甚至到社会生活的每个角落，大数据安全问题影响也日益增大。

（一）国家数据资源大量流失。互联网海量数据的跨境流动，加剧了大数据作为国家战略资源的大量流失，全世界的各类海量数据正在不断汇总到美国，短期内还看不到转变的迹象。随着未来大数据的广泛应用，涉及国家安全的政府和公用事业领域的大量数据资源也将进一步开放，但目前由于相关配套法律法规和监管机制尚不健全，极有可能造成国家关键数据资源的流失。

（二）大数据环境下用户隐私安全威胁严重。随着大数据挖掘分析技术的不断发展，个人隐私保护和数据安全变得非常紧迫。一是大数据环境下人们对个人信息的控制权明显下降，导致个人数据能够被广泛、详实的收集和分析。二是大数据被应用于攻击手段，黑客可最大限度地收集更多有用信息，为发起攻击做准备，大数据分析让黑客的攻击更精准。三是随着大数据技术发展，更多信息可以用于个人身份识别，个人身份识别信息的范围界定困难，隐私保护的数据范围变得模糊。四是以往建立在“目的明确、事先同意、使用限制”等原则之上的个人信息保护制度，在大数据场景下变得越来越难以操作。

（三）基于大数据挖掘技术的国家安全威胁日益严重。大数据时代美国情报机构已抢占先机，美国通过遍布在全球的国安局监听机构如地面卫星站、国内监听站、海外监听站等采集各种信息，对采集到的海量数据进行快速预处理、解密还原、分析比对、深度挖掘，并生成相关情报，供上层决策。2013年6月底，美中情局前雇员斯诺登爆料，美国情报机关通过思科路由器对中国内地移动运营商、中国教育和科研计算机网等骨干网络实施长达4年之久的长期监控，以获取网内海量短信数据和流量数据。

（四）基础设施安全防护能力不足引发数据资产失控。一是基础通信网络关键产品缺乏自主可控，成为大数据安全缺口。我国运营企业网络中，国外厂商设备的现网存量很大，国外产品存在原生性后门等隐患，一旦被远程利用，大量数据信息存在被窃取的安全风险。二是我国大数据安全保障体系不健全，防御手段能力建设处于起步阶段，尚未建立起针对境外网络数据和流量的监测分析机制，对棱镜监听等深层次、复杂、高隐蔽性的安全威胁难以有效防御、发现和处置。

二、国外大数据安全相关举措及我国应对思路

目前世界各国均通过出台国家战略、促进数据融合与开放、加大资金投入等推动大数据应用。相比之下，各国在涉及大数据安全方面的保障举措则起刚刚起步，主要集中在通过立法加强对隐私数据的保护。德国在2009年对《联邦数据保护法》进行修改并生效，约束范围包括互联网等电子通信领域，旨在防止因个人信息泄露导致的侵犯隐私行为；印度在2012年批准国家数据共享和开放政策的同时，通过拟定非共享数据清单以保护涉及国家安全、公民隐私、商业秘密和知识产权等数据信息；美国在2014年5月发布《大数据：把握机遇，守护价值》白皮书表示，在大数据发挥正面价值的同时，应该警惕大数据应用对隐私、公平等长远价值带来的负面影响，建议推进消费者隐私法案、通过全国数据泄露立法、修订电子通信隐私法案等。

我国在布局、鼓励和推动大数据发展应用的同时，也应提早谋划、积极应对大数据带来的安全挑战，从战略制定、法律法规、基础设施防护等方面应对大数据安全问题。

（一）将大数据资源保护上升为国家战略，建立分级分类安全管理机制。一是把数据资源视为国家战略资源，将大数据资源保护纳入到国家网络空间安全战略框架中，构建大数据环境下的信息安全体系，提高应急处置能力和安全防范能力，提升服务能力和运作效率。二是通过国家层面的战略布局，明确大数据资源保护的整体规划和近远期重点工作。三是对国内大数据资源按实施分级分类安全保护思路，保障数据安全、可靠，积极开展大数据安全风险评估工作，针对不同级别大数据特点加强安全防范。五是尽快制定不同级别的大数据采集、存储、备份、迁移、处理和发布等关键环节的安全规范和标准，配套完善相应的监管措施。

（二）完善法律法规，加大个人信息保护监管力度。一是积极推动个人信息保护法律的立法工作，探索通过技术标准、行业自律等手段解决法律出台前的个人信息保护问题。加快《网络安全法》的出台，在《网络安全法》中对电信和互联网行业用户信息保护作出明确法律界定，为相关工作开展提供法律依据。二是加强对个人隐私保护的行政监管，同时要加大对侵害个人隐私行为的打击力度，建立对个人隐私保护的测评机制，推动大数据行业的自律和监督。

（三）加强国家信息基础设施保护，提升大数据安全保障与防范能力。一是促进技术研究和创新，通过加大财政支持力度，激励关系国家安全和稳定的政府和国有企事业单位采用安全可控的产品，提升我国基础设施关键设备的安全可控水平。二是加强大数据信息安全系统建设，针对大数据的收集、处理、分析、挖掘等过程设计与配置相应的安全产品，并组成统一的、可管控的安全系统，推动建立国家级、企业级的网络个人信息保护态势感知、监控预警、测评认证平台。三是充分利用大数据技术应对网络攻击，通过大数据处理技术实现对网络异常行为的识别和分析，基于大数据分析的智能驱动型安全模型，把被动的事后分析变成主动的事前防御；基于大数据的网络攻击追踪，实现对网络攻击行为的溯源。

以上是小编为大家分享的关于大数据安全问题及应对思路研究的相关内容，更多信息可以关注环球青藤分享更多干货

Ⅳ 大数据会带来哪些问题

一、分布式系统

大数据解决方案将数据和操作分布在许多系统中，以实现更快的处理和分析。这种分布式系统可以平衡负载，避免单点故障。但是这样的系统容易受到安全威胁，黑客只要攻击一个点就可以渗透整个网络。

二.数据存取

大数据系统需要访问控制来限制对敏感数据的访问，否则，任何用户都可以访问机密数据，有些用户可能会出于恶意使用。此外，网络犯罪分子可以入侵与大数据系统相连的系统，窃取敏感数据。因此，使用大数据的公司需要检查和验证每个用户的身份。

三.数据不正确

网络犯罪分子可以通过操纵存储的数据来影响大数据系统的准确性。因此，网络犯罪分子可以创建虚假数据，并将这些数据提供给大数据系统。比如医疗机构可以利用大数据系统研究患者的病历，而黑客可以修改这些数据，产生不正确的诊断结果。

四.侵犯隐私

大数据系统通常包含机密数据，这是很多人非常关心的问题。这样的大数据隐私威胁已经被全世界的专家讨论过了。此外，网络犯罪分子经常攻击大数据系统以破坏敏感数据。这种数据泄露已经成为头条新闻，导致数百万人的敏感数据被盗。

五、云安全性不足

大数据系统收集的数据通常存储在云中，这可能是一个潜在的安全威胁。网络犯罪分子破坏了许多知名公司的云数据。如果存储的数据没有加密，并且没有适当的数据安全性，就会出现这些问题。

Ⅵ 腾讯与清华大学牵手大数据科研，大数据研究的难题有哪些

据媒体报道，2021年5月18日腾讯与清华大学签署卫生健康大数据科研，并表示未来将紧密合作从理论、技术、政策等多维度展开创新性研究。此消息在社交平台上引起了网民们的广泛关注与讨论。

部分网民们认为，当前我们已经步入了风险社会，所谓风险社会即是预知以及不可预知的风险交织在我们的社会之中，而未来通过大数据来介入公共卫生治理定有大成效；也有部分网民认为当前的全民健康管理以及重大公共卫生挑战需要有大数据的帮助。而笔者以下想讲一下大数据研究的难题有哪些？并想针对此讲讲自己的看法。

而在信息生态方面，当前为应对在公共卫生方面的种种挑战，各部门已经正在试图建构公共卫生分析系统以预防未来的公共卫生挑战。但是其中的一个问题是如何通过大数据研究来建设一个完整且闭合的大数据信息生态。

Ⅶ 大数据面临哪些安全与隐私问题

(一)大数据遭受异常流量攻击
大数据所存储的数据非常巨大，往往采用分布式的方式进行存储，而正是由于这种存储方式，存储的路径视图相对清晰，而数据量过大，导致数据保护，相对简单，黑客较为轻易利用相关漏洞，实施不法操作，造成安全问题。由于大数据环境下终端用户非常多，且受众类型较多，对客户身份的认证环节需要耗费大量处理能力。由于APT攻击具有很强的针对性，且攻击时间长，一旦攻击成功，大数据分析平台输出的最终数据均会被获取，容易造成的较大的信息安全隐患。
(二)大数据信息泄露风险
大数据平台的信息泄露风险在对大数据进行数据采集和信息挖掘的时候，要注重用户隐私数据的安全问题，在不泄露用户隐私数据的前提下进行数据挖掘。需要考虑的是在分布计算的信息传输和数据交换时保证各个存储点内的用户隐私数据不被非法泄露和使用是当前大数据背景下信息安全的主要问题。同时，当前的大数据数据量并不是固定的，而是在应用过程中动态增加的，但是，传统的数据隐私保护技术大多是针对静态数据的，所以，如何有效地应对大数据动态数据属性和表现形式的数据隐私保护也是要注重的安全问题。最后，大数据的数据远比传统数据复杂，现有的敏感数据的隐私保护是否能够满足大数据复杂的数据信息也是应该考虑的安全问题。
(三)大数据传输过程中的安全隐患
数据生命周期安全问题。伴随着大数据传输技术和应用的快速发展，在大数据传输生命周期的各个阶段、各个环节，越来越多的安全隐患逐渐暴露出来。比如，大数据传输环节，除了存在泄漏、篡改等风险外，还可能被数据流攻击者利用，数据在传播中可能出现逐步失真等。又如，大数据传输处理环节，除数据非授权使用和被破坏的风险外，由于大数据传输的异构、多源、关联等特点，即使多个数据集各自脱敏处理，数据集仍然存在因关联分析而造成个人信息泄漏的风险。
基础设施安全问题。作为大数据传输汇集的主要载体和基础设施，云计算为大数据传输提供了存储场所、访问通道、虚拟化的数据处理空间。因此，云平台中存储数据的安全问题也成为阻碍大数据传输发展的主要因素。
个人隐私安全问题。在现有隐私保护法规不健全、隐私保护技术不完善的条件下，互联网上的个人隐私泄露失去管控，微信、微博、QQ等社交软件掌握着用户的社会关系，监控系统记录着人们的聊天、上网、出行记录，网上支付、购物网站记录着人们的消费行为。但在大数据传输时代，人们面临的威胁不仅限于个人隐私泄露，还在于基于大数据传输对人的状态和行为的预测。近年来，国内多省社保系统个人信息泄露、12306账号信息泄露等大数据传输安全事件表明，大数据传输未被妥善处理会对用户隐私造成极大的侵害。因此，在大数据传输环境下，如何管理好数据，在保证数据使用效益的同时保护个人隐私，是大数据传输时代面临的巨大挑战之一。
(四)大数据的存储管理风险
大数据的数据类型和数据结构是传统数据不能比拟的，在大数据的存储平台上，数据量是非线性甚至是指数级的速度增长的，各种类型和各种结构的数据进行数据存储，势必会引发多种应用进程的并发且频繁无序的运行，极易造成数据存储错位和数据管理混乱，为大数据存储和后期的处理带来安全隐患。当前的数据存储管理系统，能否满足大数据背景下的海量数据的数据存储需求，还有待考验。不过，如果数据管理系统没有相应的安全机制升级，出现问题后则为时已晚。

Ⅷ 盘点2021年大数据分析常见的5大难点！

2021年已经到来，现在是深入研究大数据分析面临的挑战的时候了，需要调查其根本原因，本文重点介绍了解决这些问题的潜在解决方案。

1、解决方案无法提供新见解或及时的见解

（1）数据不足

有些组织可能由于分析数据不足，无法生成新的见解。在这种情况下，可以进行数据审核，并确保现有数据集成提供所需的见解。新数据源的集成也可以消除数据的缺乏。还需要检查原始数据是如何进入系统的，并确保所有可能的维度和指标均已经公开并进行分析。最后，数据存储的多样性也可能是一个问题。可以通过引入数据湖来解决这一问题。

（2）数据响应慢

当组织需要实时接收见解时，通常会发生这种情况，但是其系统是为批处理而设计的。因此有些数据现在仍无法使用，因为它们仍在收集或预处理中。

检查组织的ETL(提取、转换、加载)是否能够根据更频繁的计划来处理数据。在某些情况下，批处理驱动的解决方案可以将计划调整提高两倍。

（3）新系统采用旧方法

虽然组织采用了新系统。但是通过原有的办法很难获得更好的答案。这主要是一个业务问题，并且针对这一问题的解决方案因情况而异。最好的方法是咨询行业专家，行业专家在分析方法方面拥有丰富经验，并且了解其业务领域。

2、不准确的分析

（1）源数据质量差

如果组织的系统依赖于有缺陷、错误或不完整的数据，那么获得的结果将会很糟糕。数据质量管理和涵盖ETL过程每个阶段的强制性数据验证过程，可以帮助确保不同级别(语法、语义、业务等)的传入数据的质量。它使组织能够识别并清除错误，并确保对某个区域的修改立即显示出来，从而使数据纯净而准确。

（2）与数据流有关的系统缺陷

过对开发生命周期进行高质量的测试和验证，可以减少此类问题的发生，从而最大程度地减少数据处理问题。即使使用高质量数据，组织的分析也可能会提供不准确的结果。在这种情况下，有必要对系统进行详细检查，并检查数据处理算法的实施是否无故障

3、在复杂的环境中使用数据分析

（1）数据可视化显示凌乱

如果组织的报告复杂程度太高。这很耗时或很难找到必要的信息。可以通过聘请用户界面(UI)/用户体验(UX)专家来解决此问题，这将帮助组织创建引人注目的用户界面，该界面易于浏览和使用。

（2）系统设计过度

数据分析系统处理的场景很多，并且为组织提供了比其需要还要多的功能，从而模糊了重点。这也会消耗更多的硬件资源，并增加成本。因此，用户只能使用部分功能，其他的一些功能有些浪费，并且其解决方案过于复杂。

确定多余的功能对于组织很重要。使组织的团队定义关键指标：希望可以准确地测量和分析什么，经常使用哪些功能以及关注点是什么。然后摒弃所有不必要的功能。让业务领域的专家来帮助组织进行数据分析也是一个很好的选择。

4、系统响应时间长

（1）数据组织效率低下

也许组织的数据组织起来非常困难。最好检查其数据仓库是否根据所需的用例和方案进行设计。如果不是这样，重新设计肯定会有所帮助。

（2）大数据分析基础设施和资源利用问题

问题可能出在系统本身，这意味着它已达到其可扩展性极限，也可能是组织的硬件基础设施不再足够。

这里最简单的解决方案是升级，即为系统添加更多计算资源。只要它能在可承受的预算范围内帮助改善系统响应，并且只要资源得到合理利用就很好。从战略角度来看，更明智的方法是将系统拆分为单独的组件，并对其进行独立扩展。但是需要记住的是，这可能需要对系统重新设计并进行额外的投资。

5、维护成本昂贵

（1）过时的技术

组织最好的解决办法是采用新技术。从长远来看，它们不仅可以降低系统的维护成本，还可以提高可靠性、可用性和可扩展性。逐步进行系统重新设计，并逐步采用新元素替换旧元素也很重要。

（2）并非最佳的基础设施

基础设施总有一些优化成本的空间。如果组织仍然采用的是内部部署设施，将业务迁移到云平台可能是一个不错的选择。使用云计算解决方案，组织可以按需付费，从而显著降低成本。

（3）选择了设计过度的系统

如果组织没有使用大多数系统功能，则需要继续为其使用的基础设施支付费用。组织根据自己的需求修改业务指标并优化系统。可以采用更加符合业务需求的简单版本替换某些组件。

Ⅸ 大数据存在哪些问题

数据存储问题：随着技术不断发展，数据量从TB上升至PB，EB量级，如果还用传统内的数据存储方式容，必将给大数据分析造成诸多不便，这就需要借助数据的动态处理技术，即随着数据的规律性变更和显示需求，对数据进行非定期的处理。同时，数量极大的数据不能直接使用传统的结构化数据库进行存储，人们需要探索一种适合大数据的数据储存模式，也是当下应该着力解决的一大难题。

分析资源调度问题：大数据产生的时间点，数据量都是很难计算的，这就是大数据的一大特点，不确定性。所以我们需要确立一种动态响应机制，对有限的计算、存储资源进行合理的配置及调度。另外，如何以最小的成本获得最理想的分析结果也是一个需要考虑的问题。

专业的分析工具：在发展数据分析技术的同时，传统的软件工具不再适用。目前人类科技尚不成熟，距离开发出能够满足大数据分析需求的通用软件还有一定距离。如若不能对这些问题做出处理，在不久的将来大数据的发展就会进入瓶颈，甚至有可能出现一段时间的滞留期，难以持续起到促进经济发展的作用。