Ⅰ 简答大数据安全的特征
大数据安全面临着许多挑战，需要通过研究关键技术、制定安全管理策略来应对这些挑战。当前，大数据的应用和发展面临着许多安全问题，具体来说有以下几个方面。（1）大数据成为网络攻击的显著目标在网络空间中，大数据是更容易被“发现”的大目标，承载着越来越多的关注度。一方面，大数据不仅意味着海量的数据，也意味着更复杂、更敏感的数据，这些数据会吸引更多的潜在攻击者，成为更具吸引力的目标；另一方面，数据的大量聚集，使黑客一次成功的攻击能够获得更多的数据，无形中降低了黑客的进攻成本，增加了“收益率”。（2）大数据加大隐私泄露风险从基础技术角度看，Hadoop对数据的聚合增加了数据泄露的风险。作为一个分布式系统架构，Hadoop可以用来应对PB甚至ZB级的海量数据存储；作为一个云化的平台，Hadoop自身存在云计算面临的安全风险，企业需要实施安全访问机制和数据保护机制。同样，大数据依托的基础技术——NoSQL（非关系型数据库）与当前广泛应用的SQL（关系型数据库）技术不同，没有经过长期改进和完善，在维护数据安全方面也未设置严格的访问控制和隐私管理机制。NoSQL技术还因大数据中数据来源和承载方式的多样性，使企业很难定位和保护其中的机密信息，这是NoSQL内在安全机制的不完善，即缺乏机密性和完整性。另外，NoSQL对来自不同系统、不同应用程序及不同活动的数据进行关联，也加大了隐私泄露的风险。此外，NoSQL还允许不断对数据记录添加属性，这也对数据库管理员的安全性预见能力提出了更高的要求。从核心价值角度看，大数据的技术关键在于数据分析和利用，但数据分析技术的发展，势必对用户隐私产生极大威胁。
Ⅱ 大数据时代，如何保证数据的安全和准确
不要轻易向别人透露自己的信息，手机下载软件时不要轻易点透露自己的电话和地址，电脑安装杀毒软件，平时办公室电脑应注意上锁及设置密码，经常杀毒及对U盘进行杀毒。
Ⅲ 做好大数据分析 城市安防才有保障
做好大数据分析 城市安防才有保障
随着云端运算及物联网等科技的不断发展，大数据(Big Data)在智慧城市扮演的角色也越来越重要。但事实上，数据本来就是城市治理非常重要的依据，尤其是与城市安防的相关业务，举凡人口统计、犯罪率、交通流量等数据，政府治理单位本来就会定时蒐集并加以分析，作为施政的参考，如果不能先了解大数据与传统数据的差别，掌握大数据的分析与工具的特性，就算拥有大数据，也可能只是「入宝山空手而回」，无法将数据转换成价值，自然也无法对城市安防产生贡献。
了解大数据才能有效运用
相较於传统数据，大数据至少具有三个差异极大的特性。首先是数据量(Volume)，如果换算成数位数据单位，基本单位通常已经是TB、PB等级，不但要考量收集及储存成本，如何迅速传递这麽庞大的数据，也是大数据应用必须思考的重点;其次是时效性(Velocity)，即使是这麽大的数据量，仍然要在最短的时间内产生分析结果，如传统的年报统计，往往是在今年收集去年的数据，却在隔年才出版，旷日废时的结果，往往会让数据分析结果失真。
PredPol应用大数据分析技术，预测出犯罪机率高甚至下一次可能发生犯罪情况的区域，并於地图上标示出一块块500平方英尺的区域，供警察参考。Predpol
最後也是最大的差别，就是数据的多样性(Variety)，传统的数据通常有明确的结构性，选项也比较少，如年龄、性别、等级等，但大数据可能会有各种形式，包括文字、影音、图像、网页等，不但没有明显的结构，而且大数据还常常出现形式交错的现象，如Youtube上的影片除了有点击数外，同时还有留言讨论。
由此可知，传统的数据收集方式，显然已经不能满足城市安防对於大数据的需求，所幸在物联网(Internet of Things;IoT)、云端运算及4G无线宽频等技术的发展下，要取得物与物、物与人、人与人的互联互通数据，技术上已不是问题，但必须得先迅速建构起收集、传递及储存大数据的基础建设，才有可能建立全面感知的能力，成为城市安防决策的最佳後盾。
但只是从感知层获取资讯是不够的，因为想要做好大数据深度分析，就必须要有能力针对复杂且开放式的问题寻找答案，并藉由视觉化分析工具，透过连续性的筛选和抽象化，才能洞悉重要资讯。然而大数据具有的超大量半结构化/非结构化数据的特性，往往会造成传统关联式数据库管理系统(RDBMS)的运作瓶颈，必须要导入全新的大数据分析工具，方能真正灵活运用大数据。
此外，大数据的价值既然远超过传统数据，大数据的真实、安全及稳定性，就必须加以重视。尤其是现在的网路应用无所不在，举凡机场、银行、捷运、车站、水电油气供应机制等，都可能被骇客入侵，加上政府为了能让掌握的数据更有价值，必须要采取公开透明的数据使用机制，当公共事业的数据开放愈多，可能被入侵的机会也愈高，因此想要利用大数据来解决城市安防的问题，首先就得先做好大数据的保护，因此资安技术的导入及专业人员的配置，绝对不能轻忽。
大数据对城市公共卫生及治安的帮助
目前已有许多欧美城市开始藉由蒐集及分析大量数据、预知可能出现的危机，进而作为城市安防的参考。如纽约的康乃尔大学威尔医学院(Weill Cornell Medical College)计算与系统生物医学助理教授Christopher E. Mason的研究团队，花了18个月的时间在纽约400多个地铁站的车厢、楼梯扶手、座椅、灯杆、垃圾桶等地方蒐集样本，总共发现15,152种微生物，其中来自於人类的DNA只占0.2%，将近一半的样本是人类未知的有机生物，27%是活性且具有抗生素抗药性的细菌，所幸其中仅有12%会让人生病。
这项名为PhthoMap的研究计画，还透过华尔街日报网站提供互动地图，让使用者可以用来观看特定车站的研究成果，如收集的样本来源、微生物来源比例、细菌种类与说明等，也可利用搜寻细菌的种类，了解那些车站有这些细菌的存在，等於也展示了公卫数据开放使用的过程。
有趣的是，在研究过程中也发现在某些地铁站找到的DNA，与其周围的人口状况相符合，这些都是过去从来没有想过的资讯，未来若能将以分门别类，并且深入研究，对於城市公共卫生的防护工作，将会有莫大的助益。
洛杉矶警局则是导入预测性警务软体「PredPol」，用来预测可能发生犯罪情况的地点。据PredPol(名称取自「预测监控」Predictive Policing)团队指出，该公司先是蒐集过去10年的公开犯罪统计数据，以及从大量的新闻中蒐集犯罪的发生状况及时间，可预测的犯罪行为除了自杀外，还包括枪杀、闯空门、窃盗、窃车等，再根据前述数据中的犯罪行为模式，开发出独特的运算系统，再将犯罪机率高甚至下一次可能发生犯罪情况的区域，於地图上标示出一块块500平方英尺的区域，供警察参考，就是典型的将传统数据变成大数据加以运用的范例。
事实上，许多城市的治安单位早已拥有累积数十年的犯罪记录数据档，甚至早己针对犯罪可能性较高的区域或场所加强巡逻。但PredPol利用大数据分析技术，从容易滋养犯罪事件的场所(如曾经发生斗殴事件的酒吧)、多次受害地区(如屡遭窃贼闯空门的社区)及受害地区的邻近地区，计算出10至20个最有可能发生犯罪的地点。PredPol宣称，警察只要在地图标明的区域，只需要花过去巡逻时间的5%至15%，就能够阻止更多犯罪活动。
目前全美共有将近60间警局使用Predpol，其中规模最大的是洛杉矶警局和亚特兰大警局。其中加州Santa Cruz闯空门的窃盗案在系统建置第一年就下降了11%、抢劫案更减少了27%。洛杉矶Foothill区在2011年导入PredPol後，4个月後的犯罪率就降低了13%，反观没有导入PredPol的区域，还微幅增加了0.4%。
在2012年一项针对美国近200所警局的研究指出，有70%的警局计画在未来2至5年开始或增加使用类似PredPol的预测性警务技术，包括IBM、Palantir及Motorola也开始涉足相关领域。
虽然将大数据分析技术应用在犯罪治安方面，还不是百分之百的准确，经验丰富的警察可能也不见得需要预测性警务技术，但对於新进的警务人员而言，预测性警务技术可以帮助他们及早进入状况，尤其在城市预算吃紧之际，人力又相对缺乏的情况下，运用大数据显然可以提升城市安防的工作效率。
更多数据关联产生更多的价值
城市安防建设至今，影像监控的重要性也日渐提升，但庞大的影像数据要如何分析，却也成为城市治理者的一大难题。所幸大数据技术，正可以针对影像这种非结构性数据加以分析，让视讯监控数据得以有效利用。
大数据可说是智慧城市运作的基础，除了城市安防，其他如智慧交通、智慧医疗等应用，也都需要以大数据为基础，而这些不同类型的数据产生更多的关联，自然也需要更深入的数据分析能力，如智慧交通与智慧安防相结合，可以指引警消人员在最短的时间内赶到事故现场，更可看出大数据在城市安防的应用潜力。
以上是小编为大家分享的关于做好大数据分析 城市安防才有保障的相关内容，更多信息可以关注环球青藤分享更多干货
Ⅳ 大数据的准确性怎么保证
数据源数据 经过挖掘处理转换等操作生成中间数据，入宽表 ，然后 提取宽表数据 入PDC，数据停留的地方有 数据源–>中间数据–>宽表–>PDC。
Ⅳ 大数据存储与应用特点及技术路线分析
大数据存储与应用特点及技术路线分析
大数据时代，数据呈爆炸式增长。从存储服务的发展趋势来看，一方面，对数据的存储量的需求越来越大；另一方面，对数据的有效管理提出了更高的要求。大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求，需要充分考虑功能集成度、数据安全性、数据稳定性，系统可扩展性、性能及成本各方面因素。
大数据存储与应用的特点分析
“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的智力资源和知识服务能力。其常见特点可以概括为3V:Volume、Velocity、Variety(规模大、速度快、多样性)。
大数据具有数据规模大(Volume)且增长速度快的特性，其数据规模已经从PB级别增长到EB级别，并且仍在不断地根据实际应用的需求和企业的再发展继续扩容，飞速向着ZB(ZETA-BYTE)的规模进军。以国内最大的电子商务企业淘宝为例，根据淘宝网的数据显示，至2011年底，淘宝网最高单日独立用户访问量超过1.2亿人，比2010年同期增长120%,注册用户数量超过4亿，在线商品数量达到8亿，页面浏览量达到20亿规模，淘宝网每天产生4亿条产品信息，每天活跃数据量已经超过50TB.所以大数据的存储或者处理系统不仅能够满足当前数据规模需求，更需要有很强的可扩展性以满足快速增长的需求。
(1)大数据的存储及处理不仅在于规模之大，更加要求其传输及处理的响应速度快(Velocity)。
相对于以往较小规模的数据处理，在数据中心处理大规模数据时，需要服务集群有很高的吞吐量才能够让巨量的数据在应用开发人员“可接受”的时间内完成任务。这不仅是对于各种应用层面的计算性能要求，更加是对大数据存储管理系统的读写吞吐量的要求。例如个人用户在网站选购自己感兴趣的货物，网站则根据用户的购买或者浏览网页行为实时进行相关广告的推荐，这需要应用的实时反馈;又例如电子商务网站的数据分析师根据购物者在当季搜索较为热门的关键词，为商家提供推荐的货物关键字，面对每日上亿的访问记录要求机器学习算法在几天内给出较为准确的推荐，否则就丢失了其失效性；更或者是出租车行驶在城市的道路上，通过GPS反馈的信息及监控设备实时路况信息，大数据处理系统需要不断地给出较为便捷路径的选择。这些都要求大数据的应用层可以最快的速度，最高的带宽从存储介质中获得相关海量的数据。另外一方面，海量数据存储管理系统与传统的数据库管理系统，或者基于磁带的备份系统之间也在发生数据交换，虽然这种交换实时性不高可以离线完成，但是由于数据规模的庞大，较低的数据传输带宽也会降低数据传输的效率，而造成数据迁移瓶颈。因此大数据的存储与处理的速度或是带宽是其性能上的重要指标。
(2)大数据由于其来源的不同，具有数据多样性的特点。
所谓多样性，一是指数据结构化程度，二是指存储格式，三是存储介质多样性。对于传统的数据库，其存储的数据都是结构化数据，格式规整，相反大数据来源于日志、历史数据、用户行为记录等等，有的是结构化数据，而更多的是半结构化或者非结构化数据，这也正是传统数据库存储技术无法适应大数据存储的重要原因之一。所谓存储格式，也正是由于其数据来源不同，应用算法繁多，数据结构化程度不同，其格式也多种多样。例如有的是以文本文件格式存储，有的则是网页文件，有的是一些被序列化后的比特流文件等等。所谓存储介质多样性是指硬件的兼容，大数据应用需要满足不同的响应速度需求，因此其数据管理提倡分层管理机制，例如较为实时或者流数据的响应可以直接从内存或者Flash(SSD)中存取，而离线的批处理可以建立在带有多块磁盘的存储服务器上，有的可以存放在传统的SAN或者NAS网络存储设备上，而备份数据甚至可以存放在磁带机上。因而大数据的存储或者处理系统必须对多种数据及软硬件平台有较好的兼容性来适应各种应用算法或者数据提取转换与加载(ETL)。
大数据存储技术路线最典型的共有三种：
第一种是采用MPP架构的新型数据库集群，重点面向行业大数据，采用Shared Nothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本 PC Server，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。
这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析，目前最佳选择是MPP数据库。
第二种是基于Hadoop的技术扩展和封装，围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，例如针对非结构化数据的存储和计算等，充分利用Hadoop开源的优势，伴随相关技术的不断进步，其应用场景也将逐步扩大，目前最为典型的应用场景就是通过扩展和封装 Hadoop来实现对互联网大数据存储、分析的支撑。这里面有几十种NoSQL技术，也在进一步的细分。对于非结构、半结构化数据处理、复杂的ETL流程、复杂的数据挖掘和计算模型，Hadoop平台更擅长。
第三种是大数据一体机，这是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成，高性能大数据一体机具有良好的稳定性和纵向扩展性。
以上是小编为大家分享的关于大数据存储与应用特点及技术路线分析的相关内容，更多信息可以关注环球青藤分享更多干货