㈠ 大数据急需攻克的五大世界性难题
大数据急需攻克的五大世界性难题
世界人民的健康记录：医学领域最急需的资源，人脑图谱：了解身体的各个部分如何运作，统筹世界范围内的铀原料供应：追踪武器化活动与能源供给等这些人们最关注的世界性难题，IBM、谷歌等巨头级企业已经开始对这类高难度挑战发起冲击，这很令人期待。
尽管计算性能、存储容量以及分析技术一直在不断进步，某些现实挑战对于大数据而言仍然过于庞大以至于无法应对。在今天的文章中，我们将探讨五个此类难题 ——看看如何才能将其解决。
如果大数据能够在传统领域之外进一步解决世界性难题，结果会怎么样？到目前为止，IBM、谷歌以及惠普等巨头级企业已经开始对这类高难度挑战发起冲击，其中包括分析繁忙的高速公路上到底会有多少车辆通过某条桥梁，或者计算会有多少用户查看网络浏览器中的一条小广告。谷歌公司甚至公布了一项雄心勃勃的计划，称将解决人类衰老这一历史性难题。
但仍有几大世界性难题等待着我们攻克。在某些情况下，分析所需要的数据根本无迹可寻。在其它情况下，足以应对如此庞大数据量的计算机还没有被发明出来。目前有五大课题值得我们关注。会有大数据技术企业站出来排忧解难吗？我们等待时间带来答案。
世界人民的健康记录：医学领域最急需的资源
大多数人都拥有一份电子健康记录（简称HER），不过其中的内容颇为有限——甚至只包含最近一次健康检查的基本结果。目前足以支撑全世界健康记录资料库的工具与技术已经到位。这样的全球性数据库一旦出现，制药企业就能对其进行分析以开发人民群众最急需的疫苗及药物——也就是说，根据供应链的实际需要进行优先选择。
既然前景一片光明，为什么我们还没有感受到由此带来的益处呢？这是由于目前还缺乏一套访问全球数据的可行机制。“健康记录被保存在一大堆彼此隔离的系统当中，而资料持有者没有足够的动力来分享这些信息，”分布式数据库供应商Cloudant公司联合创始人兼首席科学家 MikeMiller表示。“即使我们真的把所有数据都归拢在一起，也仍然需要通过机器学习算法及实时分析对其进行全面优化。这也正是我们目前正在努力钻研的课题。”
人脑图谱：了解身体的各个部分如何运作
人类大脑模型能够为科学研究带来巨大帮助。医生可以查看肿瘤的生长情况或者了解大脑如何通过一系列功能控制身体的其它器官。目前已经有包括欧洲人类大脑项目在内的多个科学项目尝试在未来十年之内创建出大脑模拟系统。
障碍何在？要完成这项工作，我们需要一台运算速度千倍于当前水平的超级计算机。大脑当中存在数以百万计的神经递质，而且它们彼此之间互相连通、共同数据我们所接触到的“数据”。
“这样的计算规模要求我们从传统的硅芯片领域脱离出来，迈向生物芯片时代——这是分子计算的前提条件，”曾任克林顿政府前副助理国务卿（负责运输体系技术政策）、现任霍华德大学教授的OliverG.McGee解释道。“从直观角度看，分子计算在数据管理方面的运算速度比传统硅芯片高750倍，只有这样的机制才能处理颅腹脑体系当中的关系认知奥秘。”
统筹世界范围内的铀原料供应：追踪武器化活动与能源供给
毫无疑问，在全球范围内收集任何数据都将是一项极为艰巨的任务，但追踪全球铀原料供应至少拥有其积极意义——当然，前提是所有信息碎片都能严丝合缝地被拼接在一起。
数据收集企业Connotate公司CEOKeithCooper指出，我们目前只能解决其中一部分难题，因为某些国家并没有公开其铀原料供应记录。“目前，很多铀储量丰富的国家虽然已经拥有便捷的互联网体系，但却仍然拒绝以标准化方式公布其资源流向。”幸运的是，计算宏观形势倒不太困难——毕竟将铀原料投入武器化领域的国家数量有限。
我们真正需要追踪并掌握的是全球可用铀原料当中最为宝贵的、仅占15%的浓缩铀，他解释道。“我们需要识别并追踪所有与浓缩铀相关的销售活动（通过黑市或者合法渠道）以及矿藏分布，并通过论坛、博客、监管机构及其它周边体系进行数据统计，包括各政府及非政府组织对于铀原料生产数据及开采活动的报道等。为了处理收集到的这些结果，我们还需要设计出一套智能化人机交流方案。”
全球实时犯罪数据：更加主动的警务处理能力
很多地方性执法机构已经掌握着非常丰富的犯罪数据，警务人员则可以在自己的警车内轻松访问犯罪记录数据库，从而根据犯罪嫌疑人的具体情况做出反应。
障碍何在？这些数据只包含过往的罪行，Cloudant公司的Miller表示，其中无法体现刚刚发生或者正在进行中的犯罪活动。由于无法在犯罪活动进行的过程中进行阻止，警方只能被迫采取更为被动的应对措施。
不过情况已经有所转变，Miller指出。举例来说，加利福尼亚州奥克兰市警方已经配备声学监控器用于识别枪声。技术人士将其称为 “ShotSpotter”，配合大数据分析机制即可用于追踪潜在的犯罪发生地点，警员则根据分析结论立即前往对应位置。实时犯罪数据所带来的易处并不局限于执法领域：TruliaLocal热点地图能够提供犯罪活动报告，从而帮助住房买家选择更友善、更安全的生活环境。
追踪儿童行踪：更好、更及时的AmberAlert
时至今日，我们已经拥有很多种通报失踪儿童的方式，例如美国所采用的AmberAlert系统。不过这些通告机制的最大问题在于，只能在事后发起提醒。追踪儿童位置所必要的技术已经存在，当下大部分智能手机都能通过谷歌位置报告功能将儿童的当前所在地发送给父母。与此同时，大众汽车的Car-Net以及福特汽车的MyKey应用也能在青少年驾车到达特殊地理位置时发送报告。
障碍何在？分析。数字营销企业RoundarchIsobar公司副总裁JaisonManian指出，预测技术能够助我们一臂之力。大数据厂商能够分析儿童的行为模式，当然前提是家长愿意分享相关数据。
“预测分析能够追踪儿童的日常行动模式，并在出现严重偏差时立即向父母发出警示，”他表示。只要满足警示条件，信息会被实时发出 ——这能有效阻止重大事故的发生。
以上是小编为大家分享的关于大数据急需攻克的五大世界性难题的相关内容，更多信息可以关注环球青藤分享更多干货
㈡ 大数据发展的前景怎么样
大数据主要的三大就业方向：
大数据系统研发类人才；
大数据应用开发类人才；
大数据分析类人才。
大数据十大就业职位：
一、ETL研发
随着数据种类的不断增加，企业对数据整合专业人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道，从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要。
ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
目前，ETL行业相对成熟，相关岗位的工作生命周期比较长，通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop只是穷人的ETL。
二、Hadoop开发
Hadoop的核心是HDFS和MapRece.HDFS提供了海量数据的存储，MapRece提供了对数据的计算。随着数据集规模不断增大，而传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapRece、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。
三、可视化（前端展现）工具开发
海量数据的分析是个大挑战，而新型数据可视化工具如Spotifre，Qlikview和Tableau可以直观高效地展示数据。
可视化开发就是在可视开发工具提供的图形用户界面上，通过操作界面元素，由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数 据，经过时间考验，完全可扩展的，功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合，以用来构建极其丰富的用户界面。
过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。
四、信息架构开发
大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。
五、数据仓库研究
数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。
数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。
六、OLAP开发
随着数据库技术的发展和应用，数据库存储的数据量从20世纪80年代的兆（M）字节及千兆（G）字节过渡到现在的兆兆（T）字节和千兆兆（P）字节，同时，用户的查询需求也越来越复杂，涉及的已不仅是查询或操纵一张关系表中的一条或几条记录，而且要对多张表中千万条记录的数据进行数据分析和信息综合。联机分析处理（OLAP）系统就负责解决此类海量数据处理的问题。
OLAP在线联机分析开发者，负责将数据从关系型或非关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能。
七、数据科学研究
这一职位过去也被称为数据架构研究，数据科学家是一个全新的工种，能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展，越来越多的实际工作 将会直接针对数据进行，这将使人类认识数据，从而认识自然和行为。因此，数据科学家首先应当具备优秀的沟通技能，能够同时将数据分析结果解释给IT部门和业务部门领导。
总的来说，数据科学家是分析师、艺术家的合体，需要具备多种交叉科学和商业技能。
八、数据预测（数据挖掘）分析
营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。
九、企业数据管理
企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗 和规范化，将数据导入数据仓库中，成为一个可用的版本。然后，通过报表和分析技术，数据被切片、切块，并交付给成千上万的人。担当数据管家的人，需要保证 市场数据的完整性，准确性，唯一性，真实性和不冗余。
十、数据安全研究
数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验，具备运维管理方面的知识和能力，对企业传统业务有较深刻的理解，才能确保企业数据安全做到一丝不漏。
㈢ 如何应对大数据的挑战
合理获取数据，存储应需而变，筛选和分析大数据，理性面对大数据的诱惑，云计算和大数据相辅相成，处理好非结构化数据，与硬件保持距离，提高大数据的可视化，安全防范必不可少。
㈣ 大数据初创企业面临的五大挑战
大数据初创企业面临的五大挑战
近几年，数据逐渐成为驱动业务的主要推动力。 更重要的是,大数据是可以帮助企业改善策略,提高运营效率和加速增长。
75% 的龙头企业说,他们已经或计划在未来几年在大数据基础设施方面布局。大量的新的和令人兴奋的大数据初创公司出现来满足企业客户日益增长的需求。
虽然大数据吸引力巨大，但是考虑到66% 的创业公司一般会在12个月失败，大数据初创公司们仍然面临着很多挑战。
挑战一 缺乏人才
大数据市场在不断增长，60%的领导者认为他们今年在大数据运营上会花费更多，只有5%预测预算会减少，最大的问题在于,这种增长将超过其实现它所需的人才和规模应用。
据麦肯锡的报告称，美国的大数据人才需求在2018年将达到 170万，大约在同一时间,美国数据市场价值将达到 415亿美元。随着行业的发展，人才技能差距将拉大。没有简单的解决方案,是唯一真正的修复是随着时间的推移,人才自然会增加以满足市场需求。
(这里还有一点讽刺,因为许多大数据初创企业试图通过自己的软件来解决市场上人才缺乏的问题，但他们同样面临招不到人。)
挑战二 人才成本高
71% 企业和IT组织认为自己在利用数据方面刚达到平均水平或滞后。显然需要提高整体人才能力和教育现有的劳动力。目前在员工的培训上，为了跟上新开发产品需要大量成本。
这样的培训运营费用在2013年全球达到1300亿，考虑到数据业务的快节奏的性质和随后的需要更多的人员和持续培训,这些成本只会持续上升。
挑战三 解决理想与现实的冲突
在最近《华尔街日报》上 一篇有关Hadoop 的文章上黛博拉·盖奇说，：一些评论把大数据捧地过于高了，对大数据的”炒作”使许多组织盲目的为采用而采用:他们急切地拥抱工具,但往往不关注他们的需求,只是因为这些工具似乎是最受欢迎的(Hadoop是一个例子)。
进一步复杂化的是,大数据平台本质上是厚数据。这使得供应商很难去表达它的功能和优点，甚至更难让客户们去理解。这就是为什么, 据Gartner 说,到2017年,60%的大数据项目将无法超越试点和实验,并将被放弃。 让大数据项目更加落地是未来的重点。
挑战四 融资障碍
大数据在风投界获得了极大的关注和惊人的资金, Hortonworks和 Dataminr的 融资近1亿美元就是很好的证明。 但在许多方面,争夺现金变得不利于新公司。
由于行业的发展，风投们会更亲睐具有挑战性的企业家，很多公司喜欢Palantir,MongoDB和Mu Sigma (至少有2亿美元投资)。 因为资金增加了,在某种程度上我们可以预期投资者变得更加初步承诺投资,而不是投资于更成熟的新锐品牌。
挑战五 更残酷的竞争
全球大数据预计在2015年产值达到 1250亿美元,创业并不孤单; 他们面临SAP微软和IBM这样的数十亿美元的大公司的残酷竞争。
这些巨人可以释放功能更新产品,收购同类公司。他们的资金是无限的,而初创企业必须更加精细化他们的产品只是为了维持他们的现金消耗速率。
实际上,这是一件好事。初创公司成功的最佳方式和关注一个点和把它做好，大公司总是在寻找方法来获得竞争优势。 如果你在存储、分析等方面有极大的优势，被收购也是个不错的选择。
以上是小编为大家分享的关于大数据初创企业面临的五大挑战的相关内容，更多信息可以关注环球青藤分享更多干货
㈤ 大数据安防应用 三种技术及五大挑战
大数据安防应用 三种技术及五大挑战
1大数据安防应用的几种关键技术
在安防行业，随着前端设备分辨率的不断提高、安防系统建设规模的不断扩大以及视频、图片数据存储的时间越来越长，安防大数据问题日益凸显。如何有效对数据进行存储、共享以及应用变得愈加重要。要应用安防大数据，首先要了解安防大数据有何特点。
安防大数据涉及的类型比较多，主要包含结构化、半结构化和非结构化的数据信息。其中结构化数据主要包括报警记录、系统日志、运维数据、摘要分析结构化描述记录以及各种相关的信息数据库，如人口库、六合一系统信息等；半结构化数据如人脸建模数据、指纹记录等；而非结构化数据主要包括视频录像和图片记录，如监控、报警、视频摘要等录像信息和卡口、人脸等图片信息。区别于其他行业大数据特点，安防大数据以非结构化的视频和图片为主，如何对非结构化的数据进行分析、提取、挖掘及处理，对安防行业提出了更多挑战。
大数据
对于安防视频图像数据，传统的处理方式主要靠事后人工查阅来完成，效率极低。面对海量的安防数据，如果继续采用传统方式，不仅效率低下，而且不能达到实战应用目的，偏离了安防系统建设目的。为充分利用安防系统价值，提升对安防大数据的应用能力，大华股份从多层次、全方位考虑产品和方案规划，不断提升对于安防有效信息的快速挖掘能力。
要提升安防大数据的处理效率，首先要从智能分析做起，快速过滤无效信息。大华智能分析从多维度、多产品形态来实现。如对于事件检测、行为分析、异常情况报警等，大华前端、存储以及平台系统产品都能够快速实现智能检测，并通知系统对事件进行快速响应，这些产品从某种层面上将安防有效数据的分析分散化，大大加快了整个系统的大数据处理应用速度。此外，大华还推出了基于云存储系统的大数据应用系统，如视频编解码系统、车辆研判系统、以图搜图系统、视频浓缩摘要系统、人脸识别系统以及车型识别系统等等。
大数据安防应用的几种关键技术
1)大数据融合技术
经过十几年的发展，国内安防系统建设基本形成了是以平安城市、智能交通系统为主体，其他行业系统有效完善的发展态势。而“重建设、轻应用”的现况给安防应用提出了更高要求，如何解决这些问题成为当务之急。
为实现数据融合、数据共享，首先要解决存储“分散”问题，大华云存储系统不仅能够实现数据的有效融合与共享，解决系统在硬件设备故障条件下视频数据的正常存储和数据恢复问题，为安防大数据应用分析提供可靠基础。
2)大数据处理技术
安防大数据以半结构化和非结构化数据居多，要实现对安防大数据的分析和信息挖掘，首先要解决数据结构化问题。所谓的数据结构化就是通过某种方式将半结构化和非结构化数据转换为结构化数据。大华通过采用先进的云计算系统对安防非结构化数据进行结构化处理，为大数据的进一步分析和应用提供进一步支持。
3)大数据分析和挖掘技术
国内平安城市历经十几年的建设，在解决了稳定性、规模化之后，当下面临的问题是如何深化应用的问题，即如何实现公安部的要求，建为用、用为战的目标，实现对安防系统的深层次应用。
对安防大数据而言，要实现业务的深层次应用，首先需要对安防数据进行分析和挖掘，以云存储和云计算系统为基础，通过云计算系统实现对“大数据”的快速分析，如基于云的车牌识别，可通过对海量视频的分析，快速提取海量车牌信息，并通过应用系统对相关数据进行深一步挖掘、关联，形成有效“档案”。最后利用这些分析和挖掘的数据实现对事件的预测预防、报警，最终实现安防系统建设的实战应用目的。
2大数据成熟行业应用大数据成熟行业应用
安防视频监控行业是伴随着平安城市、智能交通而发展起来了，新一轮的智慧城市建设也为安防行业的再次发展注入了“**”。随着各地安防系统建设规模不断增大，安防数据迅速膨胀。由于缺乏适当的手段去利用这些海量数据，导致了“重建设、轻应用”现象，下面就安防大数据在公安和交通行业的应用进行简单介绍。
1)公安执法
在公安行业，大数据应用无处不存，下面简单介绍一下大数据应用在公安行业几个业务体现。
第一是稽查布控业务。当案件发生后，需要对嫌疑车辆进行稽查布控，一般采用布控车牌号，通过系统比对卡口车辆信息进行识别，但这种方式存在问题。当布控车辆从某个卡口经过时，拦截人员通常不在现场，等到拦截人员赶到现场时，嫌疑车辆早已逃之夭夭，从而失去布控的意义。对于这种情况，可实现移动警务、GIS系统有效关联，通过在GIS系统中绘制嫌疑车辆逃跑路线和防控识别圈，可大大提高拦截效率；
第二是车辆落脚点分析业务。随着城市的快速发展，城市越来越大，路网也越来越复杂，为迅速逃脱公安机关的抓捕，很多犯罪分子避开城区主干道(一般来说，城区主干道都装有电子卡口)，逃窜到人员比较多的小区或偏僻区域。大华股份通过建设云卡口，通过视频实现卡口相机功能，对海量数据进行云卡口识别，结合GIS系统，将嫌疑车辆轨迹描绘出来，大大提高公安办案效率。
第三是伴随车辆分析。由于公众安全防范意识的不断提高，犯罪分子独立实施犯罪行为的成功率大大降低，因此，新时期的犯罪行为，开始表现为团伙作案。在踩点和作案时，犯罪团伙通常会使用多辆汽车，以提高成功率。从卡口系统的角度看，团伙作案具体表现为多辆车同时出没于特定卡口覆盖范围，利用该特征，我们可以从海量的卡口车辆数据中，提取满足特定条件(如车辆行进路线、车辆通行间隔时间、跟车数量以及分析起止时间范围等)的车辆，提高案件侦破效率。此外，在公安行业还有基于人脸识别的人脸卡口、视频摘要等安防大数据应用。
2)智能交通
第一是旅行时间计算。由于电子狗的大量使用，不少驾驶员在通过卡口时，会主动降低速度，一旦离开卡口覆盖范围，又会迅速提高速度，超速行驶。传统的单点测度无法发现这种超速行为，利用区间测速便可快速检测违章行为，且可减少区域卡口数量，节省建设成本。而当发现相同车牌在相距较远卡口同时出现时，还可检测出套牌车辆，并可通知相关人员进行拦截追捕。
第二是交通流量分析。对于交通流量的检测，传统方式是通过地磁、微波检测完成的，但这种检测只能检测车辆数量，却无法检测相关车牌号，这就限制了传统流量分析的应用场景，智能对单一路段进行分析，无法形成全局的流量分析。而卡口系统记录了车辆号码、车身颜色、车型等更多详细信息，基于卡口系统的流量分析，不仅可计算出城市各小区机动车数量分布，指导出行目的地分析、出行路线分析等应用，而且能够根据车辆流量信息找出城市热点区域，为交管部门提供参考，更好地优化路网机制，规划更为合理的路网参数。
此外，还可通过智能分析系统，对卡口数据进行深层次分析与挖掘，不仅识别车辆车牌号，而且实现对车辆品牌、车辆型号、是否粘贴年检标识、驾驶员是否系安全带、是否驾驶时拨打电话等一些行为状态识别，从而进一步规范车辆达标和安全驾驶行为。
3大数据安防面临的挑战大数据安防面临的挑战
(1)海量非结构化数据存储
相较于其他行业，安防非结构化的数据存储压力不断增大，一方面源于视频、图片等非结构化数据本身容量，另一方面源于安防数据规模的不断扩大，安防大数据存储对系统设备提出了更高挑战，如何在满足需求的前提下，删除重复数据、降低存储硬件成本投资成为海量数据存储的一个难题
(2)数据共享
大数据需要通过快速的采集、发现和分析，从大量化、多类别的数据中提取价值。安防大数据时代最显著的特征就是海量和非结构化数据共享，用以提高数据处理能力。而海量数据存储在不同系统、不同区域、不同节点、不同设备中，这给数据的传输和共享带来极大的挑战：
(3)数据安全
视频监控数据具有私密性高、保密性强等特点，不仅是事后追查的依据，而且更是后续数据分析挖掘的基础。因此，数据安全一方面体现在数据不受外界入侵或非法获取，另一方面体现在庞大数据系统的鲁棒性、体系容错机制，确保硬件在发生故障时数据可以恢复，可以继续保存。面对海量数据的存储、共享、硬件和软件设备承载的极大风险，如何构建大型、海量视频监控存储系统、数据分析系统以及容错冗余机制是安防行业面临的重大考验；
(4)数据利用
安防监控虽然数据量很大，但真正有用的信息并不多。安防数据的有效性分为两个方面，一方面有效信息可能只分布在一个较短的时间段内，根据统计学原理，信息呈现幂率分布，往往越高密度的信息对客户价值越大；另一方面，数据的有效性体现在深层次挖掘庞大的海量数据，关联得出有效信息。视频监控业务网络化、大联网后，网内的设备越来越多，利用网内的闲置资源，实现资源的最大化利用，关乎运算的效率。在视频监控领域，往往视频分析的效率决定价值，更低的延迟、更准确的分析往往是客户的普遍需求。如何对海量的视频数据进行分析检索业对行业提出更大的挑战。
(5)缺乏统一标准
国内安防行业经历十几年的快速发展，在此发展过程中，平安城市建设表现卓越，在安防应用中也一直走在前列，国内平安城市系统的建设也不断推动着国内安防技术和安防厂商的发展。在平安城市项目的建设过程中，由于参与的安防厂家众多，不同项目、不同系统甚至同一系统采用的设备厂商也不尽相同，为了更好的兼容各厂商产品，整个安防行业和政府也制定了一些标准，如ONVIF协议、GB28181协议以及各个地方省市发布的一些标准。
新一轮的智慧城市正在紧锣密鼓地进行着，相对平安城市相对“简单”的治安监控，智慧城市要求数据共享，跨区域视频联网监控、监控资源整合与共享以及政府各部门之间的视频监控资源共享等等。但是不同的地方城市，不同的行业类别，不同的管理方式都会有不同的监控系统方案，数据融合或者共享兼容性问题更多，对整个系统建设是重大考验。
平安城市系统面向的是安防行业设备与系统的兼容问题，随着各种行标、地标的制定，各种问题基本得以解决；而智慧城市系统不仅仅是安防系统的整合，而是多个行业系统的集成应用，因缺乏统一标准带来的复杂性可想而知。庆幸的是国家目前已经开始起草智慧城市建设的各种标准，而相关企业也在不断规范自身系统的兼容性和开放性。
以上是小编为大家分享的关于大数据安防应用 三种技术及五大挑战的相关内容，更多信息可以关注环球青藤分享更多干货
㈥ 我国大数据战略实施面临的五大挑战
我国大数据战略实施面临的五大挑战
一、我国实施国家大数据战略的新成效
近几年，在国家政策支持下，我国大数据战略取得多方面成效：
一是产业集聚效应初步显现。国家八个大数据综合实验区建设促进了具有地方特色产业集聚。京津冀和珠三角跨区综合试验区，注重数据要素流通;上海、重庆、河南和沈阳试验区，注重数据资源统筹和产业集聚;内蒙的基础设施统筹发展，充分发挥能源、气候等条件，加快实现大数据跨越发展。
二是新业态新模式不断涌现。我国在大数据应用方面位于世界前列，特别是在服务业领域，如基于大数据的互联网金融及精准营销迅速普及;在智慧物流交通领域，通过为货主、乘客与司机提供实时数据匹配，提升了物流交通效率。
三是与传统产业融合步伐加快。铁路、电力和制造业等加快了运用信息技术和大数据的步伐。高铁推出“高铁线上订餐”等服务，提升了乘客体验。电力企业推广智能电表，提高了企业利润。三一重工、航天科工、海尔等一批企业将自身积累的智能制造能力，向广大中小企业输出解决方案，着手建设工业互联网平台。
四是技术创新取得显著进展。互联网龙头企业服务器单集群规模达到上万台，具备了建设和运维超大规模大数据平台的技术实力，并以云服务向外界开放自身技术服务能力和资源。在深度学习、人工智能、语音识别等前沿领域，我国企业积极布局，抢占技术制高点。
五是产业规模快速增长。2016年我国包括大数据核心软硬件产品和大数据服务在内的市场规模达到3100亿元。预计2017年有望达到4185亿元。未来2-3年市场规模的增长率将保持在35%左右。未来5年，年均增长率将超过50%。
六是一批企业快速成长。主要分为三类：一类是已经有获取大数据能力、具有一定国际影响力的公司，如网络、腾讯、阿里巴巴等互联网巨头;二是以华为、浪潮、中兴、曙光、用友等为代表的电子信息通信厂商;三是以亿赞普、拓尔思、九次方等为代表的大数据服务新兴企业。
七是法治法规建设全面推进。先后制定和出台《全国人大常委会关于加强网络信息保护的决定》《全国人大常委会关于加强网络信息保护的决定》《电信和互联网用户个人信息保护规定》《电话用户真实身份信息登记规定(部令第25号)》《中华人民共和国网络安全法》等文件，保障用户隐私和合法权益。
二、我国实施国家大数据战略面临的挑战
一是数据权属不清晰，数据流通和利用混乱。大数据带来了复杂的权责关系，产生数据的个人、企业、非政府组织和政府机构，拥有数据存取实际管理权的云服务提供商和拥有数据法律和行政管辖权的政府机构，在大数据问题上的法律权责不明确，数据产权承认和保护存在盲点，阻碍了数据有效流通。
二是数据爆炸式增长与数据有效利用矛盾突出。当前面临的问题不是数据缺乏，而是数据快速增长与数据有效存储和利用之间矛盾日益突出。数据呈爆炸式增长，每两年数据量翻10倍，而摩尔定律已接近极限，硬件性能提升难以应对海量数据增长。
三是企业与政府数据双向共享机制缺乏。目前，我国政府、少数互联网企业和行业龙头企业掌握了大部分数据资源，但数据归属处于模糊状态，法律规定不明确，政府与企业数据资源双向共享不够。
四是发展一哄而上，存在过度竞争倾向。截止2017年1月，全国37个省、市出台大数据发展规划，90%提出要统筹建设政府和行业数据中心，有12个省市提出建设面向全国的大数据产业中心，有14省(市)合计产值目标过2.8万亿元，远远超过工信部提出到2020年1万亿元大数据产值发展目标。
五是安全问题日益凸显。截至2017年7月，全国共侦破侵犯公民个人信息案件和黑客攻击破坏案件1800余起，抓获犯罪嫌疑人4800余名，查获窃取的各类公民个人信息500多亿条。乌克兰电力系统和伊朗核设施遭遇网络攻击，也给我国电力、石油、化工、铁路等重要信息系统安全敲响了警钟。
三、 更好实施我国国家大数据战略政策建议
按照十九大精神，要着力推动大数据与实体经济深度融合，建设数字中国和智慧社会，实现网络强国的目标，需要从政府、企业、社会组织和个人等统筹推动国家大数据战略落实。
(一)完善机制与制度，更好发挥政府作用。在体制机制方面，建议设立由国务院领导担任组长的国家大数据战略领导小组，负责组织领导、统筹协调全国大数据发展。领导小组下设办公室和大数据专家咨询委员会。
在法规建设方面，加快制定《大数据管理条例》，鼓励行业组织制定和发布《大数据挖掘公约》和《大数据职业操守公约》，在条件成熟时启动《数据法》立法，明确数据权属，培育大数据市场，加快数据作为生产要素规范流通。
在产业政策方面，出台数字经济优惠政策，创新数字经济监管模式，加强重点人群大数据应用能力培训，创造更多就业。
在试点示范方面，在环境治理、食品安全、市场监管、健康医疗、社保就业、教育文化、交通旅游、工业制造等领域开展大数据试点应用，以点带面提升大数据应用能力。
在资源共享方面，按照“逻辑统一、物理分散”原则，通过建设国家一体化大数据中心和国家互联网大数据平台，探索政府与企业数据资源双向共享机制。
在发展环境方面，着力部署下一代新基础设施，加快我国信息基础设施优化升级，制定政府大数据开发与利用的“负面清单”“权力清单”和“责任清单”，建立统计和评估指标体系，营造良好的舆论环境，防止炒作大数据概念，引导全国大数据健康有序发展。
在数据安全方面，加快落实《中华人民共和国网络安全法》，建立国家关键基础设施信息安全保护制度，明确监管机构的关键基础设施行业主管部门的信息安全监督管理职责，加快推动国产软硬件的应用推广，提升安全可控水平。
(二)对企业分类施策，发挥市场资源配置决定性作用。一是发挥互联网龙头企业引领和带动作用。网络、腾讯、阿里、京东为代表的龙头企业技术和人才储备雄厚，具有强大的数据资源收集、存储、计算和分析能力，成为我国大数据技术进步的主要推动力。应像使用电、水、交通等传统基础设施一样，互联网龙头企业向各行业提供高性能和低成本的大数据服务，帮助传统企业提升效率，提升核心竞争力。
二是发挥重要行业龙头企业数据和用户优势。我国电力、交通、金融等诸多行业龙头集聚了海量用户和数据，是未来我国大数据战略实施的主战场和大数据价值真正“钻石矿”。应发挥铁路、电力、金融等重要行业龙头企业优势，通过与互联网龙头企业深度合作，利用其技术优势，深度挖掘数据资源，提升自身核心竞争力，并帮助中小企业发展。
三是发挥通信运营商生力军作用，为大数据发展提供基础性战略性资源。我国移动、电信、联通等拥有全球最多的电话用户，积累了海量数据，是我国信息社会的战略性资源。应充分发挥自身在网络方面的优势，推动移动互联网、云计算、大数据、物联网等与行业结合，助力智慧城市、交通、能源、教育、医疗、制造、旅游等行业的创新和发展。
(三)激发社会组织活力，构建新型协作关系。构建政府和社会组织互动的信息采集、共享和应用协作机制，提高社会组织大数据应用意识和能力，与具有大数据技术的企业合作，提高社会事业精准化水平和资金使用效率。针对发展需要、重视科技引领，整合广大科研机构和事业单位力量，加强大数据基础理论、方法和技术研究，推动关键技术突破。
(四)提升公民数据意识和能力，推动“数字公民”建设。通过给每位公民一个数字身份，方便公民获取个性化、智慧化精准服务，提高政府公共服务的精准度与实效性，推动社会治理向精细化、智慧化转变。要提高公民数据素养，增强公民数据权利意识，提高大数据应用能力。
㈦ 大数据发展前景如何
随着信息技术和人类生产生活交汇融合，全球数据呈现爆发增长、海量集聚的特点。无论是国家、企业还是社会公众，都越来越认识到数据的价值。因此，近年来，各地纷纷成立大数据发展局，企业纷纷推动数据资产治理，大数据辐射的行业也从传统的电信、金融逐渐扩展到工业、医疗、教育等。一时间，仿佛各行各业都在谈大数据，人人都在谈大数据。但也有声音说大数据迎来了“七年之痒虚烂世”，面对大数据热潮也需要一些“冷思考”。我国大数据究竟发展得如何？未来我国大数据发展还有哪些机遇和挑战？
1、大数据产业进展显著
过去几年，大数据理念已经深入人心，“用数据说话”已经成为所有人的共识，数据也成了堪比石油、黄金、钻石的战略资源。五年来，我国大数据产业政策日渐完善，技术、应用和产业都取得了非常明显的进展。
在政策方面，我国从中央到地方的大数据政策体系已经基本完善，目前已经进入落地实施阶段。自从2014年“大数据”这个词写入政府工作报告以来，我国大数据发展的政策环境掀开了全新的篇章。在顶层设计上，国务院《促进大数据发展行动纲要》对政务数据共享开放、产业发展和安全三方面做了总体部署。《政务信息资源共享管理暂行办法》《大数据产业发展规划（2016-2020）》等文件也都已经出台。十九大报告中提出“推动大数据与实体经济深度融合”，“十三五”规划中提出“实施国家大数据战略”。卫健、农业、环保、检察、税务等部门还出台了领域大数据发展的具体政策。截至2019年初，所有省级行政区都发布了大数据相关的发展规划，十几个省市设立了大数据管理局，8个国家大数据综合试验区、11个国家工程实验室启动建设。可以说，大数据的政策体系已经基本搭建完成，目前已经纷纷进入落地实施甚至评估检查阶段。
在技术方面，我国大数据技术发展属于“全球第一梯队”，但国产核心技术能力严重不足。我国独有的大体量应用场景和多类型实践模式，促进了大数据领域技术创新速度和能力水平，处于国际领先地位。在技术全面性上，我国平台类、管理类、应用类技术均具有大面积落地案例和研究；在应用规模方面，我国已经完成大数据领域的最大集群公开能力测试，达到了万台节点；在效率能力方面，我国大数据产品在国际大数据技术能力竞争平台上也取得了前几名的好成绩；在知识产权方面，2018年我国大数据领域专利公开量约占全球的40%，位居世界第二。但我国大数据技术大部分为基于国外开源产品的二次改造，核心技术能力亟待加强。例如，目前国内主流大数据平台技术中，自研比例不超过10%。
在产业方面，我国大数据产业多年来保持平稳快速增长，但面临提质增效的关键转型。2018年，我国大数据产业延续多年来的增速，继续保持相对高速的增长。根据中国信息通信研究院的历槐测算，2018年我国大数据产业整体规模有望达到5400亿元，同比增长15%。然而，综合国内外环境、新兴技术发展等多种因素，大数据产业的增速出现了下滑。我国的大数据产业也面临着从高速发展向高质量发展的关键转型期。
在应用方面，大数据的行业应用更加广泛，正加速渗透到经济社会的方方面面。随着大数据工具的门槛降低以及企业数据意识的不断提升，越来越多的行业开始尝到大数据带来的“甜头”。无论是从新增企业数量、融资规模还是应用热度来说，与大数据结合紧密的行业正在从传统的电信业、金融差肢业扩展到政务、健康医疗、工业、交通物流、能源行业、教育文化等，行业应用“脱虚向实”趋势明显，与实体经济的融合更加深入。
2、产业的五大困局
虽然我国大数据总体发展形势良好，也面临难得的发展机遇，但仍然存在一些困难和问题。
一是，涉及核心技术的产业发展薄弱，未能有效提升我国核心技术竞争力。核心技术的影响力在大数据产业有着极高的重要性。由于大数据企业在完成产品开发后，可以近乎零成本无限制的复制，因此拥有核心技术的大企业，很容易将技术优势转化为市场优势，即凭借具体的信息产品赢得海量用户获得垄断地位。当前，从大数据技术与产品的供给侧看，我国虽然在局部技术实现了单点突破，但大数据领域系统性、平台级核心技术创新仍不多见。大数据处理工具都是“他山之石”，大部分企业用的都是国外的数据采集、数据处理、数据分析、数据可视化技术，自主核心技术突破还有待时日。尤其是开源产品的技术标准方面，我国的影响力尚亟待提升。
二是，数据孤岛和壁垒降低了大数据产业资源配置效率。大数据产业发展必须实现数据信息的自由流动和共享，如果数据不开放、不共享，数据整合就不能实现，数据价值也会大大降低。无论是政府数据、互联网数据还是其他数据，数据拥有者往往不愿对其进行开放流通。受制于前期信息基础设施建设，目前我国政府数据往往还存在着诸多“数据孤岛”和“数据烟囱”，数据价值难以发挥。
三是，数据安全管理薄弱增加了大数据产业的发展风险。大数据技术为经济社会发展带来创新活力的同时，也使数据安全、个人信息保护乃至大数据平台安全等面临新威胁与新风险。海量多源数据在大数据平台汇聚，来自多个用户的数据可能存储在同一个数据池中，并分别被不同用户使用，极易引发数据泄露风险。利用大数据技术对海量数据（21.90 -5.19%,诊股）进行挖掘分析所得结果可能包含涉及国家经济社会等各方面的敏感信息，需要对分析结果的共享和披露加强安全管理。
四是，产业垄断与恶性竞争现象频发，“劣币驱逐良币”现象明显。由于资源型产业门槛低、利润高，新兴的大数据企业往往首先将目光盯在获取数据资源上面。大量依托数据资源优势的企业诞生，为大数据产业带来了低附加值的垄断经济模式，使得依靠技术壁垒打江山的企业不得不面对残酷的市场竞争，放缓了技术研发的步伐。同时，数据垄断问题也愈发明显。少数互联网巨头企业拥有巨大数据，不但对产业发展不利，甚至存在巨大的数据聚集隐患。
五是，各地发展同质化严重，普遍存在重存储轻应用的现象。由于缺乏统一的大数据产业分类统计体系和产业运行监测手段，各地大数据产业的定位相似，同质化竞争加剧。而盲目的重复建设，更是可能导致大数据产业过剩。同时，由于部分地区信息化发展程度有限，大数据应用场景不够丰富，更是以数据中心等大数据存储设施的建设作为发展大数据产业的关键，且规模巨大，目标动辄以百万台计，后期若无法有效利用，将造成巨大的资源浪费。