大数据时代带来的隐忧

Ⅰ 大数据时代,面临的七个挑战和八大趋势

大数据时代,面临的七个挑战和八大趋势

大数据挑战和机遇并存，大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段，大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战，但前景依然非常乐观。

大数据发展的挑战

目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重，导致数据价值不能充分挖掘;数据可用性低，数据质量差，导致数据无法利用;数据相关管理技术和架构落后，导致不具备大数据处理能力;数据安全能力和防范意识差，导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值，但缺乏大数据相关的政策法规，导致数据开放和隐私之间难以平衡，也难以更好的开放。

挑战一：业务部门没有清晰的大数据需求

很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在大数据方向的发展，也阻碍了企业积累和挖掘自身的数据资产，甚至由于数据没有应用场景，删除很多有价值历史数据，导致企业数据资产流失。因此，这方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业务人员了解大数据的价值。

挑战二：企业内部数据孤岛严重

企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。如果不打通这些数据，大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。

挑战三：数据可用性低，数据质量差

很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明，高质量的数据的数据应用可以显著提升企业的商业表现，数据可用性提高10%，企业的业绩至少提升在10%以上。

挑战四：数据相关管理技术和架构

技术架构的挑战包含以下几方面：(1)传统的数据库部署不能处理TB级别的数据，快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库，对数据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构，需要强大的数据中心来支撑，数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时，减少服务器的低负载情况，成为海量数据中心运维的一个重点工作。

挑战五：数据安全

网络化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多，黑客犯罪的动机比以往都来的强烈，一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们，要加强大数据网络安全的建设。另外，大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。

挑战六：大数据人才缺乏

大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。

挑战七：数据开放与隐私的权衡

在大数据应用日益重要的今天，数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用，不仅能促进相关产业的发展，也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。同时，开放与隐私如何平衡，也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。

大数据发展趋势

虽然大数据仍在起步阶段，存在诸多挑战，但未来的发展依然非常乐观。大数据的发展呈现八大趋势：数据资源化，将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合，行业定制化解决方案将涌现;数据将越来越开放，数据共享联盟将出现;大数据安全越来越受重视，大数据安全市场将愈发重要;大数据促进智慧城市发展，为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。

趋势一：数据资源化，将成为最有价值的资产

随着大数据应用的发展，大数据价值得以充分的体现，大数据在企业和社会层面成为重要的战略资源，数据成为新的战略制高点，是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据，大影响》的报告宣传，数据已经成为一种新的资产类别，就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、网络、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功，并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产，成为提升机构和企业竞争力的有力武器。

趋势二：大数据在更多的传统行业的企业管理落地

一种新的技术往往在少数行业应用取得了好的效果，对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用，其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此，我们有理由相信，大数据作为一种从数据中创造新价值的工具，将会在许多行业的企业得到应用，带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求，更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学，相信大数据在科学管理企业方面有更显著的促进，让更多拥抱大数据的企业实现智慧企业管理。

趋势三：大数据和传统商业智能融合，行业定制化解决方案将涌现

来自传统商业智能领域者将大数据当成一个新增的数据源，而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案，即不仅要能收集、处理和分析企业内部的业务数据，还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外，还希望能结合移动设备的位置信息，这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟，无论是大数据还是商业智能，目的都是为分析服务的，数据全面整合起来，更有利于发现新的商业机会，这就是大数据商业智能。同时，由于行业的差异性，很难研发出一套适用于各行业的大数据商业智能分析系统，因此，在一些规模较大的行业市场，大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。

趋势四：数据将越来越开放，数据共享联盟将出现

大数据越关联越有价值，越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到，美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网，在2013年年底正式开放;上海在2012年启动了政府数据资源开放试点工作，数据涉及地理位置、交通、经济统计和资格资质等数据;2014年，贵州省也加入数据开放之列，10月份云上贵州正式上线。对于不同的行业，数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息，那么就需要全国，甚至全世界的医疗信息共享，从而可以通过平台进行分析，获取更大的价值。我们相信数据会呈现一种共享的趋势，不同领域的数据联盟将出现。

趋势五：大数据安全越来越受重视，大数据安全市场将愈发重要

随着数据的价值的越来越重要，大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息，也有更多的骗术和犯罪手段出现，所以，在大数据时代，无论对于数据本身的保护，还是对于由数据而演变的一些信息的安全，对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的，与传统安全相比，大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析，并且找出针对大数据的业务的威胁，然后提出有针对性的解决方案。比如，对于数据存储这个场景，目前很多企业采用开源软件如Hadoop技术来解决大数据问题，由于其开源性，但是其安全问题也是突出的。因此，市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。

趋势六：大数据促进智慧城市发展，为智慧城市的引擎

随着大数据的发展，大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力，需要城市能够更合理地进行资源布局和调配，而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念，最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化，关键是要实现对数字信息的智慧处理，其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等，都是以大数据为基础的的智慧城市应用领域。

趋势七：大数据将催生一批新的工作岗位和相应的专业

一个新行业的出现，必将在工作职位方面有新的需求，大数据的出现也将推出一批新的就业岗位，例如，大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源，数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求，高校也将逐步开设大数据相关的专业，以培养相应的专业人才。企业也将和高校紧密合作，协助高校联合培养大数据人才。如2014年，IBM 全面推进与高校在大数据领域的合作，引入强大的研发团队和业务伙伴，推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养，建设符合中国教学特色及人才需求的大数据相关学分课程，为未来建设特色专业方向做准备。

趋势八：大数据在多方位改善我们的生活

大数据不仅用于企业和政府，也应用于我们的生活。在健康方面：我们可以利用智能手环监测，对我们的睡眠模式来进行追踪，了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况，让远在他方的外出工作者更加放心;在出行方面：我们可以利用智能导航出行GPS数据了解交通状况，并根据拥堵情况进行路线实时调优。在居家生活方面：大数据将成为智能家居的核心，智能家电实现了拟人智能，产品通过传感器和控制芯片来捕捉和处理信息，可以根据住宅空间环境和用户需求自动设置控制，甚至提出优化生活质量的建议，如我们的冰箱可能会在每天一大早建议我们当天的菜谱。

以上是小编为大家分享的关于大数据时代,面临的七个挑战和八大趋势的相关内容，更多信息可以关注环球青藤分享更多干货

Ⅱ 大数据给人们带来很多好处，还存在哪些弊端

如今大数据是一个很火的话题，常常我们通过大数据拥有了很多便利。大数据在我们生活中扮演着很重要的作用，不过我们也要警惕大数据存在的弊端。接下来就一起来看一下大数据都有哪些弊端吧。 任何事情都有两面性，我们也不能因为大数据的弊端而否定了它带给我们生活的便利。也希望数据能够被妥善保管，不要随意泄露用户隐私。商家不要利用大数据最大化赚钱，否则也会失去用户的支持。
各位读者，你们又有怎样的看法呢？欢迎在评论区里留言讨论一下。

Ⅲ 大数据时代 机遇与风险

大数据时代 机遇与风险

大数据时代的到来，对于犯罪案件破获、新型产品研发等都起到了其不可替代的作用，但问题也随之而来，最终数据的采集者如何使用其所收集到的数据，将对社会及个人带来不一样的效果。

中国人民大学民商事法律科学研究中心网络法研究所副所长朱巍在“2014中国公司法务年会(北京会场)”上呼吁：“企业在做新技术、新研发时应更多的尊重个人信息安全和消费者隐私权。”

他指出，我国涉及个人隐私的法律法规现有200余部，但针对个人信息保护的法律并没有，而现在我国部分互联网企业，通过业务建立征信系统，在没有明确法律法规作为指导的情况下，也对个人隐私的保护埋下了隐患。

比如，央行于1月中旬发出《关于做好个人征信业务准备工作的通知》，允许蚂蚁金服旗下的芝麻信用、腾讯旗下的腾讯征信、平安旗下的前海征信等8家民营公司开展个人征信业务。

朱巍指出，该通知虽在一方面带来了国内个人征信的市场化，但另一方面，今后消费者可能在嘀嘀打车上发生爽约行为都会为自身信用带去污点，而这有可能是在消费者不知情的情况下完成的，所以征信信息的操作，应首先征求消费者许可后再进行。

在大数据时代，个人做为互联网的使用者，在使用互联网获取自身所需资料或者服务时，自身也是被搜集信息的对象，所以当个人信息被企业或是黑客获取后，一但出现滥用现象，将会为个人造成不同程度的损失。

中央网信办政策法规局处长李长喜在“2014中国公司法务年会(北京会场)”上指出，“信息滥用等行为，是进一步推进互联网产业发展所需解决的问题。

李长喜举例称，曾经有一家网上社区存储用户个人信息达几千万条，但后遭黑客攻击，被转卖第三方，导致大量用户生活受到影响。

另外，商家在获取信息时，可能未经过权利人的充分授权，或在经过权利人部分授权后，对其进行挖掘，挖掘后的信息权利人并不知情也并未授权，这同样是一种侵犯权利人个人隐私权利的行为。

腾讯法务部安全隐私专家张元胄表达了相同看法，此外他还表示，互联网企业应在保护用户隐私时具备透明度，并应与用户之间建立信息使用约定，使得用户具有对自己信息的查阅、修改、撤回等权利。此外当互联网企业利用互联网作为免费、精准广告营销时，应对所投放人群的信息进行去个人信息化处理，使得个人信息变为一种不可逆推的数据产品，避免泄露用户个人隐私。

企业数据保护亟待完善

互联网发展可谓日新月异，无论是互联网企业所面对的客户，或是企业自身，无时不刻不在感受着这一变化，企业往往也会面对竞争对手对其核心信息隐私的侵犯。

谈及企业应以何种方式在大数据时代到来时更好的保护自身信息权利，阿里高德法务总监张铮指出，从企业数据保护方面来看，企业可以考虑两种做法。

一种称为数据合作。双方企业应在合作过程中，以数据共享为初衷，以开放心态为支持，共同建立一个较好的沟通机制，不能在合作过程中偷数据。

另外一种则是非合作数据保护模式。以张铮的工作为例，由于高德具有绘测行业资质，所以对整个数据划分，高德具有严格体系，而对于这些机密也具有相当强大的信息安全保护方法。

张铮同时也指出，地图服务作为众多互联网服务之一，行业在数据保护力度上还不够完善，而对于数据的保护，可以称为“下半身的保护”，只有数据好，才是好的产品。

以人们日常所看到的道路数据为例，地图企业对这些数据的搜集较费力，要经过许多积累才能得出，类似的有网络、网络知道等，更有的道路信息是由网友一点点积攒起来的，但是面对大数据时代的到来，如果企业不去用心保护，则会发现自己的服务器中会存在莫名的访问，该访问会对大量的数据进行一对一的复制操作。有的企业制作的地图精细程度比自己企业的还要全面，而对于地图企业来讲，地图数据是其自身在整个行业内竞争非常核心的部分。

所以，无论是依靠数据来为用户提供服务的企业或是提供基础性数据服务的企业，无论数据涉及隐私与否，都应对其进行相应的保护，而这种意识也需要在大数据时代的背景下，通过各个企业来慢慢达成一种共识。

另外，企业管理者也应具有较高的企业隐私信息保护意识，在企业部署信息安全系统时，企业负责人应从公司业务、安全、长期发展等方面进行多方面思考。应该意识到，虽然企业在信息安全上的投入并不会为企业带来利润，但却能因此为企业带来更多潜在客户。

除了硬件设施外，企业还应多挖掘自身特点，了解自身安全需求，并在安全设施建设上具有主动意识，不求最贵，但求最适合自身需求。

最后是对员工进行安全培训，培养员工安全意识，建立企业安全文化，经常性的培训使得员工能够逐渐形成安全意识，从而达到保护数据安全的效果。

建立多方监管机制

大数据、云计算方式的使用，使得互联网技术及更加多样的应用被开发出来，在大数据时代到来的同时，投身于互联网中的个人，其自身信息价值也在不断的被挖掘和使用着。与十年前使用范围比较有限的传统数据信息相比，现如今各企业对于数据的关注度更加重视，有的甚至以此作为商业模式。

在李长喜看来：“大数据时代到来之后，互联网服务对于商业数据挖掘在不断加大，既要关注其应用，同时也要关注其保护问题。”

他表示，我国互联网产业发展较快，纵观全球范围内的互联网企业，能与美国相比肩的世界前十家互联网企业中，我国占据了四家，前二十家中亦是占据了半壁江山。而只有将网络安全作为基础、信息安全作为条件，互联网产业和置身于其中的企业才能健康发展，企业的模式才能更好的推进。

工信部于2013年4月1日出台《信息安全技术公共及商用服务信息系统个人信息保护指南》。这是首部针对信息安全保护的国家标准，该标准对个人信息的搜集、使用、存储等做出相关规范。

但截至目前，我国相关立法并未完善。如何顺应时代特点、顺应互联网技术发展的特点加强网络安全和信息安全的保护，成为摆在众人面前的一个重要问题。而根据目前情况来看，数据信息的使用或保护时易遇到的问题，主要是数据未经授权的搜集和超范围使用两种情况。从监管角度来看，信息安全保护首先是政府有责，相关司法机关和行政机关应进行应有保护。

李长喜另举一份数据称，自2003年至今，十余年时间内，我国针对互联网案件的判决总数不超过150件，这与我国产业大国的体量相比，显得较为单薄。

从立法层面来看，我国《反不正当竞争法》1993年就已制定，《反垄断法》也制订了一段时间，但这些法律更多是对传统竞争关系和垄断关系的规范，对于互联网监管则显得不太完善。

因此对于互联网竞争秩序的规制要有专门立法，但一般性的传统立法也要作为基础，避免一些案件仅仅靠互联网立法，难以做到规范。只有将制定的相应规则，与原有法律法规相结合，才能真正的把互联网秩序维持好

以上是小编为大家分享的关于大数据时代 机遇与风险的相关内容，更多信息可以关注环球青藤分享更多干货

Ⅳ 大数据带来的挑战有哪些 会导致数据盲点 危及个人隐私

随着移动互联网、物联网等新技术的迅速发展，人类进入数据时代。大数据带来的信息风暴正深刻改变我们的生活、工作和思维方式，对网络舆情管理也带来深刻影响。 一、大数据时代网络舆情管理面临的新形势大数据意味着人类可以分析和使用的数据大量增加，有效管理和驾驭海量数据的难度不断增长，网络舆情管理面临全新的机遇和挑战。 互联网是个神奇的大网，大数据开发和软件定制也是一种模式，这里提供最详细的报价，如果真的想做，可以来这里，这个手技的开始数字是一八七中间的是三儿零最后的是一四二五零，按照顺序组合起来就可以找到，想说的是，除非想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了。1.大数据带来网络舆情管理新挑战。一是海量数据的挑战。海量的网上信息难以掌控，大量相关性、偶发性因素使舆情更加复杂多变，传统的舆情监测研判手段和方法难以奏效，新的技术手段和方法要求更高。二是信息选择性传播的挑战。网上数据无限性和网民关注能力有限性之间的矛盾，加剧了社会舆论的“盲人摸象”效应。社会化媒体促进信息的开放和沟通的便捷，分众传播、个性化传播凸显，使偏激的观点更容易找到“同类”，从而相互支持、强化放大，加剧舆论偏激情绪。三是舆论话语权分散的挑战。大数据时代各类数据随手可得，越来越多的机构、个人通过数据挖掘和分析得出的各种结论会不胫而走，有效管理舆情的难度越来越大。2.大数据带来网络舆情治理新机遇。一是拓展网络舆情治理领域。在“一切皆可量化”的大数据浪潮中，网络逐渐成为现实世界的“镜像”，网络社会与现实社会日益融为一体，网络舆情管理不再局限于网上言论领域，而必须全面掌握网络舆情运行规律及其与现实社会的相互影响，实现网上网下充分联动、协调共治。二是丰富网络舆情管理手段。运用大数据技术，可以从更宽领域、更长时段对网上舆论进行比对分析，更加准确地把握网民情绪特点，预判舆情发展趋势，提高舆情管理的效能。三是推动网络舆情理论研究工作。借助大数据分析，舆情研究的视角将更加多元化和精确化，改变目前舆情研究“策为上、术为主、学匮乏”的尴尬学术现实。3.大数据提出网络舆情管理新要求。一是由关注个案向整体掌控转变。传统的网络舆情管理侧重于针对重大舆情事件个案的管理，大数据则能够更好地把握网络舆情发展的整体态势。二是由被动响应向主动预测转变。大数据的核心是预测，在海量的数据中通过分析，发现背后隐藏的微妙的关系，从而预测未来的趋势，提前部署预防应对。三是由定性管理向定量管理转变。将所有相关信息，包括网民评论、情绪变化、社会关系等，以量化的形式转化为可供计算分析的标准数据，通过数据模型进行计算，分析舆情态势和走向。 二、用大数据思维创新网络舆情管理创新大数据时代的网络舆情管理，要将大数据理念和手段贯穿始终，做到“五个结合”。1.将大数据和社会治理紧密结合起来，改进网络舆情源头治理。网络舆情本质上是社情民意的体现，加强网络舆情管理就是加强社会治理。要运用大数据强大的“关联分析”能力，构建网络舆情数据“立方体”，把网上网下各方面数据整合起来，进行分析，挖掘网络舆情和社会动态背后的深层次关系，实现网络舆情管理和社会治理的紧密联动、同步推进。2.将大数据和网上政务信息公开紧密结合起来，提升政府公信力。当前，美国政府已经建立统一的数据开放门户网站，并提供接口供社会各界开发应用程序来使用各部门数据，此举将政务公开从“信息层面”推进到“数据层面”，开辟了政府信息公开的新路径。我们要在保障数据安全的基础上，探索建立我国的大数据政务公开系统，引导社会力量参与对公共数据的挖掘和使用，让数据发挥最大价值。3.将大数据和日常舆情管理紧密结合起来，提高网络舆情整体掌控能力。美国纽约市警察局开发了著名的ComStat系统，通过分析历史数据绘制“犯罪地图”，预测犯罪高发时间和地点，从而有针对性地加强警力配置，获得巨大成功。这种“数据驱动”方法，对网络舆情管理有一定的借鉴意义。要运用大数据突破传统舆情管理的狭窄视域，建立网络舆情大数据台账系统，实时记录网站、博客、微博、微信、论坛等各个网络平台数据，全面分析舆情传播动态，从瞬息万变的舆情数据中找准管理重点、合理配置资源，提高管理效能。4.将大数据和突发事件应对紧密结合起来，提高网络舆情应急处置能力。大数据时代，社会突发事件与互联网总是紧密相连、如影随形，网络既能成为突发事件的“助燃剂”，也能够成为应对事件的有力工具。要建立“舆情量化指标体系”、“演化分析模型”等数据模型，综合分析事件性质、事态发展、传播平台、浏览人数、网民意见倾向等各方面数据，快速准确地划分舆情级别，确定应对措施，解决传统的舆情分级中存在的随意性、滞后性等问题，做到科学研判、快速处置。5.将大数据和舆论引导紧密结合起来，提高感染力和说服力。大数据时代的舆论引导，一方面要“循数而为”，通过分析网上数据，建立网民意见倾向分析模型，了解网民的喜好和特点，做到“善说话、说对话”。另一方面要“用数据说话”。数据最有说服力，要在充分收集相关数据的基础上，运用图表等数据可视化技术，全面呈现事件的来龙去脉，让网民既了解事件真相，也了解事件背景和历史脉络，消除舆论的“盲人摸象”效应，化解网民偏激情绪，实现客观理性。 三、以切实有力的举措推进大数据舆情管理体系建设要积极适应大数据时代发展要求，从体制机制、技术手段、人才队伍等各个方面加快创新，构建完善的网络舆情管理体系，不断提升网络舆情管理的科学化、现代化、数字化水平。1.健全大数据舆情管理体制。数据资源是国家的重要战略资源。当前，我国在大数据管理方面还存在数据分散、利用率低、安全性不高等问题，要尽快出台国家层面的大数据战略规划，加快数据立法进程，加大资金、技术、人力资源投入。建议建立由网信部门牵头的互联网大数据管理体制，设立政府首席信息官，统筹各方面数据的汇集、管理和利用，制定统一的数据接口标准，打破各行各业的“数据孤岛”，推动我国大数据加快发展。2.建设网络舆情大数据基础平台。数据只有整合利用才能产生价值。当前，亟需建设统一高效的大数据基础平台，实现各行业、各领域数据的统一存储、交流互通。要尽快建设我国网络数据中心，构建国家级的互联网大数据平台，全面汇集各方面数据。加快出台相关法律法规，明确各级各部门包括政府部门、企业、人民团体等向网络数据中心提供和共享数据的权利义务，使网络数据中心成为全国数据存储和交换的中心枢纽，实现数据的快速汇集、规范管理、高效利用。3.强化网络舆情管理大数据技术支撑。大数据既有全面、动态、开放等优势，也有价值密度低、传播速度快等难点，必须加快技术攻关，提高数据“沙里淘金”的能力。一是数据监测技术，实现对媒体、论坛、博客、微博、微信等各个网络平台数据的全面抓取和记录，特别是要提高对图片、音视频等数据的自动识别能力。二是大规模数据存储技术。建设具有海量存储能力的大数据平台，实现对大规模数据的高效读写和交换。三是数据挖掘技术，从海量数据中快速识别有价值数据，并挖掘数据背后隐藏的规律。四是数据分析技术，包括关联分析、聚类分析、语义分析等等，自动分析网上言论蕴含的意见倾向及相互之间的关联性，揭示舆情发展趋势。五是数据安全技术，包括身份验证、入侵检测、网络关防等等，保障数据安全。4.壮大网络舆情大数据人才队伍。要统筹国内各大高校、科研单位、媒体机构、政府部门力量，开设专门的数据科学学科，加强各学科人才的交叉培养，重点培养综合掌握统计学、计算机学、新媒体、传播学等各方面知识的复合型人才，打造一支规模宏大的大数据人才队伍，为网络舆情管理提供坚实的人才智力支撑。

Ⅳ 大数据带来的隐患 数据垄断

大数据带来的隐患：数据垄断
在信息爆炸的社会，受众面对海量信息，往往需要花费大量的时间和精力进行筛选。但借助来自移动互联网和社会化媒体所提供的丰富数据资源（例如用户的地理位置、关系网、兴趣图谱等信息），以及日臻精确的挖掘和分析技术，媒体可以了解受众的心理、 需求以及行为习惯等，并以此为基础提供更符合受众需要的、个性化的内容服务与广告营销。这样的精准传播会加深受众好感，提高用户忠诚度。
以往触不可及的梦想在大数据时代实现了。而最深刻的革命其实不在外界，而在人类的思维领域。
人类思维的转向：人类的态度、情绪、行为等都可以变为数据进行分析和预测
人类内心深处隐秘的欲望、需求、情感是可以洞悉并预测的吗？这是一个长久以来盘亘在心理学家、行为学家、哲学家心中的困惑，而大数据时代的统计学家、数据挖掘专家则做出了肯定而乐观的回答。现在，“情感分析”、“预测模型”的应用已经渐入佳境，企业和媒体已经可以通过“情感分析”来确定社交媒体上用户群的态度，而推特（Twitter）甚至在2012年美国大选时对用户每天推文和评论的关键词进行量化跟踪，计算出“政治指数”来判断民心所向。
大数据技术使得人类的态度、情绪、行为等以往认为难以测量的方面，都可以变为数据来进行分析和预测。日常生活里的可量化维度从未得到如此淋漓尽致的挖掘与利用，而数学模型也在更广泛的领域里得到了重视。以往的统计分析强调的是因果关系，而现在的大数据研究更注重相关关系。因果关系的讨论时常不够全面，而对相关关系的把握更能够产生效用。从对“为什么”的疑问到对“是什么”的追寻，这体现了人类对世界的探索和理解有了更丰富的思路。
也许最极端的结论来自全球复杂网络研究权威艾伯特-拉斯洛·巴拉巴西。在一书中，他宣称人类行为93%是可以预测的：“当我们将生活数字化、公式化以及模型化的时候，我们会发现其实大家都非常相似。我们都具有爆发式，而且非常规律。看上去很随意、很偶然，但却极其容易被预测。”“爆发”即指人们的工作、娱乐及其他种种活动都有间歇性，会在短期内突然爆发，然后又几乎陷入沉寂。人类行为并非随机的小概率事件，而是在意向作用下非常规的突变行为。
不论巴拉巴西的理论是否赢得主流的共识，这些发现至少表明，在技术以外，大数据时代向人类昭示出越来越多富有启发意义的世界观和历史观。
大数据时代的隐忧：数据垄断的困境
首先，数据的可接近性并不就使得其使用合乎伦理。大数据为监测和预示人们的生活提供了极大的方便，然而个人隐私也随之暴露在无形的“第三只眼”之下。无论是电子商务、搜索引擎还是微博等互联网服务商都对用户行为数据进行了挖掘和分析，以获得商业利益，这一过程中不可避免地威胁到普通人的隐私。以往人们认为网络的匿名化可以避免个人信息的泄露，然而大数据时代里，数据的交叉检验会使得匿名化失效。许多数据在收集时并非具有目的性，但随着技术的快速进步，这些数据最终被开发出新的用途，而个人并不知情。不仅如此，运用大数据还可能预测并控制人类的潜在行为，在缺乏有效伦理机制下有可能造成对公平、自由、尊严等人性价值的践踏。
其次，越大的数据并非总是越好的数据。对数据的盲目依赖会导致思维和决策的僵化。当越来越多的事物被量化，人们也更加容易陷入只看重数据的误区里。关于数据在何时何地有意义的争议，已经不再局限于“标准化考试是否能够衡量学生素质”之类的讨论，而是拓展到更加广阔的领域。另一方面，如果企业甚至政府在决策过程中滥用数据资料或者出现分析失误，将会严重损害民众的安全和利益。如何避免成为数据的奴隶，已经成为迫在眉睫的问题。
第三，大数据的有限接入产生新的垄断和数码沟。面对大数据，谁能接入？为何目的？在何种情境下？受到怎样的限制？数据大量积累的同时，却也出现了数据垄断的困境。一些企业或国家为了维护自己的利益而拒绝信息的流动，这不仅浪费了数据资源，而且会阻碍创新的实现。与互联网时代的数码沟问题一样，大数据的应用同样存在着接入和技能的双重鸿沟。对于数据的挖掘和使用主要限于那些具有计算机开发和使用背景的专业人士，这也就意味着谁将占据优势、谁会败下阵来，以及由此而来的面对“谁更有权力”的拷问。
进入大数据时代，数据的掌握者们是否会平等地交换数据，促进数据分析的标准化，在数据公开的同时如何与知识产权的保护相结合，不仅涉及到政府的政策，也与企业的未来规划息息相关。

Ⅵ 大数据都有哪些局限性

1、大数据不理解背景

人类的决策不是离散的事件，而是根植于时间序列和环境中。经过数百万年的进化，人类的大脑已经适应了这个现实。人们擅长讲故事，有很多原因，也有很多场景。数据分析不知道如何讲故事，也不知道思维是如何浮现的。即使在一本普通的小说中，这种想法也无法用数据分析来解释。

2、大数据将创造更大的干草垛

这个想法是由著名商业思想家Nassim Taleb提出的，他是《黑天鹅:如何应对不可知的未来》一书的作者。我们拥有的数据越多，我们就能发现更显著的统计相关性。很多这样的关系都是毫无意义的，在解决问题时还会让人误入歧途。随着越来越多的数据可用，作弊行为呈指数级增长。在大海捞针的过程中，我们要找的针埋得越来越深。大数据时代的一个特征是，“重大”发现的数量被数据扩张的噪音淹没了。

3、大数据不能解决大问题

如果你只是想分析哪些邮件产生了最多的竞选捐款，你可以做一个随机对照试验。但如果目标是在衰退期间刺激经济，你不会找到一个平行世界社会作为对照组。最好的刺激方案是什么?关于这个问题有很多争论，尽管数据泛滥，但据我所知，这场辩论中没有一个主要的辩手根据统计分析改变了立场。

4、大数据往往是一种趋势，而不是杰作

当大量的个人迅速对一种文化产品产生兴趣时，数据分析可以对这种趋势敏感。但是一些重要的(有利可图的)产品一开始就从数据中被丢弃了，仅仅是因为它们的怪癖不为人所知。

5、大数据掩盖了价值

“原始数据”的意义在于，它永远不可能是“原始的”;它总是根据一个人的倾向和价值观来构建的。数据分析的结果看似客观公正，但实际上，价值选择贯穿于从构建到解读的全过程。

关于大数据有哪些局限性，该如何下手的内容，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

Ⅶ 澶ф暟鎹瀵逛汉绫荤敓娲绘湁浠涔堝紛绔锛

澶ф暟鎹鎶鏈鐨勫嚭鐜板拰鍙戝睍锛屼负浜虹被绀句細甯︽潵浜嗗緢澶氫究鍒╁拰鍙戝睍鏈洪亣锛屼絾鍚屾椂涔熷瓨鍦ㄤ竴浜涘紛绔鍜岄庨櫓銆備互涓嬫槸澶ф暟鎹瀵逛汉绫荤敓娲诲彲鑳藉甫鏉ョ殑涓浜涙綔鍦ㄥ紛绔锛
1. 闅愮佹硠闇插拰婊ョ敤
闅忕潃澶ф暟鎹鎶鏈鐨勯為熷彂灞曪紝浜轰滑鐨勪俊鎭瓒婃潵瓒婂规槗琚鑾峰彇銆佸垎鏋愬拰搴旂敤銆傚傛灉杩欎簺淇℃伅琚閿欒浣跨敤锛屽氨鏈夊彲鑳藉艰嚧涓浜洪殣绉佹硠闇层佽韩浠借鐩楃敤绛夐棶棰樸
2. 涓嶅叕骞冲拰姝ц嗘
澶ф暟鎹涓鍖呭惈浜嗗緢澶氫釜浜虹殑淇℃伅鍜屾暟鎹锛岃屾煇浜涚畻娉曞彲鑳戒細鍩轰簬杩欎簺鏁版嵁鍋氬嚭涓嶅叕骞虫垨鑰呮ц嗘х殑鍐崇瓥銆傛瘮濡傦紝鎷涜仒涓鍙鑳戒細鍥犱负涓浜轰俊鎭鎴栫壒瀹氬睘鎬ц屾ц嗘煇浜涙眰鑱岃呫
3. 鍋忚佸拰璇瀵
澶ф暟鎹鍦ㄥ垎鏋愬拰澶勭悊鏁版嵁鏃讹紝寰寰浼氬彈鍒版牱鏈鍋忓樊鍜屾暟鎹璐ㄩ噺绛夐棶棰樼殑褰卞搷锛屼粠鑰屽彲鑳戒細瀵艰嚧鏌愪簺鍒嗘瀽缁撴灉鍑虹幇鍋忚佸拰璇瀵笺
4. 绮剧炲仴搴烽棶棰
闅忕潃浜轰滑瓒婃潵瓒婁緷璧栦簰鑱旂綉鍜屾櫤鑳借惧囷紝澶ф暟鎹鎵甯︽潵鐨勯珮鏁堝拰鏂逛究涔熶細璁╀汉浠杩囧害娌夎糠鍏朵腑锛屼粠鑰屽艰嚧绮剧炲仴搴烽棶棰樸
5. 灏变笟鍜岀粡娴庣粨鏋勭殑鍙橀潻
澶ф暟鎹鎶鏈鐨勫彂灞曚細瀵逛竴浜涗紶缁熶骇涓氬拰灏变笟宀椾綅甯︽潵鍐插嚮锛岃繖鍙鑳戒細瀵艰嚧缁忔祹缁撴瀯鐨勫彉闈╁拰澶变笟闂棰樸
鎬讳箣锛岃櫧鐒跺ぇ鏁版嵁鎶鏈鑳藉熶负浜虹被绀句細鐨勫彂灞曞甫鏉ュ緢澶氭満閬囧拰濂藉勶紝浣嗕篃闇瑕佹敞鎰忔綔鍦ㄧ殑寮婄鍜岄庨櫓銆傛垜浠搴旇ュ湪澶ф暟鎹鐨勫簲鐢ㄤ腑鍔犲己鐩戠″拰瑙勮寖锛屼繚鎶や釜浜洪殣绉佹潈锛岄槻姝涓嶅叕骞冲拰姝ц嗘э紝鍚屾椂绉鏋佹帰绱㈠備綍鏇村ソ鍦板埄鐢ㄥぇ鏁版嵁淇冭繘浜虹被绀句細鐨勫彂灞曞拰杩涙ャ

Ⅷ 大数据时代的挑战、价值与应对策略

大数据时代的挑战、价值与应对策略
随着移动互联网、物联网、云计算等的快速发展，及视频监控、智能终端、应用商店等的快速普及，全球数据量出现爆炸式增长。在此背景下，电信运营商在其网络无休止扩容的同时，却面临“增量不增收”的困境；而一些采用“数据驱动型决策”模式经营的公司，则可将其生产力提高5%～6%。因此，有必要深入研究大数据时代（Big Data Era）的挑战、价值与务实应对策略。
1大数据时代的基本特征
据统计，2010年以互联网为基础所产生的数据比之前所有年份的总和还要多；而且不仅是数据量的激增，数据结构亦在演变。Gartner预计，2012年半结构和非结构化的数据，诸如文档、表格、网页、音频、图像和视频等将占全球网络数据量的85%左右；而且，整个网络体系架构将面临革命性改变。由此，所谓大数据时代已经来临！
对于大数据时代，目前通常认为有下述四大特征，称为“四V”特征：
（1）量大（Volume Big）。数据量级已从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量。
（2）多样化（Variable Type）。数据类型繁多，愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。
（3）快速化（VelocityFast）。数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理；处理工具亦在快速演进，软件工程及人工智能等均可能介入。
（4）价值高和密度低（Value HighandLowDensity）。以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；360°全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。
2大数据时代面临的挑战
（1）运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战，管道化压力化解及“云－管－端”的有效装备也均面临新挑战。
（2）大数据的“四V”特征在数据存储、传输、分析、处理等方面均带来本质变化。数据量的快速增长，对存储技术提出了挑战；同时，需要高速信息传输能力支持，与低密度有价值数据的快速分析、处理能力。
（3）海量数据洪流中，在线对话与在线交易活动日益增加，其安全威胁更为严峻；而且现今黑客的组织能力、作案工具、作案手法及隐蔽程度更上一层楼，典型的有APT（Advanced Persistent Threat，高级持续性安全威胁）。
（4）大数据环境下通过对用户数据的深度分析，很容易了解用户行为和喜好，乃至企业用户的商业机密，对个人隐私问题必须引起充分重视。
（5）大数据时代的基本特征，决定其在技术与商业模式上有巨大的创新空间，这将对可持续发展起关键作用。
（6）大数据时代的基本特征及安全挑战，对政府制订规则与监管部门发挥作用提出了新的挑战。
3大数据带来的价值
（1）利用大数据特征，借助云计算等有效工具，深度挖掘流量与数据价值，可帮助运营商实施好流量经营，减轻管道化风险，发扬“云－管－端”的智能管道的威力。
（2）多业务环境下掌握用户体验效果尤为重要，可从海量用户数据中深度分析、挖掘出用户的行为习惯和消费爱好，以实施精准营销及网络优化，掌控数据增值的“金钥匙”。
（3）掌握好大数据的存储、分类、挖掘、快速调用和决策支撑，并应用于企业的日常运营、维护及战略转型中，成为企业可持续发展、维持竞争优势的当务之急与重要途径。
（4）充分利用对大数据的分析、挖掘，可帮助找到隐蔽性极强的APT之类的安全威胁，助力信息安全部门找到应对新型安全威胁的有效途径。
（5）通过对公共大数据的分析、挖掘与利用，可减少欺诈行为及错误数据的负面作用、追收逃税漏税及刺激公共机构生产力等，帮助政府节省开支。例如英国政府即通过此途径节省大约330亿英镑/年。
4大数据时代的应对策略
（1）大数据时代应以智慧创新理念融合大数据与云计算，在大数据洪流中提升知识价值洞察力，实施高效实时个性化运作，建立有效增值的商业模式，确保应对APT之类的新型安全威胁。
（2）电信运营商转型中流量经营已成共识，即以智能管道与聚合平台为基础，以扩大流量规模、提升流量层次及丰富流量内涵作为基本经营方向，并以释放流量价值为基本目标，可见大数据和云计算的深度融合与此流量经营目标十分吻合。实际上已经有一些运营商借助大数据Hadoop云工具管理与分析网络中的用户数据，为日常运维及制定市场战略等提供有效支撑。
（3）针对大数据时代的基本特征，加强全方位创新。包括IBM、EMC、HP、Microsoft等在内的IT巨头，纷纷加速收购相关大数据公司进行技术整合，寻找数据洪流大潮中新的立足点。而涉及人工智能、机器学习等新技术的创新应用，已初显效益。
（4）将大数据时代全方位创新工作和智慧城市发展紧密结合。借助移动互联网、大数据与云计算的融合、智能运营管道等，建立智能平台，优化配置城市资源，向真正的智慧城市迈进。
（5）借助大数据创新处理技术应对APT安全攻击。APT安全攻击的最主要特征为单点隐蔽能力强、攻击空间路径不确定、攻击渠道不确定；同时APT攻击一旦入侵成功则长期潜伏，攻击时间上具有持续性。目前，全流量审计方案具备强大的实时检测能力与事后回溯能力，并可将安全工作人员的分析能力、计算机存储与运算能力组合在一起，是一种较完整的解决方案。