电信大数据背景

『壹』 运营商迎来大数据时代 管理和分析是大挑战

运营商迎来大数据时代：管理和分析是大挑战
大数据不是新的概念，在移动互联网发展起来后，数据增长速度加快，整个产业压力突出，传统数据库技术已无法满足运营商对大数据充分利用的需求的背景下，大数据成为近年来的热点。对运营商来说，数据爆发性增长后，带来的收入并未改观，因此，运营商面临着数据流的附加值被互联网公司赚走的挑战，同时面临沦为管道化的尴尬，如何利用好运营商手中的大数据，成为需要面对的问题。

运营商面临数据管理和分析挑战
易观国际分析师黄萌表示，大数据发展时间不长，随着云概念和3G的深入发展，运营商数据压力增大，同时IDC扩容，偏向以存储为主的云服务业务。
运营商新业务的涌现，导致数据暴增。信令数据、互联网数据其规模已经达到数百TB,甚至PB规模。此外，据EMC数据计算事业部大中国区总经理刘伟光介绍，数据的价值除了与数据规模相关，还与数据处理周期成正比关系。也就是，数据处理的速度越快、越及时，其价值越大，发挥的效能越大。而除了分析传统结构化数据外，随着新增值业务拓展，运营商对实现跨结构化、半结构化、非结构化数据进行高效分析有着愈发强烈的诉求。
而运营商面对海量数据和数据结构的变化，不仅是成本，还有管理和分析的挑战。黄萌认为，运营商相对互联网企业有优势，具有雄厚的资源和庞大的IDC集群，拥有电信级的运营网络，具有保证大数据实时、畅通传送的能力，同时具有网络资源和运营能力。而相对互联网企业劣势的地方在于上层应用，尤其是在Saas层面。
大数据有待深挖掘
南京邮电大学卢扞华教授认为，大数据时代主要是对技术的综合运用和对数据的深度挖掘。对运营商来说，大数据带来的机会大于挑战。运营商有自己的网络，积累了大量非常有价值的数据，可以进行客户分析。利用网络收集数据，对运营商运营方式的改变是个机会。
真正实现精准化营销和精细化运营的秘诀就在于如何利用好运营商手中的大数据。海量话单、信令、互联网数据本身就是一笔宝贵的财富。利用好这些数据，充分、及时地对这些数据进行深度分析挖掘，不仅可以进一步提升服务质量、提高客户忠诚度、挖掘新商机、增加收入，还可以通过优化资源配置、减少浪费来提升运营效率，有效降低运营成本。
此外，电信运营商信息化实施比较早，本身大数据积累的也多，例如以前的日志信息，包含用户信息和设备信息，可以进行挖掘使用。运营商越来越重视对数据的挖掘，可以获得未来开发业务和开拓市场的机会。另一方面，分析结果不会涉及隐私，管理好了可以更少产生法律纠纷。此外，电信运营商通过数据分析还可以提供面向社会的信息应用。[page]
卢扞华教授认为，大数据是对技术的综合应用，要有开放、融合、服务和创新的心态，大数据可以为运营商创造另一片天地。例如一个大数据的应用通过收集数据，对大量图片进行分析，最终形成一个场景图。这就是对数据分析、统计技术、图片处理技术和人工智能合成技术的综合运用。据悉，南邮正在开发这方面的应用。
据了解，目前中国三个电信运营商在业务支撑领域、网管IT支撑领域包括增值业务领域，已经随着市场的需求诞生了很多新的大数据实时分析的项目。目前，大数据主要应用在运营商的"信令"系统分析上，此外，运营商还可以通过"用户行为分析"系统，进行精准营销。运营商还提供IDC服务，通过"云"中心的方式为互联网企业提供服务。
对公市场前景巨大
黄萌表示，单批、单次数据爆发性增长，对其进行的可知的时间处理能力是关键点。对运营商来说，IDC服务在对政府和高校、企业等非个人业务市场上前景巨大；对于个人业务，运营商刚开始做，由于回收投资较慢、离散性强，现在主要是针对个人精准运营的业务。智能管道方面，运营商正在基于大数据平台进行流量分析，但是落地的项目少。
据介绍，运营商大数据战略还不太明晰，但是有了一些建树。去年十月份中国移动开始做的"大云"、数据管理系统和平台，覆盖很多园区、学校，2.0技术比1.0技术大幅提升；中国联通2010年开始对企业提供IDC服务，截至目前，营收超20亿元（人民币）；中国电信2011年成立云公司，尚无实体业务，IDC托管规模相对联通小很多。
据电信专家韩少敏介绍，数据类型分为非结构化数据和媒体流，运营商开展大数据分析面对的问题主要是硬件能力。数据一方面是纵向关系，比如"信令",采用水平分隔数据的方式就可以，按照时间段分别存储分析。此外还有横向关系，需要垂直分隔，由于查询复杂，需要引入真正的算法去做。韩少敏认为，目前掌握这方面能力的人才奇缺。并且，运营商在分布式数据库方面少有进展。而从应用角度，大数据一方面用作于统计分析，建数据仓库，其次还有非文本查询，现在大多数数据库公司可以做以上两个方面，而对于关系型数据共享层面，目前还做不了。
中国联通在IDC服务方面走在三家运营商前面，其面向企业提供服务，目前通过按关系水平分隔的方式，将数据集中起来，但是一旦到关系型数据的共享层面，因为没有数据模型，找不到底层的数据库血缘，目前的方案无法解决问题。但是运营商目前做这些数据积累，可以为将来发展提供机会。
刘伟光认为，对于运营商来说，大数据等于大价值。对于IT企业，大数据等于大机遇。通信行业需求从来都是IT技术发展的重要推动力，谁能得到通信行业客户的认可，必然会在大数据领域大有作为，进而成为大数据解决方案的领先者、领导者。

『贰』 电信运营商转型发展如何应用大数据

因此，运营商拥有的是更加名副其实的大数据，如果将这些数据加以应用，必将为运营商带来巨大的商业价值。 大数据为电信行业带来巨大变化 Gartner预测到2020年大约75%的企业都将大数据分析融入其日常经营决策中，未来大数据分析将成为企业经营的一项基本能力。 根据Sysbase的统计分析，电信行业通过在运营中应用大数据，人均产值提升了17%，而在行业价值贡献方面更是排在了所有行业的首位。在电信行业收入增幅日趋放缓的今天，这样的产值增幅无疑是鼓舞人心的。 通过构建行业大数据分析系统让运营商具备了大数据分析处理的技能，但这只是在大数据时代获得成功的基础；运营商还需要从企业战略和经营思维层面改变，发现新的机遇和模式并付诸实施，才能真正将自己所掌握的大数据资产和大数据技能转变为企业价值。 大数据运用的四个类型 运营商运用大数据主要有四个类型。首先，在市场层面，运营商可以利用大数据对自身的产品进行服务，通过大数据分析用户行为，改进产品设计，并通过用户偏好分析，及时、准确进行业务推荐，强化客户关怀，这样就可以不断改善用户体验，增加用户的信息消费以及对运营商的粘稠度；其次，在网络层面，可以通过大数据分析网络的流量、流向变化趋势，及时调整资源配置，同时还可以分析网络日志，进行全网络优化，不断提升网络质量和网络利用率；第三，在企业经营层面，可以通过业务、资源、财务等各类数据的综合分析，快速准确地确定公司经营管理和市场竞争策略；第四，在业务创新层面，可以在确保用户隐私不被侵犯的前提下，对数据进行深度加工，对外提供信息服务，为企业创造新的价值。这样，大数据将助力运营商实现从网络服务提供商，向信息服务提供商的转变。 由于大数据产业具有强烈互联网特征，现有的运营模式很难帮助运营商实现大数据产业的迅速发展，这是因为，对于大数据产业，运营商传统的金字塔式的组织结构已经过时，传统架构的信息系统及组织架构已无法应对海量数据和创新型应用，那种由上而下的运营模式无法更接近用户的需求，显然已经阻碍运营商自身大数据产业的纵深发展。根据市场需求，运营商必须全面转向以客户和消费者为中心的运营体系，重新梳理企业的经营模式和组织架构，这就是模式的创新，大数据产业发展要求运营商实现管理经营和市场信息系统完美对接，新型大数据应用必将助力运营商向信息服务模式转型。 面向大数据时代，运营商的及时转型成为必然，否则将有被互联网企业超越的可能性。理论上讲，运营商拥有颇具优势的大数据资源并不是完全不可替代，例如，用户的位置信息就可以通过多种APP应用获得，用户的网络使用信息也可以通过多家互联网企业合作获取，互联网企业通过泛互联网化收集更多的大数据信息。另一方面，多行业的垂直整合将成为趋势，在数据应用层面，行业企业通过多种手段搜集大量的用户数据，将更贴近用户，更理解用户，为其提供更适当的服务，大数据将成为资产更具有战略意义，各个行业及单位都在关注大数据。 根据大数据数量大、时效性要求高、数据种类及来源多样化等特征，运营商首先获取更多有用的大数据资源，例如，很多的网络运行信息，包含大量有价值的用户行为和位置信息，这样的信息可以加以利用。有了资源应该加以利用，避免大数据资源的浪费。事实上，一些运营商拥有大数据这样的金山，却似乎无奈坐看并逐渐沦为管道，在不断强化传统市场的效益考核，却好像在忽视大数据价值的流失。 直面数据分析挑战 当然，海量数据的出现、数据结构的改变，也给运营商的大数据管理及分析带来了挑战，一是由于多种业务的发展、市场需求的变化和网络规模的扩大使得运营商大数据迅速的增加，这增加了运营商大数据存储和处理的难度，使得现有数据仓库无法线性扩容，这表明传统的数据仓库无法有效存储日益增长的业务数据；二是由于新型大数据服务不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行多用户、多应用、实时有效的分析，传统的架构和数据仓库处理已不能满足新的信息服务需求。因此，运营商需要建立新型大数据中心，来存储、分析和处理海量数据，必要的投入是必不可少的。 大数据产业出现和发展是现代信息技术与互联网时代海量信息的发展到一定阶段的必然结果，大数据应用将是海量数据、现代信息技术与各种社会应用的一次化学反应，必将对当今社会的信息技术、商业模式和相关的法律法规产生深刻的变革。

『叁』 大数据背景下的信息安全问题探讨

大数据背景下的信息安全问题探讨
大数据具有体量巨大、类型繁杂、处理速度快、价值密度低四大特点，因此，对于个人来说，难以处理极其庞大的数据，只有国家和大型企业等组织或集团才有可能获取到各种敏感信息；大数据所搜集提取的个人信息可能连本人都不完全知晓，比如个人的行为特征、语言风格、爱好兴趣等。在大数据时代如何保护个人敏感信息或隐私，必将成为高难度的世界课题。
2013年6月，美国前中情局雇员斯诺登曝光了始于2007年小布什时期美国国家安全局和联邦调查局启动的代号为“棱镜”的秘密项目。美国国家安全局通过接入雅虎、谷歌、微软、苹果等9家美国互联网公司中心服务器，对邮件、图片、视频、电话等10类数据进行监控，以搜集情报，监视民众的网络活动。“棱镜”项目缘于2004年美国政府的“星风”监视计划。但是，当时小布什政府由于法律程序等敏感问题而做出让步，美国本土的监听项目有所缩减。为了“星风”计划的继续进行，小布什政府通过司法程序将“星风”监视计划分拆成由国家安全局执行的4个监视计划，包括“棱镜”、“主干道”、“码头”和“核子”，均交由美国家安全局执掌。“棱镜”项目用于监视互联网个人信息。“主干道”和“码头”项目负责存储和分析通信和互联网上数以亿兆计的“元数据”。元数据主要指通话或通信的时间、地点、使用设备、参与者等，不包括电话或邮件等的内容。“核子”项目负责内容信息的获取，截获电话通话者对话内容及关键词，通过拦截通话以及通话者所提及的地点，来实现日常的监控。由此可见，斯诺登不仅揭露了美国的大规模窃听计划，更揭示了大数据时代国家信息安全保护问题。大数据的分析与使用，无论对个人（如跟踪健康状况防范疾病）、对企业（如了解市场偏好以有效安排产品设计生产营销）乃至对国家（如防范疫情或恐怖主义）显然都有巨大的好处，从商业用途来说，谷歌、微软、雅虎等互联网公司，完全可以通过它们掌握到的数以百万计、千万计甚至亿万计的数据，经由“超级计算”，准确推断消费者的爱好及习惯、商品的销售额、疾病疫情的发展趋势。商业如此，在政治、经济、军事等方面亦存在诸多的用途和潜在利益。像“棱镜”计划里涉及的谷歌、雅虎、苹果、微软等大网站，人们每天由于各种业务需要，会把大量个人信息输入其中，但常常并不被事先告知数据的用途。而这些数据会被企业或政府用来进行一些特殊的计算或分析，如通过对大数据的分析预测来对人们尚未实施的行为进行惩罚。比如“大数据之父”舍恩伯格曾披露过一个例子：在美国有一个计划名为“预测式配警”，通过对大数据分析来预测美国某个城市的某条街道的某个时段是犯罪高峰时段，然后在那个位置部署更多的警力。从此该地区居民将长时间被监控，这是一种变相的侵犯或惩罚。他们不是因为做错事，而是因为某个计算机的算法预测他们可能做错事而被惩罚了，显然这是不公平的。美国国安局拥有的正是类似的一套基于“大数据”的新型情报收集系统，这套名为“无界爆料”的系统，以30天为周期，从全球网络系统中接收到970亿条讯息，再通过比对信用卡或者通讯记录等方式，能几近真实地还原个人的实时状况。当然，像谷歌这样的商业组织也有可能掌握同样量级的信息而进行商业预测分析。因此，必须建立一套规则予以规范和约束对大数据的收集和使用。第一，虽然这些信息储存在不同的服务器上，但这些数据是用户的资产，拥有权属于用户自己而不是这些公司，这是必须明确的，就像财产所有权一样，个人隐私数据也应该有所有权。第二，利用大数据、云计算技术给用户提供信息服务的公司或企业，需要把收集到的用户数据进行安全存储和传输，这是企业的责任和义务。第三，如果企业或政府要使用用户的信息，一定要让用户有知情权和选择权，泄露用户数据甚至牟利，不仅要被视作不道德的行为，而且是非法行为。大数据时代的数据存储和应用方式是跨地域甚至是跨国界的。作为国家层面要将大数据上升为国家战略，奥巴马政府在2012年3月将“大数据战略”上升为最高国策，像陆权、海权、空权一样，将对数据的占有和控制作为重要的国家核心能力。我国也应从国家高度重视大数据，在对其进行安全保护、政策制定需要重视三个方面：一是要正视数据霸权，要清醒认识到我国在网络控制权、关键技术和高端设备等方面，还受制于西方。二是要明确主权，数据作为一种重要的战略资源，无论是个人拥有还是国家拥有，都要纳入到主权范围里面来考虑。三是要有治权，因为有主权不一定能够管治。比如：数据存到国外，云计算跨越国境，可能不在你的主权范围之内。要区别对待不同的数据，对确需保护的数据，必须有切实可靠的手段进行有效管理。如果做不到对数据的有效管理，大数据就必然面临失控的危险。政策界定安全责任问题。大数据的安全问题涉及政府、相关企业、网络运营商、服务提供者，以及数据产生者、使用者等方方面面，必须对各自的安全责任有明晰的政策界定。信息安全风险存在于数据的全生命周期之中，从技术思路、产品开发、用户使用、服务管理，各个环节均要分担相应的安全责任。监管保障基础设施安全问题。大数据的发展离不开电信网络甚至工控系统等关键基础设施，其安全可靠同样依赖于这些基础设施，受供应链全球化、产业私有化的影响，网络与关键基础设施间的安全日趋复杂，一国的大数据可能存放在别国的网络中，一国的基础设施可能同时服务于多个国家，高度的全球相互依赖性，挑战着原有的国家主权观念。所以，关键基础设施的安全监管体系十分重要，我国需要尽快确立对供应链的实质性国家安全审查和对基础网络的常态化安全监管。
网络空间冲突管理问题。大数据的资源价值越来越高，围绕大数据的争夺和冲突就越来越激烈。大数据的生成、处理和利用方式，将极大改变各种冲突的表现方式和破坏烈度。通过立法与国际合作应对包括知识产权的保护、网络犯罪的处置、网络破坏活动特别是网络恐怖主义的打击以及网络战争的威胁。

『肆』 大数据发展背景及研究现状

2015年左右，大数据相关政策规划密集出台，同期为大数据企业新增数量顶峰时期。近年来，我国大数据产业迎来新的发展机遇期，产业规模日趋成熟。大数据产业主体从“硬”设施向“软”服务转变的态势将更加明显，面向金融、政务、电信、医疗等领域的大数据服务将实现倍增创新。

大数据企业数量持续增长，增速与政策出台密切相关

根据IT桔子统计，大数据企业的快速增长阶段出现在2013-2015年，增长速度在2015年达到最高峰。2015年后，市场日趋成熟，企业新增开始趋于放缓，大数据产业逐渐走向成熟。

—— 以上数据及分析均来自于前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。

『伍』 大数据时代，电信运营商如何“点石成金”

大数据风起云涌。对于大数据中蕴含的商业价值，有人形象地将其称为“数据钻出石油”。充分利用大数据技术，从海量堆积的交互数据中发现带有趋势性、前瞻性的信息，能够孕育出惊人的社会价值和商业价值。 然而，即便放眼全球，我们看到的大数据应用案例还鲜有电信运营商的身影，与互联网领域的诸多探索相比，他们略显平淡，大规模钻出“石油”就更谈不上了。面对这种情况，相信很多业内人士都在思考这些问题：大数据究竟会给电信运营商带来哪些新机遇？大数据时代下的电信运营商面临什么样的挑战？电信运营商今后将如何运筹帷幄、构建面向智慧运营的大数据体系？ 从4W到4V： 运营商拥有先天优势 根据信息爆炸时代的特征，业界将大数据总结为“4V”体量（Volume）、多样（Variety）、速度（Velocity）和价值（Value）。体量意味着海量的数据，多样是指数据类型繁多，速度主要指数据被创建和移动的速度快，而价值是处理数据的目标、从各种形式呈现的复杂数据中挖掘有用的东西。 电信运营商作为信息服务的基础服务商，其提供的服务用一个简单的词来概括就是“4W”Who、When、Where、What，在使用服务时，哪些用户、需要联系谁、什么时间、处于什么位置、做些什么，这些信息无疑都需要经过运营商的管道。 对比“4V”和“4W”，我们可以发现两者之间的契合之处，通信用户数以亿计的基数保证了数据的海量和多样性，通信网络的实时承载保证了数据的速度，更重要的是，运营商还可以搜集到用户位置、大体收入等有价值的数据，进而为精准营销提供参考。因此，运营商在掌握用户行为数据方面具有先天优势，这是一般互联网厂商所望尘莫及的。随着智能手机和高速网络的普及，运营商能够获得的用户行为数据还将更为丰富。 数据科学家、《大数据时代》的作者维克托·迈尔·舍恩伯格表示，在大数据时代，拥有数据的公司无疑将取得巨大的成功。因为他们具有洞察力，大数据会提供他们全新的洞察力。从这个角度看，运营商无疑坐拥一座天然的宝藏，但是能否挖掘、提炼出这些矿藏中的价值将决定运营商能否把握住大数据带来的机遇。 由大入微： 构建智慧的大数据体系 由微入大易，由大入微难。对电信运营商来说，将无数具体而微的信息汇集起来其实并不难，真正的难点在于如何点石成金，如何“驾驭”这纷繁复杂的数据，如何存储、整合、分析、汲取出真正有价值的内容，并创造性地使用它。 大流量并不一定带来大数据，电信运营商获得的数据中大部分都是“桀骜不驯”的它们被称为非结构数据，这种数据本身并没有太多价值。目前，电信运营商在大数据方面的探索还仅仅处于起步阶段：一方面，用户的行为、轨迹、状态等数据散在网络各个环节中，形成信息资产的成本非常高；另一方面，运营商大数据挖掘手段还很不充足，如何从庞大的数据中分析出有价值的信息并找到合理的商业模式，提高“驾驭”数据的能力，成为电信运营商面临的挑战。 那么电信运营商该如何去构建面向智慧运营的大数据体系？ 对电信运营商来说，可以利用大数据实现自身的精确化营销和精细化运营，在这方面，国内已经有运营商作出了尝试。使用Hadoop等大数据处理工具，通过分析用户的兴趣图谱、关系图谱、行为定向，再结合自身的业务推出量身定制的服务，如针对出差较多的商务人士，向他们推荐漫游套餐；对爱好移动上网的用户，向他们提供流量包……这本身就属于大数据应用的范畴，而且，运营商通过对业务资源和财务等数据的综合分析，可以让决策层进行快速的市场决策，从而抢占市场制高点。 未来，运营商还可以拓展第三方模式，加大开放合作力度，与产业链各个环节开展合作，加快对大数据经营商业模式的探索，不断释放其管道中庞大数据的潜在力量，将数据转化成“真金白银”。在这方面，国外电信运营商的探索给我们提供了思路。西班牙电信去年成立了名为“动态洞察”的大数据业务部门，它可以为客户提供数据分析打包服务，帮助客户把握重大变化趋势。法国电信的移动业务部门也开始尝试挖掘大数据的潜在价值，比如，它承建了一个法国高速公路数据监测项目，对每天产生的几百万条记录进行分析，从而提高了道路通畅率。更具颠覆性的是Verizon，其数据业务的盈利收入在其整个业务中占比非常高，其中就有联合第三方机构对其用户群进行大数据分析，再将有价值的信息提供给政府或企业获取的额外价值。 分析人士指出，数据化程度越高的行业，其大数据的应用场景越多，能够带来的价值也就越高。数据重构商业，虽然国内在这方面的探索还未形成规模，但对运营商来说却代表着前进的方向凭借自身优势，将数据分析包装为服务，提供给政府、商场、银行等第三方机构进行决策，从而实现商业模式的创新，并在与互联网企业的竞争中占得先机。不过，需要明确的是，这里的数据包装并不是非法采集用户个人信息，更不是贩卖用户个性化隐私，真正的大数据应该是用加工实现增值，用分析来指导决策，而非原始数据信息本身的低层次滥用。

『陆』 什么是大数据，看完这篇就明白了

什么是大数据

如果从字面上解释的话，大家很容易想到的可能就是大量的数据，海量的数据。这样的解释确实通俗易懂，但如果用专业知识来描述的话，就是指数据集的大小远远超过了现有普通数据库软件和工具的处理能力的数据。

大数据的特点

海量化

这里指的数据量是从TB到PB级别。在这里顺带给大家科普一下这是什么概念。

MB，全称MByte，计算机中的一种储存单位，含义是“兆字节”。

1MB可储存1024×1024=1048576字节（Byte）。

字节（Byte）是存储容量基本单位，1字节（1Byte）由8个二进制位组成。

位（bit）是计算机存储信息的最小单位，二进制的一个“0”或一个“1”叫一位。

通俗来讲，1MB约等于一张网络通用图片（非高清）的大小。

1GB=1024MB，约等于下载一部电影（非高清）的大小。

1TB=1024GB，约等于一个固态硬盘的容量大小，能存放一个不间断的监控摄像头录像（200MB/个）长达半年左右。

1PB=1024TB，容量相当大，应用于大数据存储设备，如服务器等。

1EB=1024PB，目前还没有单个存储器达到这个容量。

多样化

大数据含有的数据类型复杂，超过80%的数据是非结构化的。而数据类型又分成结构化数据，非结构化数据，半结构化数据。这里再对三种数据类型做一个分类科普。

①结构化数据

结构化的数据是指可以使用关系型数据库(例如:MySQL,Oracle,DB2)表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。所以，结构化的数据的存储和排列是很有规律的，这对查询和修改等操作很有帮助。

但是，它的扩展性不好。比如，如果字段不固定，利用关系型数据库也是比较困难的，有人会说，需要的时候加个字段就可以了，这样的方法也不是不可以，但在实际运用中每次都进行反复的表结构变更是非常痛苦的，这也容易导致后台接口从数据库取数据出错。你也可以预先设定大量的预备字段，但这样的话，时间一长很容易弄不清除字段和数据的对应状态，即哪个字段保存有哪些数据。

②半结构化数据

半结构化数据是结构化数据的一种形式，它并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。因此，它也被称为自描述的结构。半结构化数据，属于同一类实体可以有不同的属性，即使他们被组合在一起，这些属性的顺序并不重要。常见的半结构数据有XML和JSON。

③非结构化数据

非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、各类报表、图像和音频/视频信息等等。非结构化数据其格式非常多样，标准也是多样性的，而且在技术上非结构化信息比结构化信息更难标准化和理解。所以存储、检索、发布以及利用需要更加智能化的IT技术，比如海量存储、智能检索、知识挖掘、内容保护、信息的增值开发利用等。

快速化

随着物联网、电子商务、社会化网络的快速发展，全球大数据储量迅猛增长，成为大数据产业发展的基础。根据国际数据公司(IDC)的监测数据显示，2013年全球大数据储量为4.3ZB(相当于47.24亿个1TB容量的移动硬盘)，2014年和2015年全球大数据储量分别为6.6ZB和8.6ZB。近几年全球大数据储量的增速每年都保持在40%，2016年甚至达到了87.21%的增长率。2016年和2017年全球大数据储量分别为16.1ZB和21.6ZB，2018年全球大数据储量达到33.0ZB。预测未来几年，全球大数据储量规模也都会保持40%左右的增长率。在数据储量不断增长和应用驱动创新的推动下，大数据产业将会不断丰富商业模式，构建出多层多样的市场格局，具有广阔的发展空间。

核心价值

大数据的核心价值，从业务角度出发，主要有如下的3点：

a.数据辅助决策：为企业提供基础的数据统计报表分析服务。分析师能够轻易获取数据产出分析报告指导产品和运营，产品经理能够通过统计数据完善产品功能和改善用户体验，运营人员可以通过数据发现运营问题并确定运营的策略和方向，管理层可以通过数据掌握公司业务运营状况，从而进行一些战略决策；

b.数据驱动业务：通过数据产品、数据挖掘模型实现企业产品和运营的智能化，从而极大的提高企业的整体效能产出。最常见的应用领域有基于个性化推荐技术的精准营销服务、广告服务、基于模型算法的风控反欺诈服务征信服务，等等。

c.数据对外变现：通过对数据进行精心的包装，对外提供数据服务，从而获得现金收入。市面上比较常见有各大数据公司利用自己掌握的大数据，提供风控查询、验证、反欺诈服务，提供导客、导流、精准营销服务，提供数据开放平台服务，等等。

大数据能做什么？

1、海量数据快速查询(离线)

能够在海量数据的基础上进行快速计算，这里的“快速”是与传统计算方案对比。海量数据背景下，使用传统方案计算可能需要一星期时间。使用大数据 技术计算只需要30分钟。

2.海量数据实时计算（实时）

在海量数据的背景下，对于实时生成的最新数据，需要立刻、马上传递到大数据环境，并立刻、马上进行相关业务指标的分析，并把分析完的结果立刻、马上展示给用户或者领导。

3.海量数据的存储（数据量大，单个大文件）

大数据能够存储海量数据,大数据时代数据量巨大,1TB=1024*1G 约26万首歌(一首歌4M),1PB=1024 * 1024 * 1G约2.68亿首歌(一首歌4M)

大数据能够存储单个大文件。目前市面上最大的单个硬盘大小约为10T左右。若有一个文件20T,将 无法存储。大数据可以存储单个20T文件，甚至更大。

4.数据挖掘（挖掘以前没有发现的有价值的数据）

挖掘前所未有的新的价值点。原始企业内数据无法计算出的结果，使用大数据能够计算出。

挖掘（算法）有价值的数据。在海量数据背景下，使用数据挖掘算法，挖掘有价值的指标（不使用这些算法无法算出）

大数据行业的应用？

1.常见领域

2.智慧城市

3.电信大数据

4.电商大数据

大数据行业前景(国家政策)？

2014年7月23日，国务院常务会议审议通过《企业信息公示暂行条例（草案）》

2015年6月19日，国家主席、总理同时就“大数据”发表意见：《国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见》

2015年8月31日，国务院印发《促进大数据发展行动纲要》。国发〔2015〕50号

2016年12月18日，工业和信息化部关于印发《大数据产业发展规划》

2018年1月23日。中央全面深化改革领导小组会议审议通过了《科学数据管理办法》

2018年7月1日，国务院办公厅印发《关于运用大数据加强对市场主体服务和监管的若干意见》

2019年政府工作报告中总理指出“深化大数据、人工智能等研发应用，培育新一代信息技术、高端装备、生物医药、新能源汽车、新材料等新兴产业集群，壮大数字经济。”

总结

我国著名的电商之父，阿里巴巴创始人马云先生曾说过，未来10年，乃至20年，将是人工智能的时代，大数据的时代。对于现在正在学习大数据的我们来说，未来对于我们更是充满了各种机遇与挑战。

python学习网，大量的免费python视频教程，欢迎在线学习！

『柒』 大数据行业现状及前景

当前，我国正在加速从数据大国向着数据强国迈进。国际数据公司IDC和数据存储公司希捷的一份报告显示，到2025年，随着中国物联网等新技术的持续推进，其产生的数据将超过美国。我国产生的数据量将从2019年的约9.4ZB增至2025年的48.6ZB，数据交易迎来战略机遇期。1zettabyte大约是1万亿gigabyte，这是当今常用的测量方法。与此同时，美国2019年的数据量约为8.6ZB。到2025年，这个数字预计将达到30.6ZB。

——以上数据来源于前瞻产业研究院发布的《中国大数据产业发展前景与投资战略规划分析报告》。

『捌』 商院案例:大数据安全隐患与体系建设

商院案例:大数据安全隐患与体系建设

着互联网、云计算、物联网等网络技术快速发展和智能终端、智慧城市广泛应用及大范围建设，全球数据量呈现爆炸式增长，驱动着整个互联网世界迈入大数据时代。

为应对大数据时代的挑战，推广大数据基础分析、技术研发与应用、安全技术，以及推进大数据技术创新管理能力和业务能力、加强大数据安全与隐私管理，广东省信息协会、广东省计算机信息网络安全协会、广东省大数据技术联盟联合主办的“2014广东省大数据应用与安全高峰论坛”定于10月21日(星期二)上午在广东亚洲国际大酒店召开且圆满结束。

蓝盾股份作为中国信息安全行业领先的专业网络安全企业和服务提供商，也应邀参加该次峰会，并围绕“大数据应用安全隐患与安全体系建设”作出了重要演讲。

下文就演讲的几个重要方面整理成文，重点归纳总结了大数据的应用价值、大数据背景下面临的安全问题以及对大数据时代安全建设的几点考虑。

一、大数据背景介绍

1、大数据特性

大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的基本特征。

一是数据体量巨大(Volume)。据国际知名数据公司IDC 提供的更为复杂的新数据已经出现，而且生成的速度达到了前所未有的程度，IBM预计，到2020年将增至40万亿GB的水平。

二是数据类型繁多(Variety)。大数据来源种类丰富，更为复杂的新数据已经出现，社交网络数据、网络日志、存档数据和传感器数据、地理位置信息都属于人们在分析中关注的新数据源。

三是价值密度低(Value)。虽然每天产生25亿GB数据，但其中只有接近0.5%的经检测数据才具有分析价值。

四是处理速度快(Velocity)。面对如此海量的数据，非结构化数据也越来越多，如何快速地处理这些数据并挖掘出有价值的信息，这也是大数据区分于传统数据挖掘的最显著特征。

2、大数据技术趋势

1)Hadoop技术的应用

Apache

hadoop是一个开源的分布式计算框架，通过集成MapRece技术，Hadoop将大数据分布到多个数据节点上进行处理。Hadoop遵循Apache 2.0许可证，可以轻松处理结构化、半结构化和非结构化数据，一举成为现在非常流行的大数据解决方案，可以用来应对PB甚至ZB级的海量数据存储。

2)与云计算的融合

大数据和云是两个不同的概念，但两者之间有很多交集。支撑大数据以及云计算的底层原则是一样的，即规模化、自动化、资源配置、自愈性，因此实际上大数据和云之间存在很多合力的地方。可以说大数据和云计算是相伴而生的，大数据的处理离不开云，大数据应用是在云上跑的、非常典型的应用。

二、大数据的应用价值

《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。更有世界经济论坛报告认定：大数据为新财富，价值堪比石油。

就国内外对大数据的研究与投入来看，2014年，Intel、IBM、微软、阿里巴巴[微博]等行业巨头纷纷布局大数据。IDC预测2014年产生2万TB数据，2014年大数据产值超6亿，2016年将可望突破100亿。

那么，这些看似平凡的数据能为我们带来什么？事实上当你把微博等社交平台当作发泄工具时，专业的敛财高手们却正在挖掘这些互联网的“数据财富”，先人一步用这些数据来预判市场走势，做出正确的决定，并取得不俗的收益。

大数据的核心价值是能够为政府、企业提供决策服务，帮助企业把握市场机遇、迅速实现大数据商业模式创新，协助政府建设智慧城市和应对公共安全，帮助公安进行犯罪预测与预防。

例如，华尔街根据民众情绪抛售股票；美国疾控中心依据国民搜索，分析全球范围内流感等病疫的传播状况；投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹；电信行业利用大数据帮助电信业对业务的分析和优化；电子商务收集、分析海量的消费者数据，从中挖掘消费者多变、复杂的需求。

总之，在大数据时代，以利用数据价值为核心，合理挖掘和利用大数据，已经为各行各业带来了巨额财富。

三、大数据的安全隐患

随着大数据应用的爆发性增长，大数据衍生出独特架构，并推动存储、网络及计算机技术的发展，同时也引发了新的安全问题。

1、网络化社会使大数据成攻击目标

开放的网络化社会，大数据的数据量大且相互关联，对于攻击者而言，相对低的成本可以获得“滚雪球”的收益。用户数据泄露，个人账号信息失窃的事件时有发生，一旦遭受攻击，失窃的数据量也是巨大的。

最近几年来数以百万计的信息大泄密和大量的网络犯罪案件说明，大数据和云环境下的信息安全的风险度已非昔时可比。

2、大数据加大隐私泄露风险

大数据是把“双刃剑”，快捷的网络、精准的营销，虽能带给人们一个更加便捷的生活方式，同时，却也让个人隐私的保护几成空谈。数据分析技术的发展，势必对用户隐私产生极大威胁。如今的大数据营销，对于消费者而言，就好似被一双眼睛盯着，每时每刻窥探着你的一举一动，作为个体消费者，我们早就无法避免自己的个人隐私被网络系统记取被商家掌握并挖掘利用，甚至被恶意使用。

3、技术短板带来的安全隐患

NOSQL(非关系型数据库)作为大数据处理的基础技术，与当前广泛应用的SQL(关系型数据库)技术不同，没有经过长期改进和完善，在维护数据安全方面也未设置严格的访问控制和隐私管理，缺乏保密性和完整性特质。

4、大数据环境打破传统安全壁垒

大数据的处理和存储离不开云，其运营环境的特殊性打破了传统的网络边界壁垒，使得传统的安全技术手段无法做到有效的安全防护。

大数据本身的安全防护存在漏洞，虽然云计算对大数据提供了便利，但对大数据的安全控制力度仍然不够。

5、大数据可能成为高级可持续攻击的载体

APT攻击是一个持续的过程，不具有被实时检测到的明显特征。同时，隐藏在大量数据中的APT攻击代码也很难被发现。此外，攻击者还可以利用社交网络和系统漏洞进行攻击，在威胁特征库无法检测出来的时间段发起攻击行为。

四、大数据时代下的安全体系建设

1、大数据存储安全

大量的数据产生、存储和分析，数据安全存储问题将在未来几年内成为一个更大的问题。行业必须尽快尽早规划和布局大数据安全存储防护措施，协同技术的发展，加大安全防护投入。安全存储是大数据安全的最基本需求，我们可以从集中存储、加密存储、加密传输、认证授权和日志审计等方面来对大数据的安全存储环境加大保护力度。

2、个人隐私信息的保护

大数据和个人隐私之间的“战争”早已打响，必须从技术和法规层面上保障大数据时代的隐私安全，完善用户个人信息的保障体系。

法规层面应从标准和法律两个方面界定数据属性和销售许可，出台相应资质认证和法律法规，建立健全大数据隐私安全保障体系。

技术层面应使用大数据清洗、去隐私化等技术完成对客户隐私数据的隐藏化处理。

3、大数据云安全

大数据一般都需要在云中实现上传、下载及交互，在吸引越来越多黑客和病毒攻击的云端及客户端做好安全保护必不可少。

我们可基于虚拟化的云数据中心提供系统性的安全解决方案，以安全虚拟器件代替原有硬件设备的产品交付方式，确保物理、虚拟和云环境中服务器的应用程序和数据的安全，可以为云和虚拟化环境提供主动防御、自动安全保护，将传统数据中心的安全策略扩展到云计算平台上。

4、建立防御机制

在规划大数据发展的同时，建立并完善大数据信息安全体系很有必要。结合传统信息安全技术和考量大数据收集、处理和应用时的实际环境安全需求，建立面向大数据信息安全的事件监测机制，及时发现信息系统安全问题，当大数据运营环境遭到攻击前或已经遭到攻击时，快速、准确地发现攻击行为，并迅速启动处置和应急机制。

5、重新规范管理员的权限

大数据的跨平台传输应用在一定程度上会带来内在风险，可以根据大数据的密级程度和用户需求的不同，将大数据和用户设定不同的权限等级，并严格控制访问权限。而且，通过单点登录的统一身份认证与权限控制技术，对用户访问进行严格的控制，有效地保证大数据应用安全。

总之，大数据时代机遇与挑战并存，在推进大数据技术创新管理能力和业务能力的同时，要加强大数据安全与隐私管理相关研究的力度，通过政策法规与技术手段相互作用，使大数据在我国各个行业得以沿着正确的方向更快、更深入的发展。

特别说明：由于各方面情况的不断调整与变化，新浪网所提供的所有考试信息仅供参考，敬请考生以权威部门公布的正式信息为准。

以上是小编为大家分享的关于商院案例:大数据安全隐患与体系建设的相关内容，更多信息可以关注环球青藤分享更多干货