网管大数据

❶ 有关大数据应用的论文(2)

有关大数据应用的论文篇二

《大数据技术对财务管理的影响》

摘 要：大数据可以快速帮助财务部门建立财务分析工具，而不是单纯做账。大数据应该不仅仅局限于本单位的微观数据，更为重要的关注其他单位的宏观数据。大数据技术不仅带来了企事业单位财务数据搜集的便利和挑战，而且也衍生出了诸多关于单位人员个人信息保密等问题的积极探索。本文主要研究大数据技术(meta-data或big data)对企业或事业单位财务管理的影响，以期为财务数据管理的安全性提供一种分析的依据和保障。

关键词：大数据;财务管理;科学技术;知识进步

数据是一个中性概念。人类自古以来几千年的辉煌变迁，无外乎就是数据的搜集和使用过程而已。纵观古今中外的人际交流与合作，充满着尔虞我诈和勾心斗角，那么他们在争什么呢?实际上是在争夺信息资源;历史上品相繁多的战争，实际上不是在维持什么所谓的正义和和平，抑或为了人间的正道，而是在争夺数据的使用权;“熙熙攘攘皆为利往、攘攘熙熙皆为利来”的世俗变迁逻辑已经让位于数据游戏的哲学法则。人类自英国产业革命以来所陆续发明的技术，尽管被人们美其名曰“第四次科技革命的前沿技术”，实际上不过就是“0”和“1”两个数字的嬉戏而已。正如有学者指出的，汽车技术、生命科学技术、基因技术、原子能技术、宇宙航天技术、纳米技术、电子计算机技术，看起来美轮美奂，实则隐含着杀机，那就是由于人们把技术当成了目的后，导致了“技术专制”后的“技术腐败”和“技术灾难”。人类一方面在懒惰基因的诱惑下，发明了诸多所谓的机械装置，中国叫“机巧”;另一方面又在勤奋的文化下，发明了诸多抑制懒惰的制度和机制。本来想寻求节俭，结果却越来越奢侈;本来想节约，结果却越来越浪费;本来想善良，结果却越来越邪恶;本来想美好，结果却越来越丑陋。正如拉美特里所说：“人是什么?一半是天使，一半是野兽。当人拼命想成为天使的时候，其实他会逐渐变成野兽;当人想极力崇拜野兽的时候，结果会逐渐接近天使。”我们不是在宣讲宿命的技术，我们只是在预测技术的宿命。本文主要研究大数据技术(meta-data或big data)对企业或事业单位财务管理的影响，以期为财务数据管理的安全性提供一种分析的依据和保障。

一、大数据技术加大了财务数据收集的难度

财务数据的收集是一个复杂的系统工程，国际上一般采用相对性原则，即首先利用不完全统计学的知识对数据进行初步的计算，接着对粗糙的数据进行系统的罗列，最后对类型化的数据进行明分梳理。使用者如果想进入该数据库，就必须拥有注册的用户名和密码。由于国际上对于网络数据的监督均采取了实名注册的模式，所以一旦该用户进入到核心数据库之后想窃取数据，一般都会暴露自己的bug地址源，网管可以循着这一唯一性存留，通过云计算迅速找到该网络终端的IP地址，于是根据人机互动原理，再加上各种网吧所安装的监控平台，可以迅速找到数据库的剽窃者。如果按照上述数据变迁逻辑，那么财务数据的收集似乎变得易如反掌，而事实并非如此。因为：①数据的量化指标受制于云计算服务器的安全性。当云服务器受到不可抗力的打击，如地震、水患、瘟疫、鼠疫、火灾、原子能泄露或各种人为破坏的作用，数据会呈现离散型散落。这时的数据丢失会演变成数字灾难;②各种数据版权的拥有者之间很难实现无缝隙对接。比如在经过不同服务器的不同数据流之间，很难实现现实意义上的自由流通。正如专家所指出的，教育服务器的事业单位的人员数据、行政部门人事管理部门的保密性数据、军事单位的军事数据、医疗卫生事业的数据、工商注册数据、外事数据等在无法克服实际权力的分割陷阱之前，很难实现资源的共享，这时对数据的所谓搜集都会演化为“不完全抽样”的数字假象。由此而衍生的数据库充其量只是一部分无用的质料而已。

二、大数据技术影响了财务数据分析的准确性

对于搞财务管理的人来说，财务数据的收集只是有效实现资源配置的先决条件，真正有价值的或者说最为关键的环节是对财务数据的分析。所谓“财务数据分析”是指专业的会计人员或审计人员对纷繁复杂的单位人力资源信息进行“去魅”的过程。所谓“去魅”就是指去粗取精、去伪存真、由此及彼、由表及里、内外互联，彼此沟通、跨级交流、跨界合作。在较为严格的学术意义上，分析的难度广泛存在与财务工作人员的日常生活中。大数据技术尽管为数据的搜集提供了方便法门，但同时加大了财务人员的工作量和工作难度。原先只是在算盘或者草稿纸上就可以轻松解决的数据计算，现在只能借助于计算机和云图建模。对于一些借助于政治权力因素或者经济利益因素，抑或是借助于自身的人际关系因素上升到财务管理部门的职工来说，更大的挑战开始了。他们不知道如何进行数据流的图谱分析，不知道基于计算机软件技术的集成线路技术的跌级分类，不知道基于非线性配置的液压传动技术的模板冲压技术，不知道逆向网络模型来解决外部常态财务变量的可篡改问题。由于技术不过硬，导致了领导安排的任务不能在规定的时间内完成，即时仓促做完的案例，也会因为数据分析技术的落后而授人以柄，有的脾气不好的领导可能会大发雷霆;脾气好的领导只是强压着内心的怒火，那种以静制动的魄力和安静更是摄魂夺魄。所以说数据分析难度的增加不是由于财务人员的良心或善根缺失，在很大程度上是由于技术的进步和大数据理念给我们带来的尖锐挑战。对于普通的没有家庭和社会背景的财务管理人员来说，能做的或者说唯一可做的就是尊重历史发展的周期律，敬畏生生不息的科学革命，认真领会行政首长的战略意图，提升自己的数据分析技术，升华在自身的“硬实力”。否则觊觎于领导的良心发现和疏忽大意，期望技术的静止或者倒退，抑或是在违法犯罪之后天真的认为可以相安无事，可能都只会落得“恢恢乎如丧家之犬”的境遇。

三、大数据技术给财务人事管理带来了挑战

一个单位的财务人事管理牵扯到方方面面的问题，其意义不可小视。一般来讲，单位在遴选财务管理部门管理人员的时候，大多从德才绩行四个方面全面权衡。然而这种“四有标准”却隐含着潜在的危机和不可避免的长远威胁，这其中的缘由就在于人性的复杂性和不可猜度性。历史和现实一再告诉人们，单纯看眼前的表现和话语的华丽，不仅不能对人才的素质进行准确的评价，而且还会导致官员的远期腐败和隐性腐败。对于中国的腐败，国人大多重视了制度和道德的缘起，却往往忽视了财务管理的因素。试想如果财务管理人员牢牢践行“焦裕禄精神”，不对任何政治权力开绿灯，国有资产又如何流出国库而了无人知晓呢?事实上，中国的所有腐败，不论是国有资产的国外流失抑或是国内流失，都在很大程度上与财务人员有关，可能有些管理人员会强调那不是自己的责任，出纳签字是领导的授意，会计支出费用那是长官的意思清晰表示。实际上，处于权力非法授予的签字、盖章、取现、流转和变相洗钱都是违法的，甚至是犯罪的。间接故意也是应当追究责任的。值得高兴的是，伴随着数字模拟技术的演进，财务管理中的腐败现象和人事管理科学化问题得到了极大的改善，相关领导伸手向财务要钱的行为，不仅会受到数据进入权限的限制，而且还会受到跟数据存留的监控，只要给予单位科技人员以足够的权限，想查找任何一笔资金的走向就变得非常简单，而且对于每一笔资金的经手者的信息也会了如指掌。这在一定程度上减少了只会指挥、不懂电脑的首长的孵化几率。

四、大数据技术加大了单位信息保密的难度

IMA(美国注册会计师协会)研发副总裁Raef・Lawson博士曾经指出：“客观上讲，大数据技术的正面效用是非常明显的，但一个不容回避的事实是大数据技术为财务信息的安全性提出了越来越严峻的挑战。我们已经注意到，在欧洲大陆、美洲大陆已经存在基于数据泄露而产生的各种抗议活动，这些活动牵扯到美国的数据窃听丑闻、俄罗斯对军事数据的强制性战友举动、以色列数据专家出卖阿拉伯世界经济数据的案件、在东方的中国香港一部分利用数据的窃取而发家致富的顶尖级黑客专家。”在数据集成的拓扑领域，大数据技术的保密性挑战肇始于蚁群算法的先天性缺陷。本来数据流的控制是依靠各种所谓的交易密码，实际上这些安全密码只是数据的另一种分类和组合而已。在数据的非线性组合和线路的真空组装模式下，任何密码都只是阻挡了技术侏儒的暂时性举动，而没有超出技术本身的惰性存在。当一个hacker掌握了源代码的介质性接洽技术之后，所剩下的就是信息和数据的搜集了，只要有足够的数据源，信息的户的几乎是轻而易举的。

2003年，北京的一家名为飞塔公司的防火墙安全软件在中关村科技城闪亮上市。该安全控制软件的开发者随机开发了一款名曰MAZE天网的软件，并且采用了“以其之矛攻其之盾”的攻防策略。测试的结果是尽管maze的源代码采用了24进制蝶形加密技术，但 FortiGate防火墙技术仍然能够阻挡住善意木马对电脑终端用户信息的剽窃和非法利用。FortiWeb已经通过全球权威的ICSA认证，可以阻断如跨站脚本、SQL注入、缓冲区溢出、远程文件包含、拒绝服务，同时防止敏感数据库外泄，为企事业单位Web应用提供了专业级的应用安全防护。飞塔公司之所以耗费人力和物力去开发这一新型的换代产品，就在于大数据时代对单位信息保密性的冲击。试想，如果一个单位连职工最起码的个人信息都不能安全存储的话，那么财务管理的科学性和人本性将从何谈起?只能说，即使在人权保护意识相对薄弱的法治环境里，我们也应该尽量提升自己的保密意识，加强对个人信息的保护和合理运用。

作者简介：田惠东(1967- )，女，汉族，河北定兴人，副高级会计师，本科学历，研究方向：财务管理，单位：保定市第一医院

❷ 大数据 、云计算、互联网等是怎么样实现价值

其实我个人觉得大数据云计算确实能给互联网公司带来很多的好处，但是这个大数专据云计算刚刚推出来的时属候，其实很多大公司CEO都不是特别的看好，只是被他们的手下忽悠了一下，就去搞了这样的东西，但是搞完之后他们才发现原来大数据和云计算真的是非常不错的。

就像淘宝这个公司我们都是知道的，这个大数据跟云计算是有什么用呢？就是通过大家长时间或者是大量的点击某个商品之后，他会知道，你到底喜欢什么样的商品，这就是大数据跟云计算来帮你计算出来的东西，然后这样的话你就可以看到你喜欢的东西的概率会多一点，然后也会增加他们的销量，这就是大数据云计算给他们带来的一个好处。

❸ 大数据时代网络舆情管理变革探讨

大数据时代网络舆情管理变革探讨

大数据时代的到来对人类的生活、工作与思维产生变革性影响，深刻改变着商业王国及公共管理等各个领域的面貌，“大数据”日渐成为各行业创新的助推器。当前中国网络舆情环境复杂，网络舆情危机时有发生，社会热点舆情事件和涉官涉政舆情事件不断涌现，造成社会民主生活和政治稳定间的不平衡等诸多影响。大数据背景下的网络舆情正在发生巨大的变化，网络舆情管理变得日益复杂和重要，如何抓住大数据时代为网络舆情管理变革带来的机遇，以“大数据观”变革传统网络舆情管理思维，准确把握网络舆情的内在特征及其在演变过程中的潜在规律，实现网络舆情管理在思维、模式以及技术上的创新，对于新形势下做好网络舆情引导工作，加强和改进网络内容建设，具有重要的理论意义和实践价值。

一、大数据时代必然要求网络舆情管理变革

“大数据”概念最早在20世纪80年代提出，2011年麦肯锡咨询公司发布其研究成果《大数据：下一个创新、竞争和生产率的前沿》，使这个概念得以大范围推广。2012年3月29日，奥巴马宣布将投入2亿多美元启动“大数据发展和研究计划（Big Data Research and Development Initiative）”，将“大数据战略”上升为国家战略。近两年，大数据备受学术界、产业界和政府部门的关注，成为国内外强有力的前沿词汇。大数据又称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具在合理时间内进行抓取、管理和处理的数据集合，是必须通过深度挖掘、计算、分析才能创造价值的海量信息。大数据在体量、复杂性、产生速度及价值密度四个方面都极大地超越了传统的数据形态，具有4V特征：大量（Volume）、多样（Variety）、高速（Velocity）、价值（Value）。数量庞大的网民通过论坛、微博、微信等多种途径方便快捷地发表言论观点，网络舆情的规模和复杂性急速上升，体量巨大而价值密度低，其内在特征的变化必然要求实现网络舆情管理的变革以适应大数据时代的发展，这些要求主要体现在四个“转向”上。

（一）从监测转向预测。大数据的核心和目标就是预测。复杂网络的研究专家巴拉巴西认为，“93%的人类行为是可以预测的，当我们将生活数字化、公式化以及模型化的时候，我们会发现其实大家都非常相似。生活如此抵触随机运动，渴望朝更安全、更规则的方向发展，人类行为看上去很随意、很偶然，却极其容易被预测”[1]。例如，亚马逊可以推荐我们想要的图书，淘宝知道我们的喜好，而人人网可以猜出我们认识谁。传统网络舆情管理把监测已经产生的舆情信息作为起点，这种明显的滞后性使其在网络舆情危机的应对中处于消极被动的位置。而目前留给突发事件的处理时间越来越少，从传统的“黄金24小时”变为“黄金4小时”，如此短的时间使舆情分析和决策尚未来得及参与进来，整个事件就已经造成了爆炸性的效果。在大数据时代，通过挖掘数据相关性，把数学算法运用到海量的数据上进行分析，在敏感消息进行网络传播的初期就提前开始监测，然后建立模型，模拟仿真网络舆情的演变过程，使网络舆情突发事件发生的可能性和倾向性变得可以预测。

（二）从节点转向网络。由监测舆情转向预测舆情的目标实现，最关键的大数据技术就是挖掘数据的相关性。在小数据时代，由于受到数据库和计算分析能力的限制，无论是对于因果关系还是相关关系的追寻，都耗资耗时，并且易受传统的思维模式和特定领域隐含的固有偏见的影响，无法保证舆情分析结果的准确性。因此传统的网络舆情管理只注重舆情内容的监测，通过分析单个数据节点，如网民“说什么”来抓住比较浅层的社会语义表达。大数据则在保留了原始数据的同时，记录了网民“为什么这么说”背后的社会心理和社会关系网。按照大数据思维，每一个数据都是一个节点，可无限次地与其他关联数据形成舆情链上的乘法效应——类似微博裂变传播路径，数据裂变式的关联状态蕴含着无限可能性[2]。通过对海量信息的解构与重构，充分整合政府和企业的数据资产，利用一系列飞速发展的新技术和新工具，描绘、测量、计算各节点之间的关系，深度挖掘数据的相关性，以此排除偏见和视觉盲点，掌握易被忽略的社会动态，预测舆情的发展趋势。因此大数据时代必然要求网络舆情管理变革其监测系统，由节点转向网络，把握相关性，进而分析舆情背后的社会互动，乃至网络族群之间的界限和相互勾连。

（三）从定性转向定量。舆情分析师或解读者从自身经验和视角出发，在传统网络舆情管理的过程中进行定性分析时，必然使其分析结果带有个人价值与理念的主观印记，甚至不同的舆情机构对同一舆情事件会得出相悖的结论。在大数据时代，所有元数据都可通过量化关联转化为有价值的信息，并实现多次利用，每一次利用都是一种创新，大数据成为网络舆情定量管理的力量源泉。尽管数据的相关性决定了某些数据价值的潜藏性，但新技术、新软件的出现使得通过数学分析实现数据的价值转化变为可能。而多维解读舆情和新的深刻洞见的揭示，使舆情分析结果的全面性和客观性大大超越传统的网络舆情管理。但数据的量化并不等同于简单的“数字化”，而是数据的可计算化，舍恩伯格将其称之为“数据化”，是指一种把现象转变为可制表分析的量化形式的过程[3]。“数据化”使态度和情绪转变为一种可以分析的形式，网络舆情的相关信息得以进行深入分析，一些社交媒体如Facebook、Twitter、QQ、微博、微信等坐拥大型数据的宝藏，一旦实现对其自身数据库的深度利用，就能轻易获得社会各个领域和所有用户的几乎全部动态信息。

（四）从样本转向全体。在传统的网络舆情工作模式中，所采集的舆情关联数据仅为样本信息，构建的数据库结构单一、数据量有限。其数据源一般是基于抽样或者针对重点网络站点进行的数据抓取，仅能对小规模、有结构或类结构的数据进行分析，标准不一，难以在不同领域中通用。同时，样本分析并不能保证结果的准确，即使分析方法和操作没有问题，但采样过程的任何偏误都将使舆情分析结果与事实相去甚远。大数据体量巨大，从TB级别跃升至PB乃至ZB级别，完整记录了社情民意，成为人类生存痕迹和心理变化的记录仪。采样的目的是以尽可能少的数据获得尽可能多的信息，但大数据是建立在掌握所有数据，至少是海量数据的基础上的，在数据处理技术日新月异的今天，变革传统舆情管理思维与方法，改变采样的惯性行动成为必要。通过运用大数据技术，建立网络舆情自动分析系统，全天候自动搜索并采集与目标舆情看似毫不相关实则具有内在关联的信息，在抓取和收集页面之后，对信息自动分类、自动获取关键词、自动内容分析和自动报警等。样本扩大至几乎全体，舆情分析的结果更加客观可靠。

二、大数据时代网络舆情管理变革的效应前瞻

抓住大数据时代变革网络舆情管理的新机遇，迎接大数据时代网络舆情管理的新挑战，顺应大数据时代网络舆情管理的新要求，变革与创新网络舆情管理将会产生良好的管理效应，实现新时期网络舆情管理的升级转型。

（一）实现“防火”式管理。传统的网络舆情管理因为无法把握数据相关性，不能准确预测舆情未来的发展趋势，因此采用的是“灭火”式管理模式。政府通常在舆情产生或者已形成舆情危机的情况下才开始采取措施，如发布信息、引导舆情、满足诉求等，以此达到“灭火”效果。在此种模式下，政府经常被动陷入网络舆情漩涡，由此形成视网络舆情为“敌情”的偏见。为了摆脱这一困境，政府总是试图“控制”、“引导”和“应对”网络舆情，以一种上位者的姿态去支配、主宰网民及其舆情表达的方式。然而，若网民在网络舆情中的主体地位得不到保证，网络舆情就会失去其“减压阀”的功能，网络舆情问题将会是治标不治本。大数据时代，政府转变网络舆情管理思路，变革网络舆情管理模式，应用大数据技术对网络舆情进行关联分析、级别划分、聚类分析和倾向性分析，将实现“灭火”式管理到“防火”式管理的转变。通过寻找“导火索”与“减压阀”之间的平衡点，在发挥网络“民间舆论场”作用的同时，将网络舆情危机扼杀在摇篮里。例如美国中央情报局通过抓取海量数据来追踪恐怖分子和监控社会情绪，在“阿拉伯之春”中，通过大数据分析多少人和哪些人的立场从温和变为激进，并“算出”谁有可能会采取有害行为。

（二）打捞“沉没的声音”。大数据源于互联网的分享、开放，但“数字鸿沟”的存在却使“信息穷人”与网络隔绝。尽管互联网的发展使这一部分人的比例越来越低，但发展不均衡性的扩大意味着现在和将来仍然有一个不容忽视的群体将无法提供任何数据。即使是那些能够充分利用网络的人群，也有可能因为在某种情境下成为舆论中的弱势群体，或者因其在舆情主流中的异质思维而选择不在网络上发声。当然，这种选择既可能是主动也可能是被动的。正如美国哲学家埃里克·霍弗所言，“一个国家最不活跃的人群，为占大多数的中间层次。他们是在城市工作和在乡间务农的正派老百姓，然而，他们的命运却受分据社会光谱两头的少数人——最优秀的人和最低劣的人所左右”[4]。显而易见的是，单凭技术体系构筑的大数据平台无法真正获取“全部数据”，通过改革网络舆情管理去打捞那些可能代表某一个群体或一定数量级的“沉没的声音”十分必要。因此，全面思考和理清大数据时代网络舆情管理面临的机遇和挑战，通过“大舆情”观念的构建，变革网络舆情管理的工作理念和模式，将有利于打捞“沉没的声音”。例如，将舆情服务与社会调查相结合，重视实地调研与第一手材料的采集，而不是把网络舆情管理捆绑在技术上，将避免得到不全面的舆情或做出误导性决策。

（三）识破“伪舆情”。当前备受关注的网络舆情，越来越成为依存于影星式的学者、影星式的记者、影星式的商人和影星式的政客为中心的“伪舆情”[5]。重大敏感事件发生后，部分网管和有影响力的舆情机构快速封堵其主观上认为的“有害信息”，选择性地编撰舆情报告，以片面、虚假的“伪舆情”影响决策层对形势的研判，使其做出符合自身利益诉求的决策。有些利益集团则精心扶植和培育自己的网络发言人，引导网民思考的内容和方向。结果，这些舆论领袖对关键事件和问题的看法在网络上大行其道，并淹没其他异质言论，使群众对真相的认知产生巨大偏差。当舆情被各方利益集团的政治力量和经济力量操纵时，它便丧失了独立性，一旦“伪舆情”被识破，舆情机构就可能失去其公信力。基于全网的完整、准确和极速的信息抓取有利于为舆情分析报告提供一手的材料、纯粹的事实，从而获得真实全面的舆情，使网民在不知道“为什么”的情况下，依然能获得对“是什么”的比较公正客观的认知，并以此助力网络舆情的引导。同时，通过变革网络舆情管理的体制机制，保持舆情管理的独立性将有力识破“伪舆情”，剔除“杂音”与“噪音”，使大数据时代的网络舆情真正成为现实世界的“镜像”。

（四）克服“盲人摸象”和“信息孤岛”。海量信息无限增长与网民关注、分析能力有限之间的矛盾，造成了“数据爆炸”与“知识贫乏”的怪象，加剧了社会舆论的“盲人摸象”效应。大数据时代下，网络媒体促进了信息的开放和沟通的便捷，人们对公共事件的参与达到了一个前所未有的高度，但是分众传播、个性化传播的凸显以及信息的碎片化，使得全面、深刻地关注和分析事件变得越来越困难。网民非理性、易激动的特点导致网络舆情的偏激和情绪化，网络的“群体极化”被放大。大数据时代的舆情监测是建立在传统人工和软件无法进行的全网舆情信息采集的基础上，样本扩大到全体。通过运用大数据技术，建立网络舆情自动分析系统，避免因数据源不全面而造成的重要信息监测缺失，将有利于消弭“盲人摸象”现象。与此同时，由于信息化应用水平参差不齐，政府和企业不同的部门之间都存在“信息孤岛”问题：有多少个部门就有多少个信息系统，每个系统都有自己的数据库、应用软件和用户界面，完全是独立的体系，阻碍了数据的互通互联[6]。变革大数据时代网络舆情管理的工作模式，统一舆情行业的技术标准，共享数据，建立网络舆情服务联盟，统筹政府、企业、媒体及社会力量，实现网络舆情的多元共治将有利于解决“信息孤岛”问题。

三、大数据时代网络舆情管理的变革路径

当大数据给各行各业带来变革性影响时，全世界都没做好迎接这场产业革命的准备。但与英美等发达国家相比，中国更像是处在大数据时代的前夜。而中国的人口和经济规模决定了中国大数据的规模为全球最大，为中国抓住时代的脉搏进行改革提供了难得的机遇。在这种大背景下，大数据对传统舆情管理也产生了深刻的影响，要使网络舆情管理变革产生应有的预期效应，适应时代的发展要求，须从思维观念、方法手段、体制机制、技术保障、人才建设等路径着手。

（一）树立大舆情观念。大数据时代网络舆情管理的变革，首要在于树立大舆情观念。这里的大舆情，包括两层含义。第一，强调“大数据观”，即充分实现网络数据平台的开放共享。按照“一切皆可量化”的大数据逻辑，一个新增的相关性数据的产生，通常会带来一个新的分析结果。因此只有形成“大数据观”，实现数据的动态分享，才能有效防止信息“碎片化”，最大限度地消除“盲人摸象”和“信息孤岛”现象。第二，强调网上和网下数据的整合。网络舆情与社会调查结合不足，可能降低舆情的真实性，误导决策。例如，对于假期调整方案的选择，各舆情机构组织的网络投票的结果各不相同，其做出的舆情分析报告也和真实民意相左。因此只有真正掌握“大舆情”，打捞“沉没的声音”，才能正确决策，打造一个更安全、更高效的社会。树立大舆情观念，首先，必须实现数据分析的动态化，打破数据垄断，统一标准，共享数据，预防孤立的舆情机构闭门造车，制定片面或错误的舆情分析报告。其次，应把网上网下各方面数据整合起来，挖掘网络舆情与社会动态背后的深层次关系，实现网络舆情管理和社会治理的紧密联动、同步推进[7]。最后，完善和创新包括舆情抓取、预警、研判到决策、评估等在内的网络舆情管理的各个环节，使舆情管理功能不仅仅限于危机处理，更能发挥辅助决策的作用。

（二）变革网络舆情的引导战略。做好舆论引导工作，应把握好时、度、效。但是目前许多地方和部门对如何进行网络舆情的引导仍然缺乏正确认识，于“时”不能把握好“黄金4小时”，于“度”不能掌握火候，拿捏分寸，于“效”不能保证网络舆情引导的实效质量。大数据由于自身具有的特点，使其利于变革网络舆情的引导战略，变“封改删”、“鸵鸟战术”为“网上引导，网下落地”，使“伪舆情”失去生存的土壤。因此，我们要充分发挥大数据的优势来提高舆情引导工作的能力。其一，利用大数据提升网络舆情引导的预见性和目的性。通过数据抓取和相关性分析，构建网民意见倾向分析模型，了解网民的偏好和特点，建设和完善政府网站、官方微博，扶植和借助意见领袖，做到“善说话、说对话、接地气、办实事”。其二，通过数据的价值转化，实现网络舆情的价值引导。在充分收集相关数据的基础上，运用图表等数据可视化技术揭示事件的前因后果，让数据“发声”，使网民既“知其然”也“知其所以然”，从而全方位360度无死角了解事件的来龙去脉，消除“盲人摸象”现象。其三，提升舆情引导的公信力。一方面加强新老媒体间的互动，发挥各自的优势与公众沟通，破解谣言和流言，达到时效性和权威性的双重保障；另一方面要避免舆情分析师在处理数据的过程中受经验偏好的影响，并防止大数据沦为某些机构和个人更便捷地操纵舆论的手段。

（三）健全大数据舆情管理体制机制。当前，网络舆情管理的体制机制尚不完善，很多地区尚不具备系统规范的舆情应对与处理的管理体系。舆情分析和预测手段落后，危机应对系统缺失，舆情管理组织机构不健全、不稳定，以及多头管理等问题非常普遍。健全大数据舆情管理的体制机制，对于从源头上解决网络舆情管理过程中出现的问题和困难，实现标本兼治，具有决定性作用。因此，为使网络舆情管理取得实效，提升网络舆情工作的规范化和科学化水平，我国应加快建立健全大数据舆情管理的体制机制。首先，建立网络舆情多元管理的互动机制，由国家出台大数据发展战略规划，产学研相结合，统筹政府、企业、社会和公民的力量，形成合力，实现共治。其次，变革网络舆情管理的机构设置，改变以往通过临时组建领导小组或临时办公室等机构，或者以宣传部门为“消防队”等方式被动应对舆情危机的模式，通过常态化机构的设置和专业人员的配备，使网络舆情管理专门化、精细化。再次，建立权责明确的责任机制，通过加快数据立法进程明确各级各部门包括政府部门、企业媒体、人民团体等的权利义务；通过建立由网信部门牵头的大数据舆情管理体制，改变多头管理的局面，并设立政府首席信息官责任制度等。最后，健全大数据网络舆情管理的资源保障机制，大数据时代变革网络舆情管理面临初期成本高、短期效益不明显等问题，需要加大资金、技术、物资、人力等资源的投入。

（四）创新大数据网络舆情管理的方法与技术。大数据时代的到来，要求网络舆情管理必须采用更为先进的技术，这主要表现在对各种相关软件的大量应用以及对大数据技术支撑平台的依托。目前中国网络舆情监测采集软件中较具代表性的有TRS互联网舆情信息监控系统、北大方正智思舆情监控系统、军犬网络舆情监控系统、乐思网络舆情监测系统等。此外，还应完善和创新大数据技术支撑平台的五大基石——数据监测技术、数据挖掘技术、数据存储技术、数据分析技术、数据安全技术，使大数据为网络舆情管理服务的同时又不超出我们的控制。同时，我们也不能陷入“技术是万能的”误区而盲目迷信和依赖技术，更不能因相信大数据强大的预测功能而导致“数据独裁”，变成数据的奴隶。因此，网络舆情管理还需要依靠其他方法和手段相辅相成，共同作用。法律因其具备最大的强制性和权威性，成为最有效的管理控制的手段。法律与道德相互联系，在极具复杂性和特殊性的虚拟空间里，教育和自律被摆在重要的位置上。例如，欧美发达国家如美国、英国、加拿大等都通过倡导用户自律和自我管理来提高网民的媒介素养，加强自我把关能力。此外，还可以效仿韩国、新加坡等运用行政手段，要求网络用户在获得国家有关部门颁发的许可证的情况下，才能访问政府严格控制的信息等。

（五）培育大数据时代的网络舆情管理人才。大数据时代的网络舆情将会形成多向度的研究，例如对社会话语表达、社会心理描绘、社会关系呈现、社会诉求预测等的分析研究。网络舆情将真正成为一门与多学科交叉的社会显学，对人才的全面性要求很高。中国教育的学科划分和培养体系，客观导致培养出来的人才很难跨界。换句话说，真正进入这个行业的门槛是很高的。正因如此，各国越来越重视对数据科学家的培养，如美国在大学专门开设研究大数据技术的课程，通过严格的业务培训和职业资格认证，培养下一代的数据科学家。2013年9月，我国人社部联合人民网启动“网络舆情分析师职业培训计划”，“网络舆情分析师”成为一项被正式认可的职业。但是我国现有舆情工作人员的水平仍然严重滞后，很多舆情机构尤其是地方政府并没有专业的数据处理、分析团队和专门的网络舆情管理部门。为突破大数据时代变革网络舆情管理的人才瓶颈，从短期看，可以通过招考、录用等方式引进数据挖掘、分析人才，通过委托培养、网络培训等方式强化已有专业人才力量，通过购买服务的方式短期租赁大数据舆情管理的高素质人才。从长远看，则要系统梳理网络舆情管理所需人才目录，培养和壮大既精通数据挖掘、数学建模，又拥有较高学习能力、分析能力和知识水平，横跨统计学、社会学、计算机学、传播学、管理学等学科的复合型人才，打造一支大数据网络舆情管理的专业人才队伍。

以上是小编为大家分享的关于大数据时代网络舆情管理变革探讨的相关内容，更多信息可以关注环球青藤分享更多干货

❹ 大数据智能分析的未来发展趋势

大数据智能分析的未来发展趋势
大数据无疑会在数字化社会中发挥极大的作用，尤其是，数据挖掘和分析的能力更为关键。因此，行业中的玩家们谁能透过大数据智能分析，预先把控行业发展的脉搏，谁就将掌握市场和竞争的主动权。让我们先来看看基于大数据的智能分析到底颠覆了什么。
社会生活会发生变化和转型
IT产业不像石油等产业能给人类社会带来新的增值产品。相似地，大数据的智能分析也不会直接带来全新的具体产品。这是由于信息要被使用以后，才能真正产生社会价值，所以大数据分析作为信息技术，是中间产业。
人类社会生活的根本是衣食住行，技术最终还是要服务于这些传统需求的，只是形式不同而已。新技术有的时候会改变传统产业的服务模式，就如互联网广告之于传统传媒广告，当互联网服务兴起时，广告逐步从传统行业变成了新的互联网广告行业，并由此造就了几乎99%的互联网玩家。
新技术有时候也会改变服务的效率和效果，例如微博现在多被用来作为监督的工具。对比传统媒体，这种服务模式改变了信息传播的效率和信息受众的范围，而且由于媒体的集中控制力较弱，这个看似弱点的特性反而变成了当前社会环境下的优势。
回归到基于大数据的智能分析，其本质是数字化社会的服务效率和效果问题，其实现的重要前提是数字化。随着信息技术的发展，人们衣食住行的服务系统会纷纷数字化，包括零售、物流、政府部门、餐饮系统等等，虚拟世界和物理世界拟合在一起，虚拟世界承载了大量的服务交付过程，人不再需要到现场就可以享受服务。而这个大的产业背景一旦形成，效率和效果问题会变成整个产业服务的最关键竞争力。
换句话说，服务最后的成本竞争就是在单位成本下谁的效率最高和效果最好，谁就会成为王者。特别是在物理时空的约束日益减弱的情况下，产业链中的每个玩家都可能面临全球性的竞争。而在更广泛的竞争环境下，大数据会改变企业的运作模式，增强企业的适应力、判断力和效率。因此，大数据的大价值更多的是体现在促进产业变化和转型上，而非创造新产品。
有望解决人工智能的难题
热炒大数据并不是纯粹跟风，其重点是要解决人工智能的扩展性和成长问题。传统人工智能走过了漫漫几十年路程，近三十年的变化尤其缓慢。这是因为虽然对任何给定的确定问题和场景，传统人工智能都可以解决，但尴尬的是，人们不可能预先穷举出所有例子和参数，因此人工智能已有的模型和算法很难跨系统复制。
众多学者、产业精英赋予了基于大数据的智能分析以美好的愿景，即数字化社会一旦形成，生活中的一切都可以基于数据来描述。这些描述出来的信息将成为智慧成长和决策判断的依据。如果计算机能够找出其背后的学习规律和方法，人类智慧的跨领域扩展性就能在计算机的虚拟世界中得到体现，并能做出模糊判断。更重要的是，这样的分析系统将具备人工智能前所未有的基础能力——学习能力，还可以根据环境（数据）变化而不断地增长其智能性，甚至具备推而广之的扩展性。
从理论上说，一旦机器具有学习能力，计算机系统就将具备人的典型特质——创造力。如果沿着这个思路扩展，基于大数据的智能分析，将进一步替代传统服务体系中必须由人来完成的工作，特别是最高成本的部分。例如有一个西班牙语学习软件“domingo”，可以针对学员的情况和能力，因材施教。而在过去，这通常必须由人脑才能实现。
不过，大数据的智能分析是否真的能够达到梦想的高度，还存在很大的不确定性，而且全数字化社会的形成也还需要时间。
用户刻画能力塑造竞争优势
在我们身处的IT产业中，随着时间的推移，技术会趋同、产品形态会趋同、基础的服务方式也会趋同，因此成本也必然随之趋同。如此一来，行业玩家们的价格战是很难长期维系的，必然会逼着产业链顶端的服务商将差异化主要体现在“服务”上。
服务的本质是“能否真正及时、准确地判断用户的需求”，这个判断的依据就是“用户刻画能力”。当IT后台系统可以准确地判断出何时、何地、何人、在做什么、会做什么的时候，所有的服务将有的放矢，不仅仅实现成本最低，而且能实现效果最佳。对此，大数据的智能分析最有可能颠覆的是面向用户的产品和服务市场，无论服务的是衣食住行的哪个方面，无论是卖东西还是做广告，只要服务的对象是“人”，大数据的智能分析就能提供最佳的推荐，从而提升服务的品质。
然而从目前的研究来看，产品和服务的技术竞争却回到了原点，数据本身变成了竞争力的本源。这个状况终将发生改变。实际上，分析、建模和交互密不可分，只有带反馈并能不断学习的系统才有可能实现对用户的刻画。如果我们将产品或服务比喻成一辆车，大数据分析可以看成是发动机，而数据就像发动机引擎中必不可少的汽油。因此，对数据的掌控和对用户的刻画，将必然成为产业链中为最终用户提供服务的玩家的必然战略和技术布局策略，数据资产的运营也可能成为新的潮流和趋势。
机器替代人力密集型服务
由于经济条件的约束，人力成本在各个区域、各个行业中相差很大，这也直接导致了各个地区服务的差异性。但从长期来看，能够被机器完成的事情，其成本一定低于“人”的成本。我们可以预见，自动化会是未来时代的必然特性。例如，作为人力密集型企业之一的富士康，出于节省成本的考虑，广泛部署机器人，进行生产线人工的替代。
而在电信行业中，网络服务和运维部分是可见的人力密集型服务。电信运营商的网络在全球服务了几十亿最终用户，由于各种各样的原因，每天都需要解决大量的网上问题和事故，现在的解决方式是大量依据人工和经验改良解决方案，以及更好/更及时地定位和解决FCAPS（Fault, Configuration, Accounting, Performance, Security）问题，这就是一个在大数据智能分析时代可被颠覆的典型场景。
当然，大数据智能分析不一定能够实现完全的自动化，但至少可以大幅降低用户服务或支撑体系的人力投入。在这个领域，人力替代的最终实现效果还需要看体系本身数字化的程度，以及分析系统所能达到的水平。
跨代产品颠覆传统产业格局
信息服务的本质就是信息采集、传递、存储、计算、呈现的全流程效果最优和效率最佳。在云、管、端的各个领域，大数据智能分析都有可能形成有跨代意义的产品形态或者解决方案。
在传统运营商市场，基于大数据的智能分析很有可能重新定义下一代网管，根据智能性的规范和要求可以大幅降低产业链中的OPEX。基于大数据的智能分析也可以定义下一代网络智能化解决方案的能力和要求，并通过接近自动化的系统来提供具有断代性的新的产品形态。
在终端业务领域，智能化的体验能够帮助生产厂家脱离在CPU、屏幕等物理参数上的竞争。可以说下一代终端设备的竞争特性之一就是“智能性”，而终端智能也将成为主流机型或高端机型的基本标准。
在企业计算业务领域，大数据可以提供智能组织支持，提升决策、管理的效率。业界有的企业已经定义了下一代产品形态，即企业大数据分析引擎，关注流化数据处理和非结构化的数据处理。这个引擎能帮助企业在垂直行业市场中，进一步加强与用户的紧密联系，从而在部署服务战略上走得更远。

❺ 运营商迎来大数据时代 管理和分析是大挑战

运营商迎来大数据时代：管理和分析是大挑战
大数据不是新的概念，在移动互联网发展起来后，数据增长速度加快，整个产业压力突出，传统数据库技术已无法满足运营商对大数据充分利用的需求的背景下，大数据成为近年来的热点。对运营商来说，数据爆发性增长后，带来的收入并未改观，因此，运营商面临着数据流的附加值被互联网公司赚走的挑战，同时面临沦为管道化的尴尬，如何利用好运营商手中的大数据，成为需要面对的问题。

运营商面临数据管理和分析挑战
易观国际分析师黄萌表示，大数据发展时间不长，随着云概念和3G的深入发展，运营商数据压力增大，同时IDC扩容，偏向以存储为主的云服务业务。
运营商新业务的涌现，导致数据暴增。信令数据、互联网数据其规模已经达到数百TB,甚至PB规模。此外，据EMC数据计算事业部大中国区总经理刘伟光介绍，数据的价值除了与数据规模相关，还与数据处理周期成正比关系。也就是，数据处理的速度越快、越及时，其价值越大，发挥的效能越大。而除了分析传统结构化数据外，随着新增值业务拓展，运营商对实现跨结构化、半结构化、非结构化数据进行高效分析有着愈发强烈的诉求。
而运营商面对海量数据和数据结构的变化，不仅是成本，还有管理和分析的挑战。黄萌认为，运营商相对互联网企业有优势，具有雄厚的资源和庞大的IDC集群，拥有电信级的运营网络，具有保证大数据实时、畅通传送的能力，同时具有网络资源和运营能力。而相对互联网企业劣势的地方在于上层应用，尤其是在Saas层面。
大数据有待深挖掘
南京邮电大学卢扞华教授认为，大数据时代主要是对技术的综合运用和对数据的深度挖掘。对运营商来说，大数据带来的机会大于挑战。运营商有自己的网络，积累了大量非常有价值的数据，可以进行客户分析。利用网络收集数据，对运营商运营方式的改变是个机会。
真正实现精准化营销和精细化运营的秘诀就在于如何利用好运营商手中的大数据。海量话单、信令、互联网数据本身就是一笔宝贵的财富。利用好这些数据，充分、及时地对这些数据进行深度分析挖掘，不仅可以进一步提升服务质量、提高客户忠诚度、挖掘新商机、增加收入，还可以通过优化资源配置、减少浪费来提升运营效率，有效降低运营成本。
此外，电信运营商信息化实施比较早，本身大数据积累的也多，例如以前的日志信息，包含用户信息和设备信息，可以进行挖掘使用。运营商越来越重视对数据的挖掘，可以获得未来开发业务和开拓市场的机会。另一方面，分析结果不会涉及隐私，管理好了可以更少产生法律纠纷。此外，电信运营商通过数据分析还可以提供面向社会的信息应用。[page]
卢扞华教授认为，大数据是对技术的综合应用，要有开放、融合、服务和创新的心态，大数据可以为运营商创造另一片天地。例如一个大数据的应用通过收集数据，对大量图片进行分析，最终形成一个场景图。这就是对数据分析、统计技术、图片处理技术和人工智能合成技术的综合运用。据悉，南邮正在开发这方面的应用。
据了解，目前中国三个电信运营商在业务支撑领域、网管IT支撑领域包括增值业务领域，已经随着市场的需求诞生了很多新的大数据实时分析的项目。目前，大数据主要应用在运营商的"信令"系统分析上，此外，运营商还可以通过"用户行为分析"系统，进行精准营销。运营商还提供IDC服务，通过"云"中心的方式为互联网企业提供服务。
对公市场前景巨大
黄萌表示，单批、单次数据爆发性增长，对其进行的可知的时间处理能力是关键点。对运营商来说，IDC服务在对政府和高校、企业等非个人业务市场上前景巨大；对于个人业务，运营商刚开始做，由于回收投资较慢、离散性强，现在主要是针对个人精准运营的业务。智能管道方面，运营商正在基于大数据平台进行流量分析，但是落地的项目少。
据介绍，运营商大数据战略还不太明晰，但是有了一些建树。去年十月份中国移动开始做的"大云"、数据管理系统和平台，覆盖很多园区、学校，2.0技术比1.0技术大幅提升；中国联通2010年开始对企业提供IDC服务，截至目前，营收超20亿元（人民币）；中国电信2011年成立云公司，尚无实体业务，IDC托管规模相对联通小很多。
据电信专家韩少敏介绍，数据类型分为非结构化数据和媒体流，运营商开展大数据分析面对的问题主要是硬件能力。数据一方面是纵向关系，比如"信令",采用水平分隔数据的方式就可以，按照时间段分别存储分析。此外还有横向关系，需要垂直分隔，由于查询复杂，需要引入真正的算法去做。韩少敏认为，目前掌握这方面能力的人才奇缺。并且，运营商在分布式数据库方面少有进展。而从应用角度，大数据一方面用作于统计分析，建数据仓库，其次还有非文本查询，现在大多数数据库公司可以做以上两个方面，而对于关系型数据共享层面，目前还做不了。
中国联通在IDC服务方面走在三家运营商前面，其面向企业提供服务，目前通过按关系水平分隔的方式，将数据集中起来，但是一旦到关系型数据的共享层面，因为没有数据模型，找不到底层的数据库血缘，目前的方案无法解决问题。但是运营商目前做这些数据积累，可以为将来发展提供机会。
刘伟光认为，对于运营商来说，大数据等于大价值。对于IT企业，大数据等于大机遇。通信行业需求从来都是IT技术发展的重要推动力，谁能得到通信行业客户的认可，必然会在大数据领域大有作为，进而成为大数据解决方案的领先者、领导者。

❻ 大数据的价值如何体现

大数据的价值如何体现_数据分析师考试

进入大数据时代，运营商应用大数据发展的驱动因素是什么，是否需要建立新型数据库？ 刘伟光： 随着通信行业的竞争日益激烈，传统的语音和短信等主营收入的利润不断下滑，导致运营商必须找到新的利润增长点，同时有效控制运营成本，从而使自身可以在激烈竞争中立于不败之地。这也是为什么运营商把实现精准化营销和精细化运营提升到战略层次的重要原因。

此外，传统数据库技术已无法满足运营商对大数据充分利用的需求。新型数据库应该具备如下特点：首先应该采用支持大规模并行处理的分布式架构；其次，应该使用基于符合工业标准的开放硬件和系统平台，保证成本可控；第三，随着开源技术不断成熟，创新速度快，新型数据库平台应该易于与新的开源技术进行融合；第四，新的数据库平台应该可以实现与Hadoop平台的无缝集成，实现跨结构化、半结构化、非结构化海量数据的混合分析能力。 卢东明： 运营商目前试图做新型数据库，但是不太现实，首先数据库公司一直以来都是很稳定的几家，需要长期积淀。

其次，大数据不是取代以前的技术，而是混合补充使用，不是新型数据库出来后，就完全替代传统数据库从而大规模使用。数据库是核心、稳定的技术，大数据是开源的软件技术，运营商还是会选择使用相对成熟的软件。 《通信世界周刊》： 大数据今年以来得到格外关注，目前发展状况如何？ 卢东明： 大数据在运营商的业务中早就有应用，目前在各个省都得到普遍应用了。大数据这个词目前有些炒作成分，它和以前的数据库不是完全脱节的，是对数据库的延伸。大数据是个现象，是数据库的另一个形态，不是否定、颠覆之前的数据库形态。

目前做大数据的厂商依然是以前那几家数据厂商，不同的产品解决不同的问题。在中国电信行业，从数据量和应用角度来看处于世界领先地位，这是由于电信用户多、规模大，电信业遇到的问题和挑战比较大，解决方案难度高。 刘伟光： 目前中国三个电信运营商在业务支撑领域、网管IT支撑领域包括增值业务领域，已经随着市场的需求推出了很多新的大数据实时分析的项目，相信未来的两到三年这个市场将会成倍增长，甚至会到达我们今天不能预期的数量。 需要分析共享大数据的管理工具 《通信世界周刊》： IT企业如何依托大数据为运营商提供管理工具，提升运营效率？ 刘伟光： 实现各部门的紧密协作永远都是提升运营效率的不二法门。而IT企业应该为运营商提供实现紧密协作、分析、共享大数据的管理工具，来达成提升运营效率的目标。

此外，大数据时代，IT企业仅仅为运营商提供分析平台、分析工具是不够的。这是因为运营商虽然很了解业务和需求，但普遍缺乏数学建模能力，因此很难利用好这些平台，使其发挥最大效益。所以，如何利用这些平台、系统和数据实现科学建模，同样是提升运营效率的关键所在。 武新： 运营商要解决数据处理效率问题，现在的数据用以前的系统处理需要一天一夜，而应用大数据技术处理可以一个小时完成。在大数据平台，应用云技术，通过集群的方式，几十台服务器同时工作，并进行压缩数据来节省空间。

目前大数据主要是针对结构化数据的应用，用户上哪个网，停留多长时间，通过分析都可做相应的分析结果推送给相关部门。除了对用户上网行为分析，还有网络使用情况、网络设备情况和用户使用手机类型分析。而对非结构化的数据，如视频和图片，目前分析得还较少。 《通信世界周刊》： 大数据具体应用于运营商的哪些业务中，有哪些成功的应用和案例？ 卢东明： 大数据主要应用在运营商的“信令”系统分析上，由于其数据量非常大，比“话单”分析的挑战大很多。移动互联网发展起来之后，运营商开始关注大数据，进行“用户行为分析”，根据人群分析做精准营销，推荐流量套餐。

此外，运营商提供IDC服务，通过“云”中心的方式为互联网企业提供服务。 武新： 运营商从最近两三年开始，感受到这方面的压力，开始寻求解决方案。中国移动“信令”分析系统项目对海量数据进行分析和挖掘；中国联通对“话单”数据进行用户行为分析。中国电信“新一代数据库”产品正在测试中，通过精分系统，进行精准营销。此外，在运营商专网也已应用大数据。运营商目前仍处于测试探索中，通过几种方法针对不同的应用进行测试、筛选。

目前运营商的相关项目有“流量分析”、“智能管道”和“新一代数据库”产品等，传统的数据库面对海量数据已经无法支撑，将来会慢慢被大数据代替掉。 要有开放的心态 《通信世界周刊》： 发展大数据需要解决哪些问题，关键点是什么？ 卢东明： 由于数据分析要看存储效果，涉及到效率和速度。目前运营商应用大数据存在的问题是避免无限制的花钱。另一方面，运营商要和厂商合作，针对不同的业务类型和应用场景，采取不同的分析方法。此外，运营商要有开放的心态，因为大数据作为开源的软件也不是可以解决所有的问题的。 武新： 在数据处理上，运营商转型中不仅有技术上的问题，还需要经历一个时间阶段和过程。

此外，运营商要转变思维方式，其在数据分析上的经验不如互联网企业，这是方法论问题，关系到如何用数据做生意。运营商以前都是依托传统业务，海量数据的出现，使得行业即将洗牌，运营商不得不转型重视数据挖掘。 但运营商可以发挥自己的优势，首先，要分析用户行为的变化，由分析以前的语音用户转变为分析上网行为。其次，运营商有能力提供类似互联网公司的服务，如QQ聊天。

最后，运营商有专网资源，有自己的数据中心可以运维，但是目前这些优势还没有完全发挥出来，是因为还没把握透用户的需求。

以上是小编为大家分享的关于大数据的价值如何体现的相关内容，更多信息可以关注环球青藤分享更多干货

❼ 大数据时代数据管理方式研究

大数据时代数据管理方式研究
1数据管理技术的回顾
数据管理技术主要经历了人工管理阶段、文件系统阶段和数据库系统阶段。随着数据应用领域的不断扩展，数据管理所处的环境也越来越复杂，目前广泛流行的数据库技术开始暴露出许多弱点，面临着许多新的挑战。
1.1 人工管理阶段
20 世纪 50 年代中期，计算机主要用于科学计算。当时没有磁盘等直接存取设备，只有纸带、卡片、磁带等外存，也没有操作系统和管理数据的专门软件。该阶段管理的数据不保存、由应用程序管理数据、数据不共享和数据不具有独立性等特点。
1.2 文件系统阶段
20 世纪 50 年代后期到 60 年代中期，随着计算机硬件和软件的发展，磁盘、磁鼓等直接存取设备开始普及，这一时期的数据处理系统是把计算机中的数据组织成相互独立的被命名的数据文件，并可按文件的名字来进行访问，对文件中的记录进行存取的数据管理技术。数据可以长期保存在计算机外存上，可以对数据进行反复处理，并支持文件的查询、修改、插入和删除等操作。其数据面向特定的应用程序，因此，数据共享性、独立性差，且冗余度大，管理和维护的代价也很大。
1.3数据库阶段
20 世纪 60 年代后期以来，计算机性能得到进一步提高，更重要的是出现了大容量磁盘，存储容量大大增加且价格下降。在此基础上，才有可能克服文件系统管理数据时的不足，而满足和解决实际应用中多个用户、多个应用程序共享数据的要求，从而使数据能为尽可能多的应用程序服务，这就出现了数据库这样的数据管理技术。数据库的特点是数据不再只针对某一个特定的应用，而是面向全组织，具有整体的结构性，共享性高，冗余度减小，具有一定的程序与数据之间的独立性，并且对数据进行统一的控制。
2大数据时代的数据管理技术
大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据有 3 个 V,一是大量化（Volume），数据量是持续快速增加的，从 TB级别，跃升到 PB 级别；二是多样化（Variety），数据类型多样化，结构化数据已被视为小菜一碟，图片、音频、视频等非结构化数据正以传统结构化数据增长的两倍速快速创建；三是快速化 （Velocity），数据生成速度快，也就需要快速的处理能力，因此，产生了“1 秒定律”,就是说一般要在秒级时间范围内给出分析结果，时间太长就失去价值了，这个速度要求是大数据处理技术和传统的数据挖掘技术最大的区别。
2.1 关系型数据库（RDBMS）
20 世纪 70 年代初，IBM 工程师 Codd 发表了著名的论文“A Relational Model of Data for Large Shared DataBanks”,标志着关系数据库时代来临。关系数据库的理论基础是关系模型，是借助于集合代数等数学概念和方法来处理数据库中的数据，现实世界中的实体以及实体之间的联系非常容易用关系模型来表示。容易理解的模型、容易掌握的查询语言、高效的优化器、成熟的技术和产品，使得关系数据库占据了数据库市场的绝对的统治地位。随着互联网 web2.0 网站的兴起，半结构化和非结构化数据的大量涌现，传统的关系数据库在应付 web2.0 网站特别是超大规模和高并发的 SNS（全称 Social Networking Services,即社会性网络服务） 类型的 web2.0 纯动态网站已经显得力不从心，暴露了很多难以克服的问题。
2.2 noSQL数据库
顺应时代发展的需要产生了 noSQL数据库技术，其主要特点是采用与关系模型不同的数据模型，当前热门的 noSQL数据库系统可以说是蓬勃发展、异军突起，很多公司都热情追捧之，如：由 Google 公司提出的 Big Table 和 MapRece 以及 IBM 公司提出的 Lotus Notes 等。不管是那个公司的 noSQL数据库都围绕着大数据的 3 个 V,目的就是解决大数据的 3个 V 问题。因此，在设计 noSQL 时往往考虑以下几个原则，首先，采用横向扩展的方式，通过并行处理技术对数据进行划分并进行并行处理，以获得高速的读写速度；其次，解决数据类型从以结构化数据为主转向结构化、半结构化、非结构化三者的融合的问题；再次，放松对数据的 ACID 一致性约束，允许数据暂时出现不一致的情况，接受最终一致性；最后，对各个分区数据进行备份（一般是 3 份），应对节点失败的状况等。
对数据的应用可以分为分析型应用和操作型应用，分析型应用主要是指对大量数据进行分类、聚集、汇总，最后获得数据量相对小的分析结果；操作型应用主要是指对数据进行增加、删除、修改和查询以及简单的汇总操作，涉及的数据量一般比较少，事务执行时间一般比较短。目前数据库可分为关系数据库和 noSQL数据库，根据数据应用的要求，再结合目前数据库的种类，所以目前数据库管理方式主要有以下 4 类。
（1）面向操作型的关系数据库技术。
首先，传统数据库厂商提供的基于行存储的关系数据库系统，如 DB2、Oracle、SQL Server 等，以其高度的一致性、精确性、系统可恢复性，在事务处理方面仍然是核心引擎。其次，面向实时计算的内存数据库系统，如 Hana、Timesten、Altibase 等通过把对数据并发控制、查询和恢复等操作控制在内存内部进行，所以获得了非常高的性能，在很多特定领域如电信、证券、网管等得到普遍应用。另外，以 VoltDB、Clustrix 和NuoDB 为代表的 new SQL 宣称能够在保持 ACDI 特性的同时提高了事务处理性能 50 倍 ~60 倍。
（2）面向分析型的关系数据库技术。
首先，TeraData 是数据仓库领域的领头羊，Teradata 在整体上是按 Shared Nothing 架构体系进行组织的，定位就是大型数据仓库系统，支持较高的扩展性。其次，面向分析型应用，列存储数据库的研究形成了另一个重要的潮流。列存储数据库以其高效的压缩、更高的 I/O 效率等特点，在分析型应用领域获得了比行存储数据库高得多的性能。如：MonetDB 和 Vertica是一个典型的基于列存储技术的数据库系统。
（3）面向操作型的 noSQL 技术。
有些操作型应用不受 ACID 高度一致性约束，但对大数据处理需要处理的数据量非常大，对速度性能要求也非常高，这样就必须依靠大规模集群的并行处理能力来实现数据处理，弱一致性或最终一致性就可以了。这时，操作型 noSQL数据库的优点就可以发挥的淋漓尽致了。如，Hbase 一天就可以有超过 200 亿个到达硬盘的读写操作，实现对大数据的处理。另外，noSQL数据库是一个数据模型灵活、支持多样数据类型，如对图数据建模、存储和分析，其性能、扩展性是关系数据库无法比拟的。
（4）面向分析型的 noSQL 技术。
面向分析型应用的 noSQL 技术主要依赖于Hadoop 分布式计算平台，Hadoop 是一个分布式计算平台，以 HDFS 和 Map Rece 为用户提供系统底层细节透明的分布式基础架构。《Hadoop 经典实践染技巧》传统的数据库厂商 Microsoft,Oracle,SAS,IBM 等纷纷转向 Hadoop 的研究，如微软公司关闭 Dryad 系统，全力投入 Map Rece 的研发，Oracle 在 2011 年下半年发布 Big Plan 战略计划，全面进军大数据处理领域，IBM 则早已捷足先登“,沃森（Watson）”计算机就是基于 Hadoop 技术开发的产物，同时 IBM 发布了 BigInsights 计划，基于 Hadoop,Netezza 和 SPSS（统计分析、数据挖掘软件）等技术和产品构建大数据分析处理的技术框架。同时也涌现出一批新公司来研究Hadoop 技术，如 Cloudera、MapRKarmashpere 等。
3数据管理方式的展望
通过以上分析，可以看出关系数据库的 ACID 强调数据一致性通常指关联数据之间的逻辑关系是否正确和完整，而对于很多互联网应用来说，对这一致性和隔离性的要求可以降低，而可用性的要求则更为明显，此时就可以采用 noSQL 的两种弱一致性的理论 BASE 和 CAP.关系数据库和 noSQL数据库并不是想到对立的矛盾体，而是可以相互补充的，根据不同需求使用不同的技术，甚至二者可以共同存在，互不影响。最近几年，以 Spanner 为代表新型数据库的出现，给数据库领域注入新鲜血液，这就是融合了一致性和可用性的 newSQL,这种新型思维方式或许会是未来大数据处理方式的发展方向。
4 结束语
随着云计算、物联网等的发展，数据呈现爆炸式的增长，人们正被数据洪流所包围，大数据的时代已经到来。正确利用大数据给人们的生活带来了极大的便利，但与此同时也给传统的数据管理方式带来了极大的挑战。