大数据的突破

㈠ 大数据应用须解决三大关键点

大数据应用须解决三大关键点
大数据应用的关键点是数据来源、产品化和价值创造;数据资源分布不均，大数据应用在数据密集领域更易获得突破;须对不当的行业管理模式进行改革,以促进大数据在已有各个行业中应用。
大数据贵在应用。当前，在国家层面，国务院出台《促进大数据发展行动纲要》;在地方层面，大数据被作为区域发展战略引擎;在企业层面，各类大数据概念公司方兴未艾、蓬勃发展。我们独关注大数据应用，关注数据从哪里来、数据怎么用、成果谁买单，也就是数据来源、产品化和价值创造三个关键点。一个好的大数据应用，从技术上可能很复杂，但从业务模式上应当简单、直白、管用。我们还关注，是否存在若干"数据密集型"行业或领域，大数据应用在这些领域可能更容易开展。在产业政策方面，我们关注作为新兴业态的大数据，过去屡试不爽的做法，如给地、给钱、给项目等，是否还会继续有效?
大数据应用的三个关键点
国务院《促进大数据发展行动纲要》(简称《大数据纲要》)将大数据定位为"新一代信息技术和服务业态"，赋予大数据"推动经济转型发展""重塑国家竞争优势""提升政府治理能力"的战略功能，并将数据界定为"国家基础性战略资源"。在应用方面，《大数据纲要》在公共领域提出许多发展方向，如宏观调控科学化、政府治理精准化、商事服务便捷化、安全保障高效化、民生服务普惠化;在产业层面，主要按行业领域划分为工业大数据、新兴产业大数据、农业农村大数据、万众创新大数据，以及大数据产品体系和大数据产业链。这些方向，只是大数据应用的潜力和空间，能不能应用起来，能不能发挥作用，还得看有没有可行模式和实际效果。无论是在公共领域还是在产业层面，大数据应用都离不开数据来源、处理技术和方法、创造价值的模式，这是我们关注的重点。概括来说，需要回答下面三个看似简单、却是关键的问题。(一)数据从哪里来关于数据来源，普遍认为互联网及物联网是产生并承载大数据的基地。互联网公司是天生的大数据公司，在搜索、社交、媒体、交易等各自核心业务领域，积累并持续产生海量数据。物联网设备每时每刻都在采集数据，设备数量和数据量都与日俱增。这两类数据资源作为大数据金矿，正在不断产生各类应用。国外关于大数据的成功经验介绍，大多是这类数据资源应用的经典案例。还有一些企业，在业务中也积累了许多数据，如房地产交易、大宗商品价格、特定群体消费信息等。从严格意义上讲，这些数据资源还算不上大数据，但对商业应用而言，却是最易获得和比较容易加工处理的数据资源，也是当前在国内比较常见的应用资源。在国内还有一类是政府部门掌握的数据资源，普遍认为质量好、价值高，但开放程度低。《大数据纲要》把公共数据互联开放共享作为努力方向，认为大数据技术可以实现这个目标。实际上，长期以来政府部门间信息数据相互封闭割裂，是治理问题而不是技术问题。面向社会的公共数据开放愿望十分美好，恐怕一段时间内可望不可及。在数据资源方面，国内"小数据""中数据"应用并不充分，试图一步跨入大数据时代，借机一并解决前期信息化过程中没能解决的问题，前景并不乐观。另外，由于中国互联网公司业务主要在国内，其大数据资源也不是全球性的。数据从哪里来是我们评价大数据应用的第一个关注点。一是要看这个应用是否真有数据支撑，数据资源是否可持续，来源渠道是否可控，数据安全和隐私保护方面是否有隐患。二是要看这个应用的数据资源质量如何，是"富矿"还是"贫矿"，能否保障这个应用的实效。对于来自自身业务的数据资源，具有较好的可控性，数据质量一般也有保证，但数据覆盖范围可能有限，需要借助其他资源渠道。对于从互联网抓取的数据，技术能力是关键，既要有能力获得足够大的量，又要有能力筛选出有用的内容。对于从第三方获取的数据，需要特别关注数据交易的稳定性。数据从哪里来是分析大数据应用的起点，如果一个应用没有可靠的数据来源，再好、再高超的数据分析技术都是无本之木。(二)数据怎么用数据怎么用是我们评价大数据应用的第二个关注点。大数据只是一种手段，并不能无所不包、无所不用。我们关注大数据能做什么、不能做什么，现在看来，大数据主要有以下几种较为常用的功能。追踪。互联网和物联网无时无刻都在记录，大数据可以追踪、追溯任何一个记录，形成真实的历史轨迹。追踪是许多大数据应用的起点，包括消费者购买行为、购买偏好、支付手段、搜索和浏览历史、位置信息，等等。识别。在对各种因素全面追踪的基础上，通过定位、比对、筛选，可以实现精准识别，尤其是对语音、图像、视频进行识别，使可分析内容大大丰富，得到的结果更为精准。画像。通过对同一主体不同数据源的追踪、识别、匹配，形成更立体的刻画和更全面的认识。对消费者画像，可以精准推送广告和产品;对企业画像，可以准确判断信用及风险。提示。在历史轨迹、识别和画像基础上，对未来趋势及重复出现的可能性进行预测，当某些指标出现预期变化或超预期变化时给予提示、预警。以前也有基于统计的预测，大数据大大丰富了预测手段，对建立风险控制模型有深刻意义。匹配。在海量信息中精准追踪和识别，利用相关性、接近性等进行筛选比对，更有效率地实现产品搭售和供需匹配。大数据匹配功能是互联网约车、租房、金融等共享经济新商业模式的基础。优化。按距离最短、成本最低等给定的原则，通过各种算法对路径、资源等进行优化配置。对企业而言，提高服务水平、提升内部效率;对公共部门而言，节约公共资源、提升公共服务能力。当前许多貌似复杂的应用，大都可以细分成以上几种类型。例如，贵州推行的"大数据精准扶贫项目"，从大数据应用角度，通过识别、画像，可以对贫困户实现精准筛选和界定，找准扶贫对象;通过追踪、提示，可以对扶贫资金、扶贫行为和扶贫效果进行监控和评估;通过配对、优化，可以更好地发挥扶贫资源的作用。这些功能也并不都是大数据所特有的，只是大数据远远超出以前的技术，可以做得更强大、更精准、更快、更好。(三)成果谁买单成果谁买单是我们评价大数据应用的第三个也是最后一个关注点。道理很简单，不创造价值的应用不是好应用。我们关注大数据的应用是否实实在在地提升了能力、改善了绩效。如果大数据用于自身的产品设计、营销推广、资源配置，那就看企业竞争力是不是提升了，看企业最终是不是比以前更赚钱了。如果大数据用于为第三方提供服务，那就看是不是有人愿意付费、愿意持续付费。但如果是用于公共领域，还要看政府或公共部门的付费值不值，不仅仅是从出资方的视角看值不值，还要从老百姓的视角看值不值。当我们面对一项大数据应用时，只要简单问一问上面三个问题--数据从哪里来、数据怎么用、成果谁买单，就能揭开许多"伪装"。当然，如果经得起上述"大数据三问"，也并非一定算得上优秀，却也离优秀的大数据应用不远了。寻找数据密集型领域既然大数据被视为一种资源，那就要考虑资源分布的问题。一般而言，资源分布是极不均匀的，如水、矿产、耕地、能源等自然资源;人力资源和知识的分布更是不均。大数据是否也存在分布不均的问题?发展大数据产业是否真的能弯道超车?这些问题值得深入思考。与可以探测的自然资源不同，数据资源分布难以定位和刻画。不过，可以用大数据人力资源分布状况来间接反映大数据应用在地区、行业间的差异，哪些行业、哪些地区大数据人力资源密集，这些行业和地区就可以看作是数据密集的。我们对两家主流招聘网站"前程无忧"和"智联招聘"2014年下半年以来发布的招聘信息进行筛选，得到两家网站两年来共发布相关信息涉及企业22.7万家，职位100.7万个，数据量确实足够"大"。通过分地区、分行业进行汇总分析，结果显示大数据人力资源分布极不均匀，各地区、各行业差异极大。不过，确切来说，通过招聘网站反映的是人才需求情况，并不是严格意义上的人力资源存量分布情况，但这两者是紧密相关的。从大数据相关岗位工作地来看，北京、广东、上海三地高度密集，遥遥领先于其他地区。三地相加，发布招聘信息企业数在两家网站占到52.35%和47.48%，职位数占到61.23%和56.74%。可以推测，大数据人力资源的半壁江山都集中在这三个地方，这与我们平时的直观感受是高度一致的。在这三个地方之外，我们关心是不是地方政府重视大数据产业、将大数据作为区域经济发展引擎，就可能促进人力资源集聚，就可能超越与自己相似经济发展水平的其他地区。从数据反映情况看，至少目前还看不到这样的结果，这揭示出人力资源结构是后发地区发展大数据产业最需要弥补的短板和最难克服的困难。改变一个地方人力资源构成的难度要远远大于改变地面建筑面貌，要么需要一个长期的过程，要么需要一个独特的制度。即便在同一省份内，大数据人力资源分布也极为不均。例如在广东，单深圳一市就大体占到了全省的一半。再加上广州，竟然能够达到九成。其他地方，即使经济实力不俗，但与深圳、广州相比，在大数据人力资源方面相差甚远。这再次表明，大数据人力资源分布是极不均匀的。显然，大数据人力资源密集地区发展大数据产业的基础要优于人力资源贫瘠的地区。从城市排名看，北上深广可以视作大数据人力资源需求密集的一线城市，杭州、南京、成都、武汉、西安等可以看作二线城市。大数据人力资源分布与城市经济实力、活力乃至房价水平都是大体一致的。从行业分布看，对大数据人力资源的需求分布更不均匀，主要集中在互联网、信息技术及计算机相关行业。这充分说明了大数据是互联网或IT产业的一部分，是在原有基础上的新发展。这些行业是典型的"数据密集型"行业，是大数据产业发展的摇篮。金融是另一个特别重要的"数据密集"领域。金融行业既是产生数据尤其是有价值数据的基地，又是数据分析服务的需求方和应用地。更为重要的是，金融行业具备充足的支付能力，将是大数据产业竞争的重要战场。许多大数据是通过在金融领域的应用辐射到了各个行业。除此之外，电信、专业服务(如咨询、人力资源、财会)、教育培训、影视媒体、网络游戏等，相对而言也是当前数据较为密集的行业。《大数据纲要》几乎面面俱到地对所有行业和领域都规划了大数据应用的广阔前景，但数据资源分布极为不均，在"数据密集"领域的大数据应用，取得市场成功的可能性较大。大数据需要什么样的产业政策大数据应用需要什么样的产业政策?从应用的角度来看，大数据并非一个全新的产业，而是与已有产业融合，对已有模式的改造、升级和替代。制约大数据发展的往往并不是大数据本身，而是大数据所应用的行业和领域原本存在的问题，如行业管制、行政垄断、要素不能自由流动，等等。因此，促进大数据发展，用给地、贴钱、上项目的方法，并不能解决根本问题。要从大数据应用领域角度，对不当的行业管理模式进行改革，对既有利益格局进行调整，使大数据应用具备必要的条件。即使在企业内部，大数据应用也不仅仅是个技术问题，而是涉及业务流程重组和管理模式变革，是对企业管理能力的一个考验。金融、电信、教育、影视媒体等"数据密集型"行业，既是大数据应用潜力巨大的领域，也是迫切推进行业改革的重点领域。另一方面，大数据的应用也可以为行业改革提供技术支撑，能以更有效的技术路线实现行业发展目标。
大数据应用需要的产业政策其实就是市场经济下各个行业发展所应有的政策，如放开准入、公平竞争、减轻企业负担、消除企业所有制歧视、消除企业规模歧视，等等。只有在一个开放的产业环境中，大数据才能在这些产业得以有效运用。一个地方若要在金融、医疗、教育等领域大力推动大数据运用，最管用的政策就是对这些行业进行有力的改革。

㈡ 大数据关键技术解析

大数据关键技术解析

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。 一、大数据采集技术

数据采集是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型，开发数据质量技术。

大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。

二、大数据预处理技术

主要完成对已接收数据的辨析、抽取、清洗等操作。1)抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。2)清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

三、大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统(DFS)、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术;突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术;突破大数据索引技术;突破大数据移动、备份、复制等技术;开发大数据可视化技术。

开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。

开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。

四、大数据分析及挖掘技术

大数据分析技术。改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中，可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

从挖掘任务和挖掘方法的角度，着重突破：1.可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。2.数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。3.预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。4.语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。5.数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。

五、大数据展现与应用技术

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统)，大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。

以上是小编为大家分享的关于大数据关键技术解析的相关内容，更多信息可以关注环球青藤分享更多干货

㈢ 大数据在未来有什么样的发展趋势_大数据的未来发展前景

大数据的未来发展趋势主要有以下几点：趋势一：数据资源化

何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。

趋势二：与云计算的深度结合

大数据离不开云处理，云处理为大数据提供了弹性可拓乱樱宽的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一起助力大数据革命，让大数据营销发挥出更大的影响力。

趋势三：科学理论的突破

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。

趋势四：数据科学和数据联盟的成立

未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。

趋势五：数据泄露泛滥

未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会哗陆丛面临悉孙数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。在财富500强企业中，超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据，所有数据在创建之初便需要获得安全保障，而并非在数据保存的最后一个环节，仅仅加强后者的安全措施已被证明于事无补。

趋势六：数据管理成为核心竞争力

数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关;此外，对于具有互联网思维的企业而言，数据资产竞争力所占比重为36.8%，数据资产的管理效果将直接影响企业的财务表现。

趋势七：数据质量是BI(商业智能)成功的关键

采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。

趋势八：数据生态系统复合化程度加强

大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。而今，这样一套数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的细分，也就是市场的细分;系统机制的调整，也就是商业模式的创新;系统结构的调整，也就是竞争环境的调整等等，从而使得数据生态系统复合化程度逐渐增强。

㈣ 运营商大数据对外价值变现的十大趋势

作者 | 傅一平

来源 | 与数据同行

最近中国移动提出了DICT战略，显示其在政企市场进一步拓展的雄心，在这个背景下，重新探讨下运营商的大数据变现很有意义。虽然近半年“大数据圈”似乎有点风声鹤唳，但对于合法合规的进行大数据业务的企业来讲没有什么影响。

下面笔者就结合自身实践，给出未来2-3年运营商大数据价值变现的十个趋势判断，仅代表个人看法，希望于你有所启示。

1、行业服务边界不断拓展

依托于运营商潜力巨大的数据资源和政企市场渠道资源，经过多年的市场培育和拓展，当前运营商大数据业务从原来的金融、旅游等行业逐步拓展到政府、旅游、交通、教育、商业、招聘、医疗等各个各业。

运营商ICT业务在推进中，也孕育了不少大数据业务的商机，大数据业务则反过来促进了ICT业务的发展，因为大数据除了业务价值，还有一定的社会品牌效应，两者通过融合可以形成合力。

随着企业数字化转型的加快及产业互联网的崛起，作为未来社会基础设施的大数据，将与云计算、人工智能、物联网、区块链一起，在行业领域开疆扩土，其应用的边界几乎是无限的。

2、进入行业应用的深水区

大数据在行业领域拥有着巨大的潜力并不意味着运营商就能分得多少杯羹。虽然运营商大数据业务当前在金融、旅游等行业已经有所斩获，但这些行业低垂的果实基本要被摘光了。

以金融为例，4-5年前运营商切入的验真，失联触达等业务，当前仍然是运营商大数据变现的主力，但金融行业并未如运营商原先预料的那样，在贷前、贷中、贷后中给予运营商更多的机会，运营商很多变现业务模式的拓展基本是停滞的，起码不够快。

在大量的其他行业领域，运营商往往只能做到蜻蜓点水，而无法聚沙成塔，比如业务的复购率很低。

从定性的角度讲，运营商对于行业的理解还是比较浅的，其大量的行业应用游走在企业的核心生产流程之外，大数据似乎是奢侈品，而不是必需品，因此粘性是不够的。

以金融验真这个业务为例，其附加值并不高，且容易被替代，想想这几年对于金融行业的理解又增加了多少呢？这些都是需要反思的地方。

笔者曾经在智慧交通相关文章中提到：运营商的数据在很多领域其实是很有前途的，但必须深耕，要理解这个行业的业务，通晓这个行业的算法，不停的打磨产品，从而逼近核心。

可以这么说，运营商大数据将很快进入行业应用的深水区，为了顺应这个趋势，运营商需要建立专业化的组织去攻坚克难，挑战很大。

3、与互联网公司的竞争加剧

互联网应该没有把运营商当成主要的大数据竞争对手，但运营商进入这个领域会跟互联网公司形成事实上的竞争，无论是新零售，智慧交通等等，进入者都会感受到互联网巨头的压力。

比如运营商要为大型商超提供数据服务，但互联网公司早就捷足先登，新零售是互联网出的概念，当运营商还在进行自身渠道的艰难转型时，互联网公司线下商业的版图已经规划好了，当然也包括了大数据业务。你到商超谈，人家一开口就提XX通怎么样怎么样。

当然还不仅仅是这些。

无论是互联网公司在To G上自顶向下的推广策略，还有诸如城市大脑单一采购来源的霸气，都在说明巨型互联网公司在这些领域的影响力。

运营商要获得机会，得动用一切可用的资源，发挥自己数据的差异化价值，由点及面去寻找机会。实践证明，管道数据的价值是巨大的，但巨型互联网公司的数据也越来越好，这是不得不面对的现实。

4、从要素驱动向要素+能力驱动转型

运营商当前在大数据变现上的突破只能说摘取了低垂的果实，但这种通过简单数据加工形成的数据产品竞争力是不够的，也是不可持续的。

比如做智慧交通，如果位置精度和覆盖度不够，连速度都测不准，根本做不出高质量的数据产品。

应该来讲，运营商从来就没有现成的、高精度的、可以到用户级别的位置数据，粗精度的原始位置数据未来可能连支撑运营商自己的业务转型都不够，运营商需要充分挖掘现有位置数据的潜力，通过建模等方式把较为精准的位置模型做出来，才能有基本的大数据变现底蕴。

位置精度的提升虽然是一小步，但却是对外大数据变现的一大步。位置准了，运营商对于人们整个线下生活的理解就准了，无论是客流，路网，OD等等都不再话下。

现在运营商依靠数据资源这个要素能走出第一步是不错的，但光靠资源驱动已经不够了，能力必须过来接棒，没有能力加持的运营商大数据变现前景暗淡。

因此，运营商大数据变现未来不再是躺着挣钱，而是要从原始数据的驱动向数据+能力双驱动转型，这个能力包括人才、技术、数据、产品、运营等等，这是不容置疑的。但如果只是空喊着口号不敢探索尝试，则也许连能力提升的机会都没有。

5、持续强化大数据合作的生态

大数据变现从底向上涉及平台、数据、建模、产品、方案、渠道、咨询、运营、安全等一系列的内容，运营商无法一手包办，因此必须建立合作的生态。

从业务的角度看，缺乏渠道合作伙伴、缺乏行业解决方案对于运营商都是很现实的挑战，最大的痛苦莫过于不知道商机在哪里，不知道自己想做的这个数据或产品有没有前途。运营商不可能瞬间将现有的客户经理队伍转为数字化产品的销售队伍，毕竟知识结构的要求不一样。

虽然可以采取MVP的方式推进，但一方面试错的成本摆在那里，运营商也并没有资本为其背书，另一方面时间成本也大了点。现在很多运营商都有合作伙伴招募计划，这是很好的尝试，但符合要求的合作伙伴还是太少了。

从开放的角度看，中国移动的梦网曾经创造过辉煌，但开放这句口号不是随便喊喊的，你得建立一套标准，清晰的告诉别人你有什么能力，然后如何能方便的接入。

比如当我们在互联网大会展示城市实验室产品的时候，发现仍然有那么多的人惊讶于运营商竟然还能做这个，就说明我们在开放这条道上还有很长的路要走。

而当笔者第一次访问阿里云网站的时候，其较好的使用体验给我留下了深刻的印象，随后定期的营销推送起码说明是用心的，又比如笔者第一次使用腾讯云域名申请时，其后腾讯云客服的电话调研也是很及时的。

因此，能否跟更广泛的合作伙伴建立连接，能否建立起开放的平台，能否确保信息的安全，在很大程度上决定了运营商大数据变现的蛋糕能做多大。

6、通过集中化获得溢价能力的趋势将加强

由于历史原因运营商的大数据实际是分省存储和运营的，这跟互联网公司天然的集中统一的数据基因是完全不同的。虽然一些运营商在集中化上做了很多努力，但相对互联网公司，还是有一些差距。

各省本地化做一些产品虽然带来了灵活性，但造成了事实上的重复开发，这种模式在创新阶段其实没什么问题，但最大的问题是各个省能否有足够的资源去保证产品的持续优化，无论从数据的角度，还是从运营的角度看，我们都需要一定的集约化机制来确保高效低成本的运作。

但这还仅仅是一个方面。

另一方面，相较互联网，由于数据的割裂，运营商基于单个省的数据做出的产品溢价能力不高，往往只能服务于特定区域，在很多竞争中会处于劣势，比如当前运营商基于位置数据的应用很多，但为什么上网数据的变现却很少呢？

这个不仅仅是简单的https问题，更是因为客户对于上网数据的诉求基本是全国的，没有地域的概念，这让运营商失去了很多突破的机会。

因此，运营商的大数据在一个省创新后迅速全网复制是一直要坚持的策略，而基于集中化的数据进行创新是提升产品竞争力的一个关键。

7、运营商DICT战略将使得大数据获得更大支持

随着数字经济的发展和行业数字化的进步，传统产业转型升级的需求强劲，运营商和云服务提供商，均在强化云、网、端、边协同，推出“云+网+DICT”智能化解决方案，帮助企业实现更深层次的数字化转型。

运营商的政企2B市场是当前关注的焦点，而云+DICT（DT+CT+ICT+IDC）又是其中的关键，这意味着未来各种资源会逐步会向DICT倾斜，大数据需要抓住这个机会，通过DICT的融合来促进大数据业务的规模化发展，所谓“借势”。

另外，当前三大运营商已经宣布了5G商用，中国移动也发布了了“5G+”计划，其中包括“5G+AICDE”计划，“5G+AICDE”是将5G作为接入方式，与人工智能（AI）、物联网（IoT）、云计算（Cloud Computing）、大数据（Big Data）、边缘计算（Edge Computing）等新兴信息技术深度融合，准备打造以5G为中心的泛智能基础设施。

5G时代人和物、物和物之间的连接产生的数据类型将会更多，5G更密集的基站布点意味着更高的定位精度，5G业务形式更加多样意味着管道中的数据内容会爆发性增加，运营商对于客户行为的刻画能力将进一步加强，每项垂直5G行业应用都将会与大数据有着千丝万缕的关系，这些对于运营大数据的发展是利好。

8、日益趋紧的数据安全要求对于运营商既是挑战也是机遇

运营商虽然拥有海量的数据，但很多省公司并未实质性的开展大数据业务，很多是基于安全的考量。即使是正在开展大数据变现业务的运营商省份，合规合法经营也是其开展大数据业务的底线，运营商对于大数据的业务创新是相对保守的。

事实上，运营商当前能开展的各项大数据新业务，都需要经过内部极其严格的法律、安全多道审核，加上行业、集团、省出台的各种安全管理规范的约束，还有定期的安全检查，都让运营商大数据业务从一出生就经历着内部一轮轮的安全洗礼。

2019年持续发酵的各种信息安全事件让大数据圈似乎如履薄冰，但其打击的还是各种违法经营和黑市交易。事实上，经过新一轮的洗盘，运营商也许会面临较以往更好的商业环境，数据可能会变得更为稀缺，毕竟以前黑市的数据交易会导致良币驱逐劣币的现象，当然这也只是一种猜测。

可以肯定的是，未来国家对于信息安全管控的趋紧会使得大数据业务的创新变得更具挑战性，但合规合法的进行大数据价值挖掘，助力中国经济高质量发展始终是主流，运营商虽然会面临安全上的挑战，但也有更多的机会。

9、运营商大数据对于TO C业务的探索不会停止

互联网公司TO C业务前期是靠钱烧出来的，毕竟消费者是趋利的，拥有高体验的产品和一定基础的用户后，互联网公司才有了珍贵的海量数据，这个时候大数据才有用武之地，反过来赋能业务发展，这是互联网公司应用大数据的本质。

运营商天然就有大数据，但大数据变现的实践还是告诉我们，运营商的数据维度还是不够丰富，比如缺乏消费数据，而巨型的互联网公司通过应用的丰富不断积累着更多维度的数据。

事实上，当前运营商的数据维度拓展基本是停滞不前的，如果不加以改善，在不久的将来，运营商的数据优势会逐步变小，最终会影响到产品的竞争力。

现在运营商建立了很多专业公司，比如中国移动的咪咕，有人会质疑这些公司能否赚钱，姑且不从战略的角度思考这个问题，即使站在大数据的角度看，这些公司的拓展能够让运营商拥有更丰富的数据，这就很有价值。最近中移金科成立了，支付数据对于DT有多重要不用解释吧，因此意义是很深远的。

其实做大数据产品的，哪个没有点TO C的梦想？希望运营商能基于自己的资源优势，结合大数据的差异化特点，能够打造出真正的既卖座又叫好的TO C产品。

10、运营商对于低价值密度的大数据处理能力要求会大幅提升

运营商的DPI数据具有典型的大数据特征，有潜力但价值密度低，但这个数据是运营商除位置数据以外最珍贵的数据，很多人说这个数据在运营商变现中实际没啥应用场景，或者言必称https，那是比较业余的说法。

随着5G时代的到来，对于DPI数据的有效开采挖掘对于运营商大数据变现是核心的基础工作之一。

首先，DPI这个技术原生是为网络优化服务的，比如很多字段对于数据变现没有价值，能否考虑更高性价比的处理手段？这个就需要运营商针对性的进行研究，比如从客户洞察、精准营销和价值变现的角度去高效低成本的采集管道中的数据。

其次，5G海量、低延时、非结构数据的特点，将进一步促进数据存储、处理和分析技术的进步，即使是当前的4G，从采集到应用的时延也是比较高的，很难达到场景式营销的要求，而且保留的周期也非常有限。

最后，5G大数据的价值密度将进一 步降低，对AI的能力要求将更高，即使是针对当前的4G数据，运营商的NLP等能力储备也是不够的，因此要尽快补足短板。

当然，以上十个趋势只是笔者的个人判断，受限于自己的能力和视野，以上谈的肯定有很多不到位的地方，权当笔者抛砖引玉，如果能引发一点思考，那就更好了。

㈤ 2021年我国大数据行业发展现状如何

我国大数据产业开始已进入深化阶段

中国大数据产业从萌芽到如今渐成体系，已走过将近10个年头。“十四五”开局之年，大数据产业也进入了集成创新、深度应用的新阶段。大数据在医疗、工业、交通等领域的融合应用技术加快创新突破，大数据融合应用重点从虚拟经济转变为实体经济;大数据底层技术方面，信息安全、模式识别、语言工程、计算机辅助设计、高性能计算等加快突破，大数据技术领域逐渐补齐短板，并进一步强化长板。

—— 更多本行业研究分析详见前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》

㈥ 实现商业突破的关键点—大数据

实现商业突破的关键点—大数据
大数据可以说是近来年最火热的一个话题。微博等社交化媒体因其独特的开放性特征，也成为大数据利用最令人关注的领域。
而这两年，随着微博、微信等社交平台商业化尝试的深入，及其结果的不尽如人意，大数据的利用成为了一个能否实现商业化实质突破的关键点。而这个点的关键又在于社交平台是否能做到对大数据的真正开放。
对于社交平台大数据开放，行业关注点现在主要在集中在两方面：其一是社交平台大数据究竟价值几何？其二，是基于这一大数据，平台方能给出怎样的的全面开放政策，以及这类政策的持续和稳定性又如何。
社交平台的数据价值
要了解社交平台大数据的价值，首先要搞清楚的是，开放平台合作伙伴们是如何利用这一大数据的。
化繁为简，我们将其概括为三步：首先是对平台所产生的庞大数据进行分析；然后，通过分析获得数据背后的用户诉求；最后，针对用户诉求进行个性化、精确化和智能化的信息推送和服务推广，并最终实现吸引用户点击、消费的目标。
举个简单例子，比如有用户在微博分享地理位置、景点等信息时，其广告模块就会快速精准的为其推荐相关的机票、酒店等信息。
而实现这一所有流程的起始点，就在于用户在社交网络上的生活化分享。而这也正是社交网络大数据的价值所在。
此外，企业通过社交大数据的分析和处理，还可以低成本的进行舆论监控，极大降低了企业品牌危机产生和扩散的可能。
开放尺度定成败
大数据的价值只是基础，要实现智能营销，一个重要层面还在于第三方能从多大程度上利用到这一数据进行挖掘。
而这也包含了两个层面，首先是API开放多样性，其次是数据的完整性。
在API开放方面，一直以来行业对开放平台期待最多的公司要数新浪。新浪初期也的确不负众望，给予了第三方开发者近百个API接口，可谓相当丰富。在2012年前后，通过这些接口，也密集涌现出了很多基于新浪微博大数据的创业公司，盛况空前。
然而这种基于开放而联姻的蜜月期还没来得及令人回味，新浪对于API开放的态度却在近期发生了转变。如在去年，新浪微博便关闭了其开放平台的私信接口，今年更是对开放平台接口做了进一步收紧（对当前授权应用只能读取授权该应用的当前用户微博，不能获取其他用户微博；同时，当前授权应用只能读取授权该应用的当前用户的关系，不能读取其他用户的关系。）。
而这种收窄的姿态，在阿里巴巴入股新浪微博之后，愈趋明显。
众多开发者表示，其多款应用的数据已被清空或者api接口被停用。现在新浪开放平台的每次更新也是删的多，增的少，而增加的功能也大多都是可有可无的。
开发作为当下互联网的一个趋势（网络、阿里巴巴、腾讯【简称BAT】三巨头都在谈开放），新浪微博反其道而行之，当然，新浪对API开放性的收缩，我们要承认其一些深层次的因素考量。比如之前私信端口的开放，就造成大量垃圾信息对用户的骚扰；以及与阿里联姻后，来自阿里方面的诉求和压力等。
与此相比，一直以来不声不响的腾讯微博倒在开放平台上做出了不少动静。比如，国内唱吧、啪啪，国外cooliris都选择了腾讯微博，甚至IOS7系统也首次开放IOS-SDK给腾讯微博。
其次说到开放的完整性，所谓数据完整性就是当开发者请求某种数据时，开放平台是否对返回数据的数量有所限制。这点也最能反映出一个平台的真实开放程度。
以最基本的获取一个用户的”粉丝列表“为例，新浪，对于一般授权用户，最多只能获得5000个最新粉丝信息，而腾讯则没有任何的限制。
腾讯副总裁刘炽平曾在其内部讲话中曾提到：“关键路径要有用户价值，如果没有用户价值，这里放一个流量，那里放一个流量，价值不大。” 而这句话也正点明了大数据开放的本质应该是什么。
行业皆知，只有数据挖掘精准度在85%以上时，才具备实现精准营销的条件。如数据挖掘不够精准，就会直接影响到广告营销的投放效果。而数据不完整，数据挖掘的精准度只是空谈而已。
而数据完整开放的重要性，还不仅仅限于第三方开放者，对于社交平台本身，在提升用户体验方面也息息相关。
比如腾讯微博最近上线的微圈、微热点、微频道、微博管家等产品，就是通过数据挖掘技术，抽取用户阅读时间线中来自游戏、活动、第三方应用等营销和广告微博，并将其过滤，从而进一步减轻垃圾信息对于微博用户的骚扰，从而使用户更高效的获取优质微博信息，最终实现用户阅读体验的提升。
这种将大数据挖掘产品化的路子，应该说值得借鉴。因为一方面，它能比较充分的满足第三方开发者需求；更重要的是，这并不以影响用户端的产品体验为代价，实施得好的话，可形成一个良性闭环模式。

㈦ 全球大数据发展的新动向与新趋势

全球大数据发展的新动向与新趋势
目前，伴随移动互联网、智能硬件和物联网的快速普及，全球数据总量呈现指数级增长态势，与此同时，机器学习等先进的数据分析技术创新也日趋活跃，使得大数据隐含的价值得以更大程度的显现，一个更加注重数据价值的新时代正悄然来临。
瑞士洛桑国际管理学院2017年度《世界数字竞争力排名》显示，各国数字竞争力与其整体竞争力呈现出高度一致的态势，即数字竞争力强的国家整体竞争力也很强，同时也更容易产生颠覆性创新。实际上，以美国、英国、韩国和日本等为代表的发达国家一向重视大数据在促进经济发展和社会变革、提升国家整体竞争力等方面的重要作用，当前更是把大数据视为重要的战略资源，大力抢抓大数据技术与产业发展先发优势，积极捍卫本国数据主权，力争在数字经济时代占得先机。我们从各国发展大数据的新举措中或许可以窥探到大数据发展的新趋势。
美国：稳步实施“三步走”战略 打造面向未来的大数据创新生态
美国是率先将大数据从商业概念上升至国家战略的国家，通过稳步实施“三步走”战略，在大数据技术研发、商业应用以及保障国家安全等方面已全面构筑起全球领先优势。
第一步快速部署大数据核心技术研究，并在部分领域积极开发大数据应用。2012年白宫科技政策办公室发布《大数据研究发展倡议》，以提升从海量和复杂数据中获取知识、挖掘价值的能力，进而推动科学与工程领域创新步伐加速。第二步调整政策框架与法律规章，积极应对大数据发展带来的隐私保护等问题。2014年美国发布《大数据：把握机遇，守护价值》白皮书，再次重申要把握大数据可为经济社会发展带来创新动力的重大机遇，同时也要高度警惕大数据应用所带来的隐私、公平等问题，以积极、务实的态度深刻剖析可能面临的治理挑战。第三步强化数据驱动的体系和能力建设，为提升国家整体竞争力提供长远保障。2016年美国发布《联邦大数据研发战略计划》，形成涵盖技术研发、数据可信度、基础设施、数据开放与共享、隐私安全与伦理、人才培养以及多主体协同等七个维度的系统的顶层设计，打造面向未来的大数据创新生态。
特朗普就任美国总统后，对大数据应用及其产业发展持续关注，并督促相关部门实施大数据重大项目，构建并开放高质量数据库，强化5G、物联网和高速宽带互联网等大数据基础设施，促进数字贸易和跨境数据流动等。2017年4月美国能源部与退伍军人事务部联合发起“百万退伍军人项目（MVP）”，希望借助机器学习技术分析海量数据，以改善退伍军人健康状况。2017年9月医疗保健研究与质量局发布美国首个可公开使用的数据库，其中包括全美600多个卫生系统。白宫科技政策办公室一直积极与他国展开合作，以预防数字经济监管障碍、促进信息流动和反对数字本地化等。
英国：紧抓大数据产业机遇 应对脱欧后的经济挑战
大数据发展初期，英国在借鉴美国经验和做法的基础上，充分结合本国特点和需求，加大大数据研发投入、强化顶层设计，聚焦部分应用领域进行重点突破。近期英国特别重视大数据对经济增长的拉动作用，密集发布《数字战略2017》《工业战略：建设适应未来的英国》等，希望到2025年数字经济对本国经济总量的贡献值可达2000亿英镑，积极应对脱欧可能带来的经济增速放缓的挑战。
2012年，英国便将大数据作为八大前瞻性技术领域之首，一次性投入1.89亿英镑用于相关科研与创新，在八大领域投入总额中占比高达38.6%，远超其余七个领域。随后，英国将全方位构建数据能力上升为国家战略，于2013年发布《把握数据带来的机遇：英国数据能力战略规划》，提出人力资本（研发人才与善于运用数据的民众）、基础设施和软硬件开发能力，以及丰富开放的数据资产是发展大数据的核心，事关能否在未来竞争中占据领先优势。该战略同时提出了11项具体行动部署，短短两三年便释放出巨大的数字潜力。从2010年至2015年，数字经济对英国经济增加值的贡献增长了21.7%，超过了同期经济增加值增长率的17.4%，2015年数字经济规模为1180亿英镑，在经济增加值中的占比超过了7%，其中数字商品和服务出口总值超过500亿英镑。
为从数据中挖掘出更大的价值，创造并维护一个能够保持更多收益和增长的经济体系，同时让全社会都能从中收益，英国政府在2017年3月提出了新时期发展数字经济的顶层设计《数字战略2017》。新战略中提出七大目标及相应举措，特别是对各个目标都提出了更高标准的要求。一是打造世界一流的数字基础设施，二是使每个人都能获得所需的数字技能，三是成为最适合数字企业创业和成长的国家，四是推动每一个企业顺利实现数字化智能化转型，五是拥有最安全的网络安全环境，六是塑造平台型政府，为公众提供最优质的数字公共服务，七是充分释放各类数据的潜能的同时解决好隐私和伦理等问题。
2017年11月，英国面向全社会发布《工业战略：建设适应未来的英国》白皮书，强调英国应积极应对人工智能和大数据、绿色增长、老龄化社会以及未来移动性等四大挑战，呼吁各方紧密合作，促进新技术研发与应用，以确保英国始终走在未来发展前沿，实现本轮技术变革的经济和社会效益最大化。为此，2018年4月底英国专门发布《工业战略：人工智能》报告，立足引领全球人工智能和大数据发展，从鼓励创新、培养和集聚人才、升级基础设施、优化营商环境以及促进区域均衡发展等五大维度提出一系列实实在在的举措。
韩国：以大数据等技术为核心应对第四次工业革命
多年来，韩国的智能终端普及率以及移动互联网接入速度一直位居世界前列，这使得其数据产出量也达到了世界先进水平。为充分利用这一天然优势，韩国很早就制定了大数据发展战略，并力促大数据担当经济增长的引擎。2016年年底，韩国发布以大数据等技术为基础的《智能信息社会中长期综合对策》，以积极应对第四次工业革命的挑战。
2013年12月，韩国多部门便联合发布“大数据产业发展战略”，将发展重点集中在大数据基础设施建设和大数据市场创造上。2015年年初，韩国给出全球进入大数据2.0时代的重大判断，大数据技术日趋精细、专业服务日益多样，数据收益化和创新商业模式是未来大数据的主要发展趋势。基于此，在同年发布的《K-ICT》战略中，韩国将大数据产业定义为九大战略性产业之一，目标是到2019年使韩国跻身世界大数据三大强国。韩国还非常注重对他国经验的借鉴，2015年5月中国发布《大数据发展调查报告》后，韩国专门对中国与韩国大数据应用情况进行了比较分析，并聚焦韩国大数据应用水平与大数据市场不协调的问题，提出了一系列新举措。
近两年全球第四次工业革命浪潮的到来，倒逼韩国重新审视本国智能制造和信息技术的发展，并于2016年年底提出《智能信息社会中长期综合对策》，将大数据及其相关技术界定为智能信息社会的核心要素，并提出具体的发展目标与举措。
一是充分挖掘数据资源价值，强化未来竞争力源头。构筑开放共享的大规模数据基础设施，到2025年实现320个公共机构的数据开放；促进数据流通和使用，激活数据交易市场，推动公共和民间数据实现以价值为导向的交易；激活数据分析企业，到2020年数据专业服务企业规模达到100家；培养大数据专业人才，将每年培养的数据科学家数量从2017年的500名增长到2030年的1000名；发展区块链技术，提高数据管理可靠性等。二是筑牢大数据技术基础。加强数学方法论研究，长期稳定支持新型学习推断、量子计算、神经形态芯片等下一代计算技术研究，推动科研大数据开放共享，推进产业数据中心建设，强化产学研合作共同研发产业共性技术等。三是面向数据服务需求，构筑超连接网络环境。确保频率资源供应，有序推进5G商用化进程，实现大规模机器间通信，实现不同业务网络之间的实时超连接；推动通信运营商体系优化，摒除后发企业进入运营行业的壁垒；进一步强化物联网和云计算基础设施并充分利用智能传感器数据；分阶段引进量子通信与安全网络等。
大数据发展新趋势
综合以上几个典型国家的新动向和新举措，可以发现当前及未来全球大数据发展的新趋势。
一是大数据与人工智能、云计算、物联网、区块链等技术日益融合，成为各国抢抓未来发展机遇的战略性技术。英国在工业战略中强调大数据与人工智能的发展，很有可能推动现有的商品和服务市场被颠覆和取代。日本将大数据、物联网和人工智能界定为建设超智能社会服务平台必不可少的共性技术。韩国与日本相似，将智能信息化社会定义为“ICBM（物联网、云服务、大数据和手机）与AI（人工智能）相融合的社会”。
二是大数据资源对各国经济政治博弈的重要性更加凸显。美国最新版国家安全战略中，特朗普再次将“数据”比喻为一种能源，他认为掌握了数据及相关能力，就是为美国经济的持续增长、有效抵制敌对意识形态以及部署建设最强大军事力量等构建了最基础的保障。最近的“脸书危机”事件，再加上近年来“剑桥分析”及其母公司“战略通讯实验室”参与多国领导人选举活动事件，使得大数据资源及相关技术成为某些国家利益集团及企业影响政治生态和社会安全的重要手段，各国政治社会发展面临的风险变得更加复杂和不可预测。
三是大数据应用基础条件发生跨越式变化。一方面政府数据开放的广度和深度将进一步拓宽，多源数据融合技术的进步，为公共服务数字化与智能化水平的提升提供了技术层面的保障，数据的标准化及开放则成为各国建设服务型政府和平台型政府的资源保障。另一方面大数据应用的基础设施将成为与水电气暖等相类似的设施，成为人们生活中必不可少的部分。这其中包括物联网、智能硬件等数据采集类设施，5G、光通信等超高速数据传输类设施，以及超级计算机、云计算以及边缘计算等计算类设施，以及新型的存储设施等等。
四是大数据安全为各国实现“平衡”发展带来更严峻的挑战。各国大数据发展战略中，不同国家和地区对“数据开放共享”与“个人信息保护”的侧重点不同，比如欧盟希望通过强制性的统一标准最大限度的保护个人隐私，而美国则更相对弱化法律约束、希望充分调动企业的主动性，这种态势对未来全球大数据国际规则的融合发展提出了新难题。同时对大数据企业权利和义务也要进行再平衡，监管太严将限制企业创新的脚步，但如果放手太多，在实践中难免出现企业对个人隐私大规模侵害的问题。

㈧ 大数据面临的技术挑战

上周在大数据的趋势和特点中，说到了人类这次面临的问题不是问题无法解决，而是问题过于复杂。采用机械思维，其速度和效率已经赶不上新问题的产生。正是在这种分工越来越细，协作越来越紧密，问题越来越复杂的背景下，产生了大数据思维。大数据思维也由其独特的体量大、多样性和完备性，使得过去看来很复杂很难处理的问题变得可以解决了。

其实早在20世纪60年代就有研究学者提出采用人工智能的方法来解决社会问题。当时的人工智能方法还是局限于通过首先了解人类是如何产生智能，然后让计算机按照人的思路去做。吴军老师在《智能时代》中说到：“在人类发明的历史上，很多领域早期的尝试都是模仿人或者动物的行为，因为这是我们的直觉最容易想到的方法。” 但是经过十几年的发展，科学家们发现采用上面的思路去发展人工智能，似乎解决不了什么实际问题。很多科学家开始反思人工智能的发展，而在之后的20年左右的时间，在人工智能学术界的研究是处于低谷的。20世纪70年代，人类开始尝试智能的另一条发展道路，即采用数据驱动和超级计算的方法。即便在10年前，那时我还在念书，也曾接触过人工神经网络算法。很显然，当时对机器智能的概念大家都还是比较模糊的，人工智能也还没有被我们提高到现在的高度。

机器智能的概念在60多年就被提出来了，真正的突破却在具有了大数据的今天。为什么大数据的拐点会发生在今天？大数据到底面临何种技术挑战？

过去的10年，最容易看到的特征就是全球数据量呈爆炸式增长。大数据的第一个来源是电脑本身；第二个来源是传感器；第三个来源是将那些过去已经存在的、以非数字化形式储存的信息数字化。据2015年思科公司的统计数据显示，从2009~2015年的6年时间内，企业级数据增长了50倍。当然数据的爆炸式增长，离不开电脑硬件、软件、互联网、数据储存、数据处理等一系列配套技术的发展和支撑。大数据实际上是对计算机科学、电机工程、通信、应用数学和认知科学发展的一个综合考量。目前这些技术难题不一定有最佳的解决方案，甚至不存在什么绝对好的解决办法。

一、数据收集

传统的数据方法常常是先有一个目的，然后开始收集数据。比如，海王星的发现就是在人们发现天王星运动轨迹和牛顿力学预测出来的不一样之后，天文学家拍了很多星空的照片后发现的；心理学研究也是在有了一个明确的研究课题后，再通过实验的方法采集数据，如 “棉花糖测验”系列实验，以及关于认知失调的“追随者案例”等等。大数据则避免了采样之苦，因为大数据常常以全集（大数据的特征之一）作为样本集。

但是，如何收集到全集就是一件很有挑战的事情了。目前一些聪明公司，比如Google, Facebook, 网络，京东都是绕一个弯子，间接地去收集数据，然后利用数据的相关性，导出自己想要的结论。但是即便是这些如此成功的公司，仍然也有很多失败的案例。2010年，Google推出了自己的电视机顶盒Google TV，为了获取数据为进入电视广告做准备。但是，由于Google TV销售得很差，最终Google彻底地放弃了这产品。到目前为止，无论是Google过去的机顶盒，还是后来的Chromecast，苹果的Apple TV，除了统计一下收视率，计算一下可能的广告观众，并没有什么大的作为。数据收集是一个开放性的话题，不存在唯一性或最佳方法，目前仍然面临着很大的挑战。

二、数据储存

仅Google街景地图每天产生的数据量就有1TB，假如一份数据存三个拷贝，一年下来就1PB。即使使用当今最大容量的10TB硬盘，也需要用100个。因此，不能简单地依靠设备来解决数据储存的问题，而是需要技术解决方案来提高储存效率，保证不断产生出来的数据都能存得下。目前的数据储存手段主要是从如下2个方面考虑：去除数据冗余和便于使用。去除数据冗余可以简单理解为去除数据中的重复部分，比如同一份附件在所有的邮件中只储存一次。这样，在去除数据冗余的过程中，相应的数据读写处理就要改变。是否有比现在更有效率的储存格式或方式，仍然是大数据所面临的挑战。另外，便于使用的思路是从使用者的角度就去考虑数据的储存。大数据之前，数据在设计文件系统的数据储存格式时，主要考虑的是规模小、维度少的结构化数据。到了大数据时代，不仅数据量和维度都剧增，而且大数据在形式上也没有固定模式，因此需要重新设计通用、有效和便捷的数据表示方式和储存方式。

三、数据处理

大数据由于体量大、维度多，处理起来计算量巨大，其处理效率是一大技术挑战。并行计算是目前解决计算量巨大的重要手段，但仍然存在一些的问题。例如，任何一个问题总用一部分计算是无法并行计算的，这类计算占比越大，并行处理的效率就越低；再次，并行计算中无法保证每一个小任务的计算量是相同的，这样一来，并行计算的效率也会大打折扣，即完成了自己计算任务的服务器需要等待个别尚未完成的服务器，最终的计算速度取决于最后完成的子任务。

四、数据挖掘

如何从一堆杂乱无章的数据中挖掘出有价值的信息，是机器智能的关键，也是大数据的使命。数据在进行降噪处理之后，基本就可以直接使用了，接下来的关键一步就是机器学习。目前广泛使用的机器学习算法有人工神经网络算法、最大熵模型、逻辑自回归等。Google公司的AlphaGo的训练算法就是人工神经网络。机器学习的过程是一个不断迭代、不断进化的过程，只要事先定出一个目前，这些算法就会不断地优化模型，让它越来越接近真实的情况。寻找更优算法一直也是科学家们探索的难题。

五、数据安全

大数据应用的一个挑战还来自数据安全的担忧和对隐私的诉求。2014年爆出的索尼公司丢失数据时，造成的损失高达1亿美元。比商业数据丢失后损失更大的是医疗数据的被盗。在中国，除了在北京建立了大数据中心，还在贵阳建立了大数据灾备中心，而且正筹备在内蒙古再建立另一个数据灾备中心。而关于数据隐私，我想大家应该是深有感触，由于信息泄露而带来的骚扰电话以及电信诈骗，就发生在我们每个人身上。据《智能时代》中记载：“在美国的黑市上，一个医疗记录的卖家是商业数据的50倍左右”。可见，数据安全已然成为大数据发展的一大隐患和难题。

上述大数据5个方面的技术挑战并不是独立的，而是相辅相成、互相影响的。关于大数据的技术挑战在此仅谈谈个人的一点认识，希望对大家在这方面的思考有所帮助。下周我们继续聊，大数据给我们带来便利以及隐患。

㈨ 目标清晰任务明确 大数据迎来大发展

目标清晰任务明确 大数据迎来大发展

业内专家分析认为，《纲要》的发布和实施，对于促进中国大数据产业和互联网新经济的持续健康发展将产生深远的影响，中国大数据产业将进入一个5到10年的稳步发展期，产业化进程将显著加快。而各类金融机构在支持大数据产业发展的过程中，也将获得创新金融服务、加快自身转型升级的新机遇。

经国务院总理李克强签批，国务院日前正式印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。业内专家分析认为，此次发布的《纲要》，与7月初国务院发布的《关于积极推进“互联网＋”行动的指导意见》，构成规范发展中国互联网新经济发展和社会转型升级的“姊妹篇”，其发布和实施对于促进中国大数据产业和互联网新经济的持续健康发展将产生深远的影响。

促进大数据发展意义深远

大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。

当今全球，信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国家基础性战略资源，大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。

目前，我国互联网、移动互联网用户规模居全球第一，拥有丰富的数据资源和应用市场优势，大数据部分关键技术研发取得突破，涌现出一批互联网创新企业和创新应用，一些地方政府已启动大数据相关工作。坚持创新驱动发展，加快大数据工作部署，深化大数据应用，已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。

适应全球化的新趋势，制定和实施《纲要》，清楚地表明促进大数据发展已上升为新的国家发展战略，该战略的实施具有深远的历史意义。

促进大数据发展，将为经济转型发展提供新动力。以数据流引领技术流、物质流、资金流、人才流，将深刻影响社会分工协作的组织模式，促进生产组织方式的集约和创新。大数据推动社会生产要素的网络化共享、集约化整合、协作化开发和高效化利用，改变了传统的生产方式和经济运行机制，可显著提升经济运行水平和效率。大数据持续激发商业模式创新，不断催生新业态，已成为互联网等新兴领域促进业务创新增值、提升企业核心价值的重要驱动力。

促进大数据发展，使我们抓住了重塑国家竞争优势的新机遇。充分利用我国的数据规模优势，实现数据规模、质量和应用水平同步提升，发掘和释放数据资源的潜在价值，有利于更好地发挥数据资源的战略作用，增强网络空间数据主权保护能力，维护国家安全，有效提升国家竞争力。

促进大数据发展，将成为提升政府治理能力的新途径。大数据应用能够揭示传统技术方式难以展现的关联关系，推动政府数据开放共享，促进社会事业数据融合和资源整合，将极大提升政府整体数据分析能力，为有效处理复杂社会问题提供新的手段。建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，实现基于数据的科学决策，将推动政府管理理念和社会治理模式进步，加快建设法治政府、创新政府、廉洁政府和服务型政府，逐步实现政府治理能力现代化。

促进大数据产业健康发展

《纲要》明确提出了促进大数据发展的指导思想以及未来5到10年逐步实现的目标，并对三方面的主要任务作了具体部署。这三方面的任务是，一要加快政府数据开放共享，推动资源整合，提升治理能力；二要推动产业创新发展，培育新兴业态，助力经济转型；三要强化安全保障，提高管理水平，促进健康发展。

业内专家认为，在各项任务中，促进大数据产业持续健康发展，具有更为关键的影响和作用。事实上，《纲要》明确提出了“促进大数据产业健康发展”的方针。对此，相关各方要高度重视和积极落实。

实施大数据行动计划是一项庞大的社会系统工程，包括了对大数据的搜集、分类、整理、分析、加工，使其成为供社会和市场各方主体可用的“半成品”、“成品”和“方案”等。在这个繁杂的社会分工和协作过程中，将形成成熟的大数据产业及体系，包括各种大数据平台及生态体系，并与互联网新经济有机地融合为一体。

中国电子信息标准化研究院有关负责人日前透露，国家标准委正在着手制定首批共10项大数据标准，即大数据术语、大数据技术参考模型、数据交易平台交易数据描述、数据交易服务平台通用功能要求、数据能力成熟度评价模型、多媒体数据语义描述要求、科学数据引用、数据溯源描述模型、数据质量评价指标和通用数据导入接口规范。其中，前4项处在征求意见状态，中间4项已完成草案，最后两项还在草案大纲阶段。另外，大数据标准体系框架也已处于征求意见阶段。

业内人士分析指出，在《纲要》发布实施和上述标准颁布之后，中国大数据产业将告别“跑马占地式”发展阶段，进入一个5到10年的稳步发展期，大数据产业化进程将显著加快。

金融支持与

大数据产业发展形成双赢

金融是现代经济的核心，大数据产业发展离不开金融的支持，而金融的大力支持将形成金融与大数据产业发展互动双赢的新格局。

为促进大数据发展，《纲要》明确了7个方面的政策机制，其中第5项是加大财政金融支持，包括：利用现有资金渠道，推动建设一批国际领先的重大示范工程；鼓励金融机构加强和改进金融服务，加大对大数据企业的支持力度；鼓励大数据企业进入资本市场融资，努力为企业重组并购创造更加宽松的金融政策环境；引导创业投资基金投向大数据产业，鼓励设立一批投资于大数据产业领域的创业投资基金。

这些政策机制的创新和实施，将给金融业包括银行、证券、保险、租赁等机构带来创新金融服务、加快自身转型升级的新机遇，各类金融机构在支持大数据产业发展和运用大数据的过程中，必将形成与大数据产业持续发展互动双赢的新格局。

以上是小编为大家分享的关于目标清晰任务明确 大数据迎来大发展的相关内容，更多信息可以关注环球青藤分享更多干货