① 大数据来了 给政府统计带来了机遇与挑战
大数据来了 给政府统计带来了机遇与挑战
对于政府统计机构来说，没有什么比数据更重要的了。我们研究统计分类标准、统计调查方法、统计数据采集方式、统计数据加工处理方法、统计数据评估技术，都是为了获取真实准确、完整及时、代表性强、分类科学、经济适用的统计数据。
大数据时代的到来，既给政府统计带来重大发展机遇，也带来严峻挑战。
一、大数据在政府统计中的应用
国家统计局高度重视大数据在政府统计中的应用。到目前为止，已经与17家大数据企业签订了战略合作协议。当然，目前大数据在中国政府统计中的应用仍处于起步阶段，主要表现在两个方面：一是大数据成为政府统计数据的部分资料来源；二是大数据成为政府统计数据质量的部分评估依据。
（一）大数据成为政府统计数据的部分资料来源
目前，大数据已经成为中国政府统计数据的部分资料来源，以下是几个有代表性的方面：
1.利用重点网上零售交易平台数据测算网上零售额
为了掌握网上零售交易平台的交易规模和结构，综合测算网上零售数据，从今年1月份开始，国家统计局实施了月度网上零售交易平台调查，调查范围为42家重点网上零售交易平台，包括京东商城、亚马逊、当当网、淘宝网、天猫商城、酒仙网、美团网、中粮我买网、国美在线、大众点评网等。据对上述42家重点网上零售交易平台数据测算，今年1~8月份，全国网上零售额22400.9亿元，同比增长36.5%。其中，实物商品网上零售额18653.4亿元，增长35.6%，占全部网上零售额的83.3%；非实物商品网上零售额3747.5亿元，增长41.1%，占全部网上零售额的16.7%。这对于宏观管理部门和社会公众了解网上零售情况具有重要的参考作用。
2.利用房屋交易网签数据计算全国70个大中城市的新建住宅价格指数
房屋交易网签数据是指买卖双方签订购房合同后，房地产开发企业在房管部门进行备案，并在房产信息网上公布的相关信息，包含地址、楼层、价格、面积和金额等详细信息，基本涵盖了当月新建住宅的全部交易情况。从2011年1月份开始，国家统计局开始采用房屋交易网签数据计算全国70个大中城市的新建住宅价格指数。这对于提高70个大中城市新建住宅价格指数的数据质量起到了重要作用。
3.利用卓创资讯公司提供的价格信息，开展流通领域重要生产资料市场价格监测
国家统计局与卓创资讯公司开展合作，利用该企业提供的价格信息，开展流通领域重要生产资料市场价格监测。从2014年1月开始，按旬共同向社会发布流通领域9大类50种重要生产资料市场价格的检测结果。行业涵盖黑色金属、有色金属、化工产品、煤炭、石油天然气、非金属建材、农产品、农业生产资料、林产品等领域。地区监测范围覆盖北京、天津、河北、山西、内蒙古、辽宁、吉林、上海等24个省区市。这对于宏观管理部门和社会公众了解流通领域重要生产资料市场价格信息起到了重要作用。
（二）大数据成为政府统计数据质量的部分评估依据
国家统计局除了把大数据作为政府统计数据的部分资料来源外，也高度重视利用大数据评估政府统计数据质量。以下是目前比较有代表性的两个方面：一是利用中国银联跨行银行卡消费数据评估社会消费品零售总额数据质量；二是利用大型机械装备企业物联网数据评估固定资产投资数据质量。
二、大数据给政府统计带来的机遇与挑战
对于政府统计来说，大数据既带来了重大发展机遇，也带来严峻挑战。
（一）大数据给政府统计带来重大发展机遇
首先，大数据将不断提高政府统计服务宏观管理和社会公众的能力。随着大数据的不断发展和完善，随着政府统计机构开发应用大数据能力的不断提升，政府统计产品的种类将会不断丰富，政府统计数据的质量和时效性将会不断提升，从而政府统计服务宏观管理和社会公众的能力会不断提高。
其次，大数据将会推动政府统计发生革命性的变化。随着大数据的发展和完善，随着政府统计机构开发应用大数据技术的逐步成熟，政府统计将会发生革命性变化。一是现有的以周期性普查为基础，以抽样调查为主体，综合运用全面调查、重点调查等方法，并充分利用行政记录等资料的统计调查方法体系可能会发生重大变化。长期以来，抽样调查方法，即在总体中抽选样本、利用样本推算总体的方法；普查和全面调查方法，即对总体中所有单位逐一进行调查的方法，在我国政府统计中发挥了重要作用。今后，在较长的时期内这些方法仍然会被政府统计所广泛采用。但在大数据不断发展和完善的情况下，某些领域、某些方面的大数据可能会取代抽样调查、普查和全面调查方法，成为获取统计数据的重要方法，而且这种获取统计数据的方法将会变得越来越重要。二是政府统计中的数据采集方式可能会发生重大变化。长期以来，政府统计机构主要以企业填报、住户记账、调查员入户等方式采集原始数据。在大数据不断发展和完善的情况下，一部分原始数据将通过挖掘大数据的方式获取，而且这种新的数据采集方式将会变得越来越重要。三是政府统计的数据处理模式可能会发生重大变化。在大数据不断发展和完善的情况下，现行的对普查和全面调查数据进行直接审核、汇总、加工处理和对抽样调查数据进行推算放大的数据处理模式可能会发生重大变化。
（二）大数据给政府统计带来严峻挑战
首先，大数据对政府统计能力带来挑战。从大数据本身的产生到发展完善，从政府统计对大数据的初步运用到成熟运用，需要一个较长的时期。在这个过程中，一方面，政府统计中传统的统计调查方法、数据采集方式和数据处理模式将继续运行，否则满足不了宏观管理和社会公众的需求。另一方面，政府统计系统必须投入大量的人力和物力对大数据进行挖掘、加工处理和运用，否则也适应不了大数据时代宏观管理和社会公众的需求。这种双轨运行的模式，对政府统计能力将是一个巨大的挑战。
其次，大数据对传统政府统计理念带来挑战。传统的政府统计有一个约定俗成的理念：抽样调查方法可降低调查成本，提高效率和数据质量。因为抽样调查只对总体中部分抽中的样本进行调查，并非对总体中的每一个单位都进行调查，所以调查单位明显减少，可降低成本，节约时间，提高效率。同时，由于调查单位较少，政府统计机构有能力对基层统计调查人员进行较为扎实的培训和指导，有精力对统计调查数据进行较为严格的检查和审核，从而能够提高统计调查数据质量。随着大数据不断发展完善，政府统计机构将会越来越多地通过大数据企业间接地获取统计数据，不需要对总体中的具体单位进行直接调查，不需要调查员，从而也不需要对调查员进行培训，抽样调查所具有的调查成本低、能够提高统计调查数据质量的优点就不复存在了。
以上是小编为大家分享的关于大数据来了 给政府统计带来了机遇与挑战的相关内容，更多信息可以关注环球青藤分享更多干货
② 大数据思维下的统计新变革
大数据思维下的统计新变革
日前，谷歌宣布其云计算平台通过大数据分析准确地预测了巴西世界杯8强。据了解，谷歌云计算平台使用了英国体育数据提供商Opta Sports的数据，评估了全球每个职业足球联盟过去多个赛季的情况，以及巴西世界杯小组赛期间的统计数据。于是乎，大数据再度成为舆论关注的焦点，对于其应用价值的讨论更加热烈。
然而，我们发现，即使以谷歌强大的技术实力，也不得不从英国体育数据提供商Opta Sports那里获取数据。也就是说，数据的采集并不是谷歌的优势，大数据产业走向商用和规模化发展，更多的要依赖Opta Sports这样的数据采集者。从这个角度看，作为最具权威性和采集能力的统计部门，无疑将是大数据产业发展壮大的基础。反过来看，从大数据发展的趋势看统计行业的发展方向，也必然全面应用大数据思维。我们注意到，从国家统计局局长马建堂在2012年年底提出“统计部门要拥抱大数据时代”，到不久前国家统计局在厦门建立首个大数据基地，可以断言，统计行业的大数据变革已经到来。
2013年11月，国家统计局与网络、阿里巴巴等11家企业签订了大数据战略合作框架协议。此举目的在于共同推进大数据在政府统计中的应用，不断增强政府统计的科学性和及时性。马建堂在协议签订时表示：“现在许多发达国家纷纷将大数据利用提升到国家战略层面，我们也要适应这一大势，将大数据视为国家战略资源，主动拥抱大数据时代，积极抢抓机遇、应对挑战。”数据与统计是一对共生词，而数据成为生产要素的前提条件也是有效的梳理与归类，这恰恰是统计的内容。马建堂说，大数据为政府统计提供了总体性、非结构化、丰富真实的原始资料，可以极大地缩短数据采集时间，减少报表填报任务，减轻调查对象负担，提高统计数据质量。
一场统计方式和方法的变革正在酝酿。企业既是大数据的主要生产者，也是经验丰富的使用者，还是大数据的直接受益者，有数据的资源、有应用的技术、有市场的机制。而国家统计局作为组织领导和协调全国统计工作的主管部门，具有统计制度和标准制定，统计数据搜集、发布、分析等方面的优势。
统计数据是各级领导作出科学决策的重要支撑。随着企业一套表建设的基本完成，各行各业的数据被采集上来，这只是第一步，用好这些数据是关键。企业一套表只是一个业务系统，更重要的是在这套系统上帮助统计部门搭建一套数据资源体系，通过这套体系来对数据进行规划、整理和加工，建设监测评价中心、辅助决策中心，这也是统计行业未来发展的必然趋势。
现在一些地方统计局已经开始做统计方面的规划和使用。例如原来的统计工作主要是查询，现在希望除了查询、检索、展示之外还具备监测、评价的功能。监测评价需要标准，在政府部门这个标准就是政策。监测是对企业、家庭等对象进行调查，数据上传之后经过计算、加工等与初定的指标相比较，并对监测结果进行评价，发现问题及时预警、报警。辅助决策则更需要智能化，当发现监测评价出的结果与初定指标存在较大差异时，就要追本溯源，为领导提供准确的问题分析报告，列出导致问题的主要原因，提出可行性建议，为领导提供辅助决策，为其做出下一个阶段的判断和调整提供帮助。例如，自去年以来，浙江温州市统计局建立了GDP联席会议制度，按季度召集30多个部门进行分析论证部门数据与GDP数据之间的关系，特别是充分运用电力、银行、交通、财政、外贸等部门数据，以及对GDP数据的影响，使GDP数据更加科学可靠。今年进一步扩大了GDP联席会议职能，把涉及部门的经济、社会、民生等监测评价数据进行综合审查分析，进一步提高统计数据质量。
与此同时，统计行业的大数据变革，也将为大数据产业的下一步发展打造坚实的基础。从企业一套表到电子终端采集数据，中国统计的技术和制度改革近两年不断深入，而与大数据概念的交汇与融合也将助推中国官方数据更加真实全面。统计部门在人口、农业、投资、交通等领域，大力研究利用遥感RS、地理信息系统GIS、全球定位系统GPS为代表的空间信息技术和物联网技术，既极大提升了统计信息化水平，也为进一步推进大数据的统计应用打下了较好的基础。
③ 国家统计局正研究如何利用大数据 提高统计质量
大数据正成为科博会、京交会上的新热点，而备受企业推崇的大数据也有望在国家统计工作中大显身手。国家统计局局长马建堂近日表示，国家统计局正组织力量研究如何在统计工作中利用大数据。业内分析，统计工作中利用大数据有助于降低调查成本，提高统计的及时性和准确性，可以提高统计质量，减轻外界对于统计数据准确性的质疑，但要想根本解决统计数据的信用危机，还需要改变惟GDP的政绩考核体系。 大数据的挑战 虽然大数据目前没有统一定义，但市场普遍认为，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。从产业角度，常常把这些数据与采集它们的工具、平台、分析系统一起被称为大数据。 而大数据的应用已经宏兄盯渗透到日常生活中。专家认为，互联网上每时每刻生成了大量交易和价格信息，如淘宝网上许许多多的店主开了许许多多的网店，经营着许许多多各种各样的商品，一个综合性的淘宝价格指数应运而生，虽然商品种类大大少于CPI，但由于实时产生的大量基础信息做基础，会吸引越来越多的人关注，将对政府统计的惟一性乃至权威性产生极大挑战。这也意尘猛味着，随着大数据时代的到来，政府统计部门不再是惟一的海量数据拥有者。 统计方式的变革 马建堂此前在全国统计工作会议上强调，大数据时代的来临，对统计数据的生产方式带来了很大的挑战。统计部门要利用海量数据并对其进行标准化处理，发掘这一数据宝库，认真把握好这一促进政府统计改革发展的难得机遇。 据了解，政府统计一般是在普查掌握总体的基础上，对一定规模限额以上的单位全额调查，对以下的单位进行抽样，各级政府统计机构对本地区数据质量各负其责。但符合大数据概念的交易记录，无论是成交额、成交量，还是各类商品的价格，都是作为一个总体存在。 通过利用客观存在的海量数据，能够有效降低调查成本。大数据化的采集方式减少了层层上报环节，有助于提高数据及时性、准确性。同时，通过对海量数据的分析、整理，可以对经济社会运行情况进行多方面印证，更加真实合理。北京方迪经济发展研究院副院长赵燕霞说。 一位业内专家举例称，比如每月公布的社会消费品零售额数据，除了几个基础的分类数据外，还可以对各行业收集的数据具体分析，研究餐饮消费结构、金银珠宝消费与经济关系、日用品消费占比变化等，通过这些可以看出消费趋势性变化，为扩大内需提供重要的数据支撑。 信任危机的化解 国家统计局表现出的利用大数据倾向，除了顺应目前发展趋势外，也被外界认为将有助挽救目前存在的数据信用危机。近年来，工资被增长、CPI被下降、房价被降低、失业率被减少因百姓的切身感受与统计数据之间的差异，以及国家和地方之间GDP数据严重不符，都导致了市场对统计数据的质疑。 统计学专家、中国社科院世界经济与政治研究所世界经济统计分析研究室副主任刘仕国认为，大数据要求数据种类越来越多样化，而且对统计过程透明性也越来越高，从理蔽和论上看，这样可以提高统计调查的准确性、透明性，可以消减民众对于统计数据的质疑。 (王晔君)
④ 浅谈大数据时代统计工作方法
浅谈大数据时代统计工作方法
大数据时代带来了数据信息的大爆炸，为社会生活各个领域带来巨大变革，也给统计调查工作带来了挑战。大数据时代数据呈现出总量更大、种类更繁多、操作更复杂等新特点，这对新时代做好统计调查工作提出了新的更高要求，统计调查工作方式方法面临优化和革新。当然，变革不代表取代和拒绝，而是寻求包容和提升的最佳状态，使统计调查工作在新时代可以更加科学规范。
——加大信息技术驱动力，推动统计调查各环节技术改革。信息技术革命和互联网时代催生了大数据，因此大数据时代统计调查必须以现代信息技术为工具和驱动力。一是拓宽数据收集渠道。统计调查数据的收集可以通过互联网技术利用网络搜索或者从网络公司收集行业信息。二是减少中间环节。传统统计调查层层统计上报的做法工作量较大，也容易造成数据失真。大数据时代统计调查可以利用网络传输数据平台建设等使统计数据第一时间直接从源头传输到需求者，减少中间环节的人为干扰因素，既保证数据的及时性，也能保证数据的真实性和完整性。三是严控数据质量。数据的大爆发带来的数据复杂性势必会增加数据质量控制和统计执法的难度，因此，应适应时代的特点，建立动态的、在线的数据质量把控和统计执法制度。如在数据统计调查平台建立质量控制模板，实现实时监控，并且建立统计执法与数据质量监测的便捷通道，一旦数据质量报警可以立即在统计执法上得到响应。
——提升统计调查方法的科学性、规范性。以抽样调查为例，要想快速树立抽样调查的权威性和主体地位，就必须在抽样调查的各个环节建立科学完备的方法论，包括抽样框构建、抽样方案设计、抽样估计和数据调整等各个环节。比如，要建立科学、统一、简约的抽样调查指标体系，取消过时的、利用率低的指标，改进不易取得和无法与大数据衔接的指标，增加政府及社会各界普遍关注的、与社会经济发展相适应的指标。
——加快数据共享，打破部门“数据孤岛”。目前，我国政府统计面临数据来源单一、重复调查等诸多问题，部门“数据孤岛”现象存在，阻碍了大数据时代统计调查工作的开展。从国外先进经验来看，大数据时代需要逐步采用以信息化为媒介的、基于行政记录和多种信息来源的开放式、共享式数据采集制度，即将不同政府职能部门行政管理信息资料共享化，如人口登记、房产登记、企业信息登记等，不同目的的统计调查仅是在此基础上增加或修改特定指标即可。在我国，初步的部门数据共享已经实现，如经济普查利用工商数据库和基本单位名录库等作为清查库，人口普查以公安部门户籍资料和社保信息等作为核查依据等，但是仍存在部门统计数据协调难度大、利用效率低等问题。因此，在大数据时代需要快速搭建较为完备的数据交换和共享服务平台，除去部门保密数据资料外，绝大多数的统计数据信息应该逐步实现在政府部门间、甚至面向社会公布和共享，使各种目的的统计调查能够各取所需、完善补充，有效发挥数据价值，减少社会资源浪费。
——培养新型统计调查人员，加强调查队伍建设。为应对大数据时代给统计调查工作带来的复杂性和不确定性，需要打造一支懂技术、守纪律的高素质统计调查队伍。一是人员专业化。大数据调查需要全新的现代统计方法和统计工具，特别是现代信息技术和云计算技术，因此必须组建专业程度高、针对性强的业务能手，并且定期组织培训，培养专业化统计调查人才。二是队伍稳定化。现代统计方法和统计流程大多大同小异，稳定的统计调查队伍有利于不同调查方法的融通，减少人员的适应时间，最大限度降低调查成本。近年来，不少地区探索的统计调查外包模式，在一定程度上促进了人员专业化、队伍稳定化，值得深入研究和推广。三是组织纪律制度化。2017年4月，国家统计局成立了国家统计局统计执法监督局，标志着全面依法统计依法治统工作开启了新的征程。统计数据真实性、统计调查科学性、统计执法严肃性等问题，一直是伴随着各项统计调查工作的永恒话题，只有严格遵守统计纪律，将组织建设制度化，才能从根本上杜绝统计造假等统计违法行为，才能确保统计调查科学性，维护统计数据权威性。
⑤ 大数据时代如何加强统计档案信息化管理
大数据时代如何加强统计档案信息化管理
大数据是用来描述和定义信息爆炸时代产生的海量数据，统计部门需要积极应对大数据带来的环境变化和需求变化，更好地开展统计档案利用工作，更大程度地发掘档案的潜在价值，更加全面地提供档案信息服务，从而实现统计档案信息化管理的跨越式发展。
走进大数据
随着经济社会的快速发展，特别是近几年经济结构和社会布局不断发生变化，统计档案资料急剧增加，同时，社会各界对统计档案的需求也大幅增加。巨量资料、大需求推动着统计档案的收集、整理和利用进入大数据时代。统计部门每年都要接待大批查阅统计档案人员，每年都要调阅数以万计的各类案卷。如何从繁杂的个性化需求和数量庞大的案卷中认识和利用规律，如何在大量提供的数据中确保企业、调查对象隐私安全？这需要统计数据的利用情况，这个过程，我们可以视为一个通过“加工”实现数据“增值”的过程。但是，统计部门如何提高对数据的“加工能力”？必须首先搞清楚大数据给统计档案工作带来的变化，根据变化寻找应变办法，提升统计分析能力。
“三大”趋势
目前，统计档案的利用取得了较好的社会效益和经济效益。但在利用种类上，多数仍局限于“实际利用”，即有特定实用目的的一般性查询利用上，只有人次数、查阅卷次数等数据，缺乏综合分析、研究预测等数据加工过程，更缺乏利用偏好规律、利用趋向等加工结果。简单的数据对于一般利用者来说意义不大，对经济发展、规划、预测和调控来说更是无关痛痒。然而，随着大数据时代到来，统计档案管理将逐步呈现“三大”趋势，也将给现有的统计档案利用带来相应的挑战。
一是大档案。载体形式更加广泛，一切与经济社会有关的、经过统计部门调查取得的文书、数据、声像、实物都被作为统计档案。数字化档案体量更加巨大，原有的纸介质统计资料，以及一切非数字化的统计档案都将通过信息技术不断地加工成电子档案。
二是大服务。大数据时代统计档案服务将朝着社会化、多元化、开放性和先进性方向发展，档案服务以利用者的个性化需求为导向，提供网络化、智慧型的服务。
三是大开发。在传统管理方式下，档案利用只是提供被动的查阅服务。在大数据时代，档案利用将延伸到使用大数据技术对档案进行大量加工和二次开发，更加注重分析、发现与预测，为利用者创造更多价值。
积极应变
面对大数据给现有统计档案利用工作带来的挑战，统计部门应积极应对，全面提升数据加工能力。
做好利用统计项目调整。一是将利用统计的关注点从数量转向效益。建议在统计档案利用项中增加利用效益项目，强调社会效益的统计，如增加利用者满意度或者利用效果项目，将利用者的需求满足状况以顺序数据的形式列入统计项，以反映利用者对档案价值的认知与认可度。二是完善数字档案利用情况统计，根据数字档案资源利用的特殊性，设置数字档案和电子文件的检索量、阅读量和下载量等统计项目。
做好利用统计工作的信息化建设。大数据时代，传统的手工登记、电脑汇总的工作模式正在失去其原有的意义。必须加快利用者自助服务终端设备、服务质量评价设备、统计软件的应用，以及信息系统的建设。利用者在自助服务终端设备上验证身份后，其利用记录及其在获取服务之后对服务质量做出的评价，都将实时传输到信息系统中自动存储。
做好专业人员配备。大数据将使利用统计工作大量化、复杂化和专业化，要求工作人员必须具备一定统计理论和实务素养。因此，要及时对相关工作人员进行专业培训，同时要把统计工作具体实践中的经验、技巧、成果等在工作人员中进行交流，便于工作人员相互借鉴、相互促进。
做好利用情况的统计分析方法运用。利用情况统计分析，是档案利用统计的最后一个阶段，在这个阶段中，通过运用各种专业的统计分析方法，使我们能够对利用情况进行清晰明确的全面认识，并依据统计分析正确估计形势，为决策提供依据。例如，对于历年的利用人次和卷次数，我们可以运用时间序列的描述性分析，通过计算数量的增长率、平均增长率来简单描述现象在不同时间的变化状况，也可以通过制作图形先观察数据随时间的变化模式及变化趋势，为进一步的预测提供基本依据。进行预测时，我们首先要判别历史数据模型是平稳序列、线性趋势，还是非线性趋势，然后结合数据多少选择用移动平均、一元线性回归，还是指数模型的预测方法。
做好利用统计成果的运用和宣传。通过统计分析，我们可能会发现统计档案利用的某些规律，如利用者的喜爱，也许还能够合理预测趋向。统计部门应该积极主动地将这些统计成果运用到服务工作中去，及时调整服务重点或者提前做好服务计划，甚至做出明确的统计预测预警。
以上是小编为大家分享的关于大数据时代如何加强统计档案信息化管理的相关内容，更多信息可以关注环球青藤分享更多干货