① 大數據來了 給政府統計帶來了機遇與挑戰
大數據來了 給政府統計帶來了機遇與挑戰
對於政府統計機構來說，沒有什麼比數據更重要的了。我們研究統計分類標准、統計調查方法、統計數據採集方式、統計數據加工處理方法、統計數據評估技術，都是為了獲取真實准確、完整及時、代表性強、分類科學、經濟適用的統計數據。
大數據時代的到來，既給政府統計帶來重大發展機遇，也帶來嚴峻挑戰。
一、大數據在政府統計中的應用
國家統計局高度重視大數據在政府統計中的應用。到目前為止，已經與17家大數據企業簽訂了戰略合作協議。當然，目前大數據在中國政府統計中的應用仍處於起步階段，主要表現在兩個方面：一是大數據成為政府統計數據的部分資料來源；二是大數據成為政府統計數據質量的部分評估依據。
（一）大數據成為政府統計數據的部分資料來源
目前，大數據已經成為中國政府統計數據的部分資料來源，以下是幾個有代表性的方面：
1.利用重點網上零售交易平台數據測算網上零售額
為了掌握網上零售交易平台的交易規模和結構，綜合測算網上零售數據，從今年1月份開始，國家統計局實施了月度網上零售交易平台調查，調查范圍為42家重點網上零售交易平台，包括京東商城、亞馬遜、當當網、淘寶網、天貓商城、酒仙網、美團網、中糧我買網、國美在線、大眾點評網等。據對上述42家重點網上零售交易平台數據測算，今年1~8月份，全國網上零售額22400.9億元，同比增長36.5%。其中，實物商品網上零售額18653.4億元，增長35.6%，佔全部網上零售額的83.3%；非實物商品網上零售額3747.5億元，增長41.1%，佔全部網上零售額的16.7%。這對於宏觀管理部門和社會公眾了解網上零售情況具有重要的參考作用。
2.利用房屋交易網簽數據計算全國70個大中城市的新建住宅價格指數
房屋交易網簽數據是指買賣雙方簽訂購房合同後，房地產開發企業在房管部門進行備案，並在房產信息網上公布的相關信息，包含地址、樓層、價格、面積和金額等詳細信息，基本涵蓋了當月新建住宅的全部交易情況。從2011年1月份開始，國家統計局開始採用房屋交易網簽數據計算全國70個大中城市的新建住宅價格指數。這對於提高70個大中城市新建住宅價格指數的數據質量起到了重要作用。
3.利用卓創資訊公司提供的價格信息，開展流通領域重要生產資料市場價格監測
國家統計局與卓創資訊公司開展合作，利用該企業提供的價格信息，開展流通領域重要生產資料市場價格監測。從2014年1月開始，按旬共同向社會發布流通領域9大類50種重要生產資料市場價格的檢測結果。行業涵蓋黑色金屬、有色金屬、化工產品、煤炭、石油天然氣、非金屬建材、農產品、農業生產資料、林產品等領域。地區監測范圍覆蓋北京、天津、河北、山西、內蒙古、遼寧、吉林、上海等24個省區市。這對於宏觀管理部門和社會公眾了解流通領域重要生產資料市場價格信息起到了重要作用。
（二）大數據成為政府統計數據質量的部分評估依據
國家統計局除了把大數據作為政府統計數據的部分資料來源外，也高度重視利用大數據評估政府統計數據質量。以下是目前比較有代表性的兩個方面：一是利用中國銀聯跨行銀行卡消費數據評估社會消費品零售總額數據質量；二是利用大型機械裝備企業物聯網數據評估固定資產投資數據質量。
二、大數據給政府統計帶來的機遇與挑戰
對於政府統計來說，大數據既帶來了重大發展機遇，也帶來嚴峻挑戰。
（一）大數據給政府統計帶來重大發展機遇
首先，大數據將不斷提高政府統計服務宏觀管理和社會公眾的能力。隨著大數據的不斷發展和完善，隨著政府統計機構開發應用大數據能力的不斷提升，政府統計產品的種類將會不斷豐富，政府統計數據的質量和時效性將會不斷提升，從而政府統計服務宏觀管理和社會公眾的能力會不斷提高。
其次，大數據將會推動政府統計發生革命性的變化。隨著大數據的發展和完善，隨著政府統計機構開發應用大數據技術的逐步成熟，政府統計將會發生革命性變化。一是現有的以周期性普查為基礎，以抽樣調查為主體，綜合運用全面調查、重點調查等方法，並充分利用行政記錄等資料的統計調查方法體系可能會發生重大變化。長期以來，抽樣調查方法，即在總體中抽選樣本、利用樣本推算總體的方法；普查和全面調查方法，即對總體中所有單位逐一進行調查的方法，在我國政府統計中發揮了重要作用。今後，在較長的時期內這些方法仍然會被政府統計所廣泛採用。但在大數據不斷發展和完善的情況下，某些領域、某些方面的大數據可能會取代抽樣調查、普查和全面調查方法，成為獲取統計數據的重要方法，而且這種獲取統計數據的方法將會變得越來越重要。二是政府統計中的數據採集方式可能會發生重大變化。長期以來，政府統計機構主要以企業填報、住戶記賬、調查員入戶等方式採集原始數據。在大數據不斷發展和完善的情況下，一部分原始數據將通過挖掘大數據的方式獲取，而且這種新的數據採集方式將會變得越來越重要。三是政府統計的數據處理模式可能會發生重大變化。在大數據不斷發展和完善的情況下，現行的對普查和全面調查數據進行直接審核、匯總、加工處理和對抽樣調查數據進行推算放大的數據處理模式可能會發生重大變化。
（二）大數據給政府統計帶來嚴峻挑戰
首先，大數據對政府統計能力帶來挑戰。從大數據本身的產生到發展完善，從政府統計對大數據的初步運用到成熟運用，需要一個較長的時期。在這個過程中，一方面，政府統計中傳統的統計調查方法、數據採集方式和數據處理模式將繼續運行，否則滿足不了宏觀管理和社會公眾的需求。另一方面，政府統計系統必須投入大量的人力和物力對大數據進行挖掘、加工處理和運用，否則也適應不了大數據時代宏觀管理和社會公眾的需求。這種雙軌運行的模式，對政府統計能力將是一個巨大的挑戰。
其次，大數據對傳統政府統計理念帶來挑戰。傳統的政府統計有一個約定俗成的理念：抽樣調查方法可降低調查成本，提高效率和數據質量。因為抽樣調查只對總體中部分抽中的樣本進行調查，並非對總體中的每一個單位都進行調查，所以調查單位明顯減少，可降低成本，節約時間，提高效率。同時，由於調查單位較少，政府統計機構有能力對基層統計調查人員進行較為扎實的培訓和指導，有精力對統計調查數據進行較為嚴格的檢查和審核，從而能夠提高統計調查數據質量。隨著大數據不斷發展完善，政府統計機構將會越來越多地通過大數據企業間接地獲取統計數據，不需要對總體中的具體單位進行直接調查，不需要調查員，從而也不需要對調查員進行培訓，抽樣調查所具有的調查成本低、能夠提高統計調查數據質量的優點就不復存在了。
以上是小編為大家分享的關於大數據來了 給政府統計帶來了機遇與挑戰的相關內容，更多信息可以關注環球青藤分享更多干貨
② 大數據思維下的統計新變革
大數據思維下的統計新變革
日前，谷歌宣布其雲計算平台通過大數據分析准確地預測了巴西世界盃8強。據了解，谷歌雲計算平台使用了英國體育數據提供商Opta Sports的數據，評估了全球每個職業足球聯盟過去多個賽季的情況，以及巴西世界盃小組賽期間的統計數據。於是乎，大數據再度成為輿論關注的焦點，對於其應用價值的討論更加熱烈。
然而，我們發現，即使以谷歌強大的技術實力，也不得不從英國體育數據提供商Opta Sports那裡獲取數據。也就是說，數據的採集並不是谷歌的優勢，大數據產業走向商用和規模化發展，更多的要依賴Opta Sports這樣的數據採集者。從這個角度看，作為最具權威性和採集能力的統計部門，無疑將是大數據產業發展壯大的基礎。反過來看，從大數據發展的趨勢看統計行業的發展方向，也必然全面應用大數據思維。我們注意到，從國家統計局局長馬建堂在2012年年底提出「統計部門要擁抱大數據時代」，到不久前國家統計局在廈門建立首個大數據基地，可以斷言，統計行業的大數據變革已經到來。
2013年11月，國家統計局與網路、阿里巴巴等11家企業簽訂了大數據戰略合作框架協議。此舉目的在於共同推進大數據在政府統計中的應用，不斷增強政府統計的科學性和及時性。馬建堂在協議簽訂時表示：「現在許多發達國家紛紛將大數據利用提升到國家戰略層面，我們也要適應這一大勢，將大數據視為國家戰略資源，主動擁抱大數據時代，積極搶抓機遇、應對挑戰。」數據與統計是一對共生詞，而數據成為生產要素的前提條件也是有效的梳理與歸類，這恰恰是統計的內容。馬建堂說，大數據為政府統計提供了總體性、非結構化、豐富真實的原始資料，可以極大地縮短數據採集時間，減少報表填報任務，減輕調查對象負擔，提高統計數據質量。
一場統計方式和方法的變革正在醞釀。企業既是大數據的主要生產者，也是經驗豐富的使用者，還是大數據的直接受益者，有數據的資源、有應用的技術、有市場的機制。而國家統計局作為組織領導和協調全國統計工作的主管部門，具有統計制度和標准制定，統計數據搜集、發布、分析等方面的優勢。
統計數據是各級領導作出科學決策的重要支撐。隨著企業一套表建設的基本完成，各行各業的數據被採集上來，這只是第一步，用好這些數據是關鍵。企業一套表只是一個業務系統，更重要的是在這套系統上幫助統計部門搭建一套數據資源體系，通過這套體系來對數據進行規劃、整理和加工，建設監測評價中心、輔助決策中心，這也是統計行業未來發展的必然趨勢。
現在一些地方統計局已經開始做統計方面的規劃和使用。例如原來的統計工作主要是查詢，現在希望除了查詢、檢索、展示之外還具備監測、評價的功能。監測評價需要標准，在政府部門這個標准就是政策。監測是對企業、家庭等對象進行調查，數據上傳之後經過計算、加工等與初定的指標相比較，並對監測結果進行評價，發現問題及時預警、報警。輔助決策則更需要智能化，當發現監測評價出的結果與初定指標存在較大差異時，就要追本溯源，為領導提供准確的問題分析報告，列出導致問題的主要原因，提出可行性建議，為領導提供輔助決策，為其做出下一個階段的判斷和調整提供幫助。例如，自去年以來，浙江溫州市統計局建立了GDP聯席會議制度，按季度召集30多個部門進行分析論證部門數據與GDP數據之間的關系，特別是充分運用電力、銀行、交通、財政、外貿等部門數據，以及對GDP數據的影響，使GDP數據更加科學可靠。今年進一步擴大了GDP聯席會議職能，把涉及部門的經濟、社會、民生等監測評價數據進行綜合審查分析，進一步提高統計數據質量。
與此同時，統計行業的大數據變革，也將為大數據產業的下一步發展打造堅實的基礎。從企業一套表到電子終端採集數據，中國統計的技術和制度改革近兩年不斷深入，而與大數據概念的交匯與融合也將助推中國官方數據更加真實全面。統計部門在人口、農業、投資、交通等領域，大力研究利用遙感RS、地理信息系統GIS、全球定位系統GPS為代表的空間信息技術和物聯網技術，既極大提升了統計信息化水平，也為進一步推進大數據的統計應用打下了較好的基礎。
③ 國家統計局正研究如何利用大數據 提高統計質量
大數據正成為科博會、京交會上的新熱點，而備受企業推崇的大數據也有望在國家統計工作中大顯身手。國家統計局局長馬建堂近日表示，國家統計局正組織力量研究如何在統計工作中利用大數據。業內分析，統計工作中利用大數據有助於降低調查成本，提高統計的及時性和准確性，可以提高統計質量，減輕外界對於統計數據准確性的質疑，但要想根本解決統計數據的信用危機，還需要改變惟GDP的政績考核體系。 大數據的挑戰 雖然大數據目前沒有統一定義，但市場普遍認為，大數據是指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理、處理的數據集合。從產業角度，常常把這些數據與採集它們的工具、平台、分析系統一起被稱為大數據。 而大數據的應用已經宏兄盯滲透到日常生活中。專家認為，互聯網上每時每刻生成了大量交易和價格信息，如淘寶網上許許多多的店主開了許許多多的網店，經營著許許多多各種各樣的商品，一個綜合性的淘寶價格指數應運而生，雖然商品種類大大少於CPI，但由於實時產生的大量基礎信息做基礎，會吸引越來越多的人關注，將對政府統計的惟一性乃至權威性產生極大挑戰。這也意塵猛味著，隨著大數據時代的到來，政府統計部門不再是惟一的海量數據擁有者。 統計方式的變革 馬建堂此前在全國統計工作會議上強調，大數據時代的來臨，對統計數據的生產方式帶來了很大的挑戰。統計部門要利用海量數據並對其進行標准化處理，發掘這一數據寶庫，認真把握好這一促進政府統計改革發展的難得機遇。 據了解，政府統計一般是在普查掌握總體的基礎上，對一定規模限額以上的單位全額調查，對以下的單位進行抽樣，各級政府統計機構對本地區數據質量各負其責。但符合大數據概念的交易記錄，無論是成交額、成交量，還是各類商品的價格，都是作為一個總體存在。 通過利用客觀存在的海量數據，能夠有效降低調查成本。大數據化的採集方式減少了層層上報環節，有助於提高數據及時性、准確性。同時，通過對海量數據的分析、整理，可以對經濟社會運行情況進行多方面印證，更加真實合理。北京方迪經濟發展研究院副院長趙燕霞說。 一位業內專家舉例稱，比如每月公布的社會消費品零售額數據，除了幾個基礎的分類數據外，還可以對各行業收集的數據具體分析，研究餐飲消費結構、金銀珠寶消費與經濟關系、日用品消費佔比變化等，通過這些可以看出消費趨勢性變化，為擴大內需提供重要的數據支撐。 信任危機的化解 國家統計局表現出的利用大數據傾向，除了順應目前發展趨勢外，也被外界認為將有助挽救目前存在的數據信用危機。近年來，工資被增長、CPI被下降、房價被降低、失業率被減少因百姓的切身感受與統計數據之間的差異，以及國家和地方之間GDP數據嚴重不符，都導致了市場對統計數據的質疑。 統計學專家、中國社科院世界經濟與政治研究所世界經濟統計分析研究室副主任劉仕國認為，大數據要求數據種類越來越多樣化，而且對統計過程透明性也越來越高，從理蔽和論上看，這樣可以提高統計調查的准確性、透明性，可以消減民眾對於統計數據的質疑。 (王曄君)
④ 淺談大數據時代統計工作方法
淺談大數據時代統計工作方法
大數據時代帶來了數據信息的大爆炸，為社會生活各個領域帶來巨大變革，也給統計調查工作帶來了挑戰。大數據時代數據呈現出總量更大、種類更繁多、操作更復雜等新特點，這對新時代做好統計調查工作提出了新的更高要求，統計調查工作方式方法面臨優化和革新。當然，變革不代表取代和拒絕，而是尋求包容和提升的最佳狀態，使統計調查工作在新時代可以更加科學規范。
——加大信息技術驅動力，推動統計調查各環節技術改革。信息技術革命和互聯網時代催生了大數據，因此大數據時代統計調查必須以現代信息技術為工具和驅動力。一是拓寬數據收集渠道。統計調查數據的收集可以通過互聯網技術利用網路搜索或者從網路公司收集行業信息。二是減少中間環節。傳統統計調查層層統計上報的做法工作量較大，也容易造成數據失真。大數據時代統計調查可以利用網路傳輸數據平台建設等使統計數據第一時間直接從源頭傳輸到需求者，減少中間環節的人為干擾因素，既保證數據的及時性，也能保證數據的真實性和完整性。三是嚴控數據質量。數據的大爆發帶來的數據復雜性勢必會增加數據質量控制和統計執法的難度，因此，應適應時代的特點，建立動態的、在線的數據質量把控和統計執法制度。如在數據統計調查平台建立質量控制模板，實現實時監控，並且建立統計執法與數據質量監測的便捷通道，一旦數據質量報警可以立即在統計執法上得到響應。
——提升統計調查方法的科學性、規范性。以抽樣調查為例，要想快速樹立抽樣調查的權威性和主體地位，就必須在抽樣調查的各個環節建立科學完備的方法論，包括抽樣框構建、抽樣方案設計、抽樣估計和數據調整等各個環節。比如，要建立科學、統一、簡約的抽樣調查指標體系，取消過時的、利用率低的指標，改進不易取得和無法與大數據銜接的指標，增加政府及社會各界普遍關注的、與社會經濟發展相適應的指標。
——加快數據共享，打破部門「數據孤島」。目前，我國政府統計面臨數據來源單一、重復調查等諸多問題，部門「數據孤島」現象存在，阻礙了大數據時代統計調查工作的開展。從國外先進經驗來看，大數據時代需要逐步採用以信息化為媒介的、基於行政記錄和多種信息來源的開放式、共享式數據採集制度，即將不同政府職能部門行政管理信息資料共享化，如人口登記、房產登記、企業信息登記等，不同目的的統計調查僅是在此基礎上增加或修改特定指標即可。在我國，初步的部門數據共享已經實現，如經濟普查利用工商資料庫和基本單位名錄庫等作為清查庫，人口普查以公安部門戶籍資料和社保信息等作為核查依據等，但是仍存在部門統計數據協調難度大、利用效率低等問題。因此，在大數據時代需要快速搭建較為完備的數據交換和共享服務平台，除去部門保密數據資料外，絕大多數的統計數據信息應該逐步實現在政府部門間、甚至面向社會公布和共享，使各種目的的統計調查能夠各取所需、完善補充，有效發揮數據價值，減少社會資源浪費。
——培養新型統計調查人員，加強調查隊伍建設。為應對大數據時代給統計調查工作帶來的復雜性和不確定性，需要打造一支懂技術、守紀律的高素質統計調查隊伍。一是人員專業化。大數據調查需要全新的現代統計方法和統計工具，特別是現代信息技術和雲計算技術，因此必須組建專業程度高、針對性強的業務能手，並且定期組織培訓，培養專業化統計調查人才。二是隊伍穩定化。現代統計方法和統計流程大多大同小異，穩定的統計調查隊伍有利於不同調查方法的融通，減少人員的適應時間，最大限度降低調查成本。近年來，不少地區探索的統計調查外包模式，在一定程度上促進了人員專業化、隊伍穩定化，值得深入研究和推廣。三是組織紀律制度化。2017年4月，國家統計局成立了國家統計局統計執法監督局，標志著全面依法統計依法治統工作開啟了新的征程。統計數據真實性、統計調查科學性、統計執法嚴肅性等問題，一直是伴隨著各項統計調查工作的永恆話題，只有嚴格遵守統計紀律，將組織建設制度化，才能從根本上杜絕統計造假等統計違法行為，才能確保統計調查科學性，維護統計數據權威性。
⑤ 大數據時代如何加強統計檔案信息化管理
大數據時代如何加強統計檔案信息化管理
大數據是用來描述和定義信息爆炸時代產生的海量數據，統計部門需要積極應對大數據帶來的環境變化和需求變化，更好地開展統計檔案利用工作，更大程度地發掘檔案的潛在價值，更加全面地提供檔案信息服務，從而實現統計檔案信息化管理的跨越式發展。
走進大數據
隨著經濟社會的快速發展，特別是近幾年經濟結構和社會布局不斷發生變化，統計檔案資料急劇增加，同時，社會各界對統計檔案的需求也大幅增加。巨量資料、大需求推動著統計檔案的收集、整理和利用進入大數據時代。統計部門每年都要接待大批查閱統計檔案人員，每年都要調閱數以萬計的各類案卷。如何從繁雜的個性化需求和數量龐大的案卷中認識和利用規律，如何在大量提供的數據中確保企業、調查對象隱私安全？這需要統計數據的利用情況，這個過程，我們可以視為一個通過「加工」實現數據「增值」的過程。但是，統計部門如何提高對數據的「加工能力」？必須首先搞清楚大數據給統計檔案工作帶來的變化，根據變化尋找應變辦法，提升統計分析能力。
「三大」趨勢
目前，統計檔案的利用取得了較好的社會效益和經濟效益。但在利用種類上，多數仍局限於「實際利用」，即有特定實用目的的一般性查詢利用上，只有人次數、查閱卷次數等數據，缺乏綜合分析、研究預測等數據加工過程，更缺乏利用偏好規律、利用趨向等加工結果。簡單的數據對於一般利用者來說意義不大，對經濟發展、規劃、預測和調控來說更是無關痛癢。然而，隨著大數據時代到來，統計檔案管理將逐步呈現「三大」趨勢，也將給現有的統計檔案利用帶來相應的挑戰。
一是大檔案。載體形式更加廣泛，一切與經濟社會有關的、經過統計部門調查取得的文書、數據、聲像、實物都被作為統計檔案。數字化檔案體量更加巨大，原有的紙介質統計資料，以及一切非數字化的統計檔案都將通過信息技術不斷地加工成電子檔案。
二是大服務。大數據時代統計檔案服務將朝著社會化、多元化、開放性和先進性方向發展，檔案服務以利用者的個性化需求為導向，提供網路化、智慧型的服務。
三是大開發。在傳統管理方式下，檔案利用只是提供被動的查閱服務。在大數據時代，檔案利用將延伸到使用大數據技術對檔案進行大量加工和二次開發，更加註重分析、發現與預測，為利用者創造更多價值。
積極應變
面對大數據給現有統計檔案利用工作帶來的挑戰，統計部門應積極應對，全面提升數據加工能力。
做好利用統計項目調整。一是將利用統計的關注點從數量轉向效益。建議在統計檔案利用項中增加利用效益項目，強調社會效益的統計，如增加利用者滿意度或者利用效果項目，將利用者的需求滿足狀況以順序數據的形式列入統計項，以反映利用者對檔案價值的認知與認可度。二是完善數字檔案利用情況統計，根據數字檔案資源利用的特殊性，設置數字檔案和電子文件的檢索量、閱讀量和下載量等統計項目。
做好利用統計工作的信息化建設。大數據時代，傳統的手工登記、電腦匯總的工作模式正在失去其原有的意義。必須加快利用者自助服務終端設備、服務質量評價設備、統計軟體的應用，以及信息系統的建設。利用者在自助服務終端設備上驗證身份後，其利用記錄及其在獲取服務之後對服務質量做出的評價，都將實時傳輸到信息系統中自動存儲。
做好專業人員配備。大數據將使利用統計工作大量化、復雜化和專業化，要求工作人員必須具備一定統計理論和實務素養。因此，要及時對相關工作人員進行專業培訓，同時要把統計工作具體實踐中的經驗、技巧、成果等在工作人員中進行交流，便於工作人員相互借鑒、相互促進。
做好利用情況的統計分析方法運用。利用情況統計分析，是檔案利用統計的最後一個階段，在這個階段中，通過運用各種專業的統計分析方法，使我們能夠對利用情況進行清晰明確的全面認識，並依據統計分析正確估計形勢，為決策提供依據。例如，對於歷年的利用人次和卷次數，我們可以運用時間序列的描述性分析，通過計算數量的增長率、平均增長率來簡單描述現象在不同時間的變化狀況，也可以通過製作圖形先觀察數據隨時間的變化模式及變化趨勢，為進一步的預測提供基本依據。進行預測時，我們首先要判別歷史數據模型是平穩序列、線性趨勢，還是非線性趨勢，然後結合數據多少選擇用移動平均、一元線性回歸，還是指數模型的預測方法。
做好利用統計成果的運用和宣傳。通過統計分析，我們可能會發現統計檔案利用的某些規律，如利用者的喜愛，也許還能夠合理預測趨向。統計部門應該積極主動地將這些統計成果運用到服務工作中去，及時調整服務重點或者提前做好服務計劃，甚至做出明確的統計預測預警。
以上是小編為大家分享的關於大數據時代如何加強統計檔案信息化管理的相關內容，更多信息可以關注環球青藤分享更多干貨