『壹』 淺談大數據時代統計工作方法
淺談大數據時代統計工作方法
大數據時代帶來了數據信息的大爆炸,為社會生活各個領域帶來巨大變革,也給統計調查工作帶來了挑戰。大數據時代數據呈現出總量更大、種類更繁多、操作更復雜等新特點,這對新時代做好統計調查工作提出了新的更高要求,統計調查工作方式方法面臨優化和革新。當然,變革不代表取代和拒絕,而是尋求包容和提升的最佳狀態,使統計調查工作在新時代可以更加科學規范。
——加大信息技術驅動力,推動統計調查各環節技術改革。信息技術革命和互聯網時代催生了大數據,因此大數據時代統計調查必須以現代信息技術為工具和驅動力。一是拓寬數據收集渠道。統計調查數據的收集可以通過互聯網技術利用網路搜索或者從網路公司收集行業信息。二是減少中間環節。傳統統計調查層層統計上報的做法工作量較大,也容易造成數據失真。大數據時代統計調查可以利用網路傳輸數據平台建設等使統計數據第一時間直接從源頭傳輸到需求者,減少中間環節的人為干擾因素,既保證數據的及時性,也能保證數據的真實性和完整性。三是嚴控數據質量。數據的大爆發帶來的數據復雜性勢必會增加數據質量控制和統計執法的難度,因此,應適應時代的特點,建立動態的、在線的數據質量把控和統計執法制度。如在數據統計調查平台建立質量控制模板,實現實時監控,並且建立統計執法與數據質量監測的便捷通道,一旦數據質量報警可以立即在統計執法上得到響應。
——提升統計調查方法的科學性、規范性。以抽樣調查為例,要想快速樹立抽樣調查的權威性和主體地位,就必須在抽樣調查的各個環節建立科學完備的方法論,包括抽樣框構建、抽樣方案設計、抽樣估計和數據調整等各個環節。比如,要建立科學、統一、簡約的抽樣調查指標體系,取消過時的、利用率低的指標,改進不易取得和無法與大數據銜接的指標,增加政府及社會各界普遍關注的、與社會經濟發展相適應的指標。
——加快數據共享,打破部門「數據孤島」。目前,我國政府統計面臨數據來源單一、重復調查等諸多問題,部門「數據孤島」現象存在,阻礙了大數據時代統計調查工作的開展。從國外先進經驗來看,大數據時代需要逐步採用以信息化為媒介的、基於行政記錄和多種信息來源的開放式、共享式數據採集制度,即將不同政府職能部門行政管理信息資料共享化,如人口登記、房產登記、企業信息登記等,不同目的的統計調查僅是在此基礎上增加或修改特定指標即可。在我國,初步的部門數據共享已經實現,如經濟普查利用工商資料庫和基本單位名錄庫等作為清查庫,人口普查以公安部門戶籍資料和社保信息等作為核查依據等,但是仍存在部門統計數據協調難度大、利用效率低等問題。因此,在大數據時代需要快速搭建較為完備的數據交換和共享服務平台,除去部門保密數據資料外,絕大多數的統計數據信息應該逐步實現在政府部門間、甚至面向社會公布和共享,使各種目的的統計調查能夠各取所需、完善補充,有效發揮數據價值,減少社會資源浪費。
——培養新型統計調查人員,加強調查隊伍建設。為應對大數據時代給統計調查工作帶來的復雜性和不確定性,需要打造一支懂技術、守紀律的高素質統計調查隊伍。一是人員專業化。大數據調查需要全新的現代統計方法和統計工具,特別是現代信息技術和雲計算技術,因此必須組建專業程度高、針對性強的業務能手,並且定期組織培訓,培養專業化統計調查人才。二是隊伍穩定化。現代統計方法和統計流程大多大同小異,穩定的統計調查隊伍有利於不同調查方法的融通,減少人員的適應時間,最大限度降低調查成本。近年來,不少地區探索的統計調查外包模式,在一定程度上促進了人員專業化、隊伍穩定化,值得深入研究和推廣。三是組織紀律制度化。2017年4月,國家統計局成立了國家統計局統計執法監督局,標志著全面依法統計依法治統工作開啟了新的征程。統計數據真實性、統計調查科學性、統計執法嚴肅性等問題,一直是伴隨著各項統計調查工作的永恆話題,只有嚴格遵守統計紀律,將組織建設制度化,才能從根本上杜絕統計造假等統計違法行為,才能確保統計調查科學性,維護統計數據權威性。
『貳』 大數據的應用
大數據技術的應用領域主要有:
電商領域:淘寶京東等電商平台利用大數據技術,對用戶信息進行分析,從而為用戶推送用戶感興趣的產品,從而刺激消費。
政府領域:「智慧城市」已經在多地嘗試運營,通過大數據,政府部門得以感知社會的發展變化需求。
醫療領域:醫療行業通過臨床數據對比、實時統計分析、遠程病人數據分
大數據技術的應用領域主要有:
電商領域:淘寶京東等電商平台利用大數據技術,對用戶信息進行分析,從而為用戶推送用戶感興趣的產品,從而刺激消費。
政府領域:「智慧城市」已經在多地嘗試運營,通過大數據,政府部門得以感知社會的發展變化需求。
醫療領域:醫療行業通過臨床數據對比、實時統計分析、遠程病人數據分
大數據技術的應用領域主要有:
電商領域:淘寶京東等電商平台利用大數據技術,對用戶信息進行分析,從而為用戶推送用戶感興趣的產品,從而刺激消費。
政府領域:「智慧城市」已經在多地嘗試運營,通過大數據,政府部門得以感知社會的發展變化需求。
醫療領域:醫療行業通過臨床數據對比、實時統計分析、遠程病人數據分
『叄』 大數據思維下的統計新變革
大數據思維下的統計新變革
日前,谷歌宣布其雲計算平台通過大數據分析准確地預測了巴西世界盃8強。據了解,谷歌雲計算平台使用了英國體育數據提供商Opta Sports的數據,評估了全球每個職業足球聯盟過去多個賽季的情況,以及巴西世界盃小組賽期間的統計數據。於是乎,大數據再度成為輿論關注的焦點,對於其應用價值的討論更加熱烈。
然而,我們發現,即使以谷歌強大的技術實力,也不得不從英國體育數據提供商Opta Sports那裡獲取數據。也就是說,數據的採集並不是谷歌的優勢,大數據產業走向商用和規模化發展,更多的要依賴Opta Sports這樣的數據採集者。從這個角度看,作為最具權威性和採集能力的統計部門,無疑將是大數據產業發展壯大的基礎。反過來看,從大數據發展的趨勢看統計行業的發展方向,也必然全面應用大數據思維。我們注意到,從國家統計局局長馬建堂在2012年年底提出「統計部門要擁抱大數據時代」,到不久前國家統計局在廈門建立首個大數據基地,可以斷言,統計行業的大數據變革已經到來。
2013年11月,國家統計局與網路、阿里巴巴等11家企業簽訂了大數據戰略合作框架協議。此舉目的在於共同推進大數據在政府統計中的應用,不斷增強政府統計的科學性和及時性。馬建堂在協議簽訂時表示:「現在許多發達國家紛紛將大數據利用提升到國家戰略層面,我們也要適應這一大勢,將大數據視為國家戰略資源,主動擁抱大數據時代,積極搶抓機遇、應對挑戰。」數據與統計是一對共生詞,而數據成為生產要素的前提條件也是有效的梳理與歸類,這恰恰是統計的內容。馬建堂說,大數據為政府統計提供了總體性、非結構化、豐富真實的原始資料,可以極大地縮短數據採集時間,減少報表填報任務,減輕調查對象負擔,提高統計數據質量。
一場統計方式和方法的變革正在醞釀。企業既是大數據的主要生產者,也是經驗豐富的使用者,還是大數據的直接受益者,有數據的資源、有應用的技術、有市場的機制。而國家統計局作為組織領導和協調全國統計工作的主管部門,具有統計制度和標准制定,統計數據搜集、發布、分析等方面的優勢。
統計數據是各級領導作出科學決策的重要支撐。隨著企業一套表建設的基本完成,各行各業的數據被採集上來,這只是第一步,用好這些數據是關鍵。企業一套表只是一個業務系統,更重要的是在這套系統上幫助統計部門搭建一套數據資源體系,通過這套體系來對數據進行規劃、整理和加工,建設監測評價中心、輔助決策中心,這也是統計行業未來發展的必然趨勢。
現在一些地方統計局已經開始做統計方面的規劃和使用。例如原來的統計工作主要是查詢,現在希望除了查詢、檢索、展示之外還具備監測、評價的功能。監測評價需要標准,在政府部門這個標准就是政策。監測是對企業、家庭等對象進行調查,數據上傳之後經過計算、加工等與初定的指標相比較,並對監測結果進行評價,發現問題及時預警、報警。輔助決策則更需要智能化,當發現監測評價出的結果與初定指標存在較大差異時,就要追本溯源,為領導提供准確的問題分析報告,列出導致問題的主要原因,提出可行性建議,為領導提供輔助決策,為其做出下一個階段的判斷和調整提供幫助。例如,自去年以來,浙江溫州市統計局建立了GDP聯席會議制度,按季度召集30多個部門進行分析論證部門數據與GDP數據之間的關系,特別是充分運用電力、銀行、交通、財政、外貿等部門數據,以及對GDP數據的影響,使GDP數據更加科學可靠。今年進一步擴大了GDP聯席會議職能,把涉及部門的經濟、社會、民生等監測評價數據進行綜合審查分析,進一步提高統計數據質量。
與此同時,統計行業的大數據變革,也將為大數據產業的下一步發展打造堅實的基礎。從企業一套表到電子終端採集數據,中國統計的技術和制度改革近兩年不斷深入,而與大數據概念的交匯與融合也將助推中國官方數據更加真實全面。統計部門在人口、農業、投資、交通等領域,大力研究利用遙感RS、地理信息系統GIS、全球定位系統GPS為代表的空間信息技術和物聯網技術,既極大提升了統計信息化水平,也為進一步推進大數據的統計應用打下了較好的基礎。
『肆』 大數據包括什麼
大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。
大數據是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。
大數據技術的戰略意義不在於掌握龐大的數據信息,而在於對這些含有意義的數據進行專業化處理。換而言之,如果把大數據比作一種產業,那麼這種產業實現盈利的關鍵,在於提高對數據的「加工能力」,通過「加工」實現數據的「增值」。
從技術上看,大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理,必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
(4)大數據政府統計擴展閱讀:
大數據的應用
1、洛杉磯警察局和加利福尼亞大學合作利用大數據預測犯罪的發生。
2、google流感趨勢(Google Flu Trends)利用搜索關鍵詞預測禽流感的散布。
3、統計學家內特.西爾弗(Nate Silver)利用大數據預測2012美國選舉結果。
4、麻省理工學院利用手機定位數據和交通數據建立城市規劃。
5、梅西百貨的實時定價機制。根據需求和庫存的情況,該公司基於SAS的系統對多達7300萬種貨品進行實時調價。
6、醫療行業早就遇到了海量數據和非結構化數據的挑戰,而近年來很多國家都在積極推進醫療信息化發展,這使得很多醫療機構有資金來做大數據分析。
『伍』 大數據來了 給政府統計帶來了機遇與挑戰
大數據來了 給政府統計帶來了機遇與挑戰
對於政府統計機構來說,沒有什麼比數據更重要的了。我們研究統計分類標准、統計調查方法、統計數據採集方式、統計數據加工處理方法、統計數據評估技術,都是為了獲取真實准確、完整及時、代表性強、分類科學、經濟適用的統計數據。
大數據時代的到來,既給政府統計帶來重大發展機遇,也帶來嚴峻挑戰。
一、大數據在政府統計中的應用
國家統計局高度重視大數據在政府統計中的應用。到目前為止,已經與17家大數據企業簽訂了戰略合作協議。當然,目前大數據在中國政府統計中的應用仍處於起步階段,主要表現在兩個方面:一是大數據成為政府統計數據的部分資料來源;二是大數據成為政府統計數據質量的部分評估依據。
(一)大數據成為政府統計數據的部分資料來源
目前,大數據已經成為中國政府統計數據的部分資料來源,以下是幾個有代表性的方面:
1.利用重點網上零售交易平台數據測算網上零售額
為了掌握網上零售交易平台的交易規模和結構,綜合測算網上零售數據,從今年1月份開始,國家統計局實施了月度網上零售交易平台調查,調查范圍為42家重點網上零售交易平台,包括京東商城、亞馬遜、當當網、淘寶網、天貓商城、酒仙網、美團網、中糧我買網、國美在線、大眾點評網等。據對上述42家重點網上零售交易平台數據測算,今年1~8月份,全國網上零售額22400.9億元,同比增長36.5%。其中,實物商品網上零售額18653.4億元,增長35.6%,佔全部網上零售額的83.3%;非實物商品網上零售額3747.5億元,增長41.1%,佔全部網上零售額的16.7%。這對於宏觀管理部門和社會公眾了解網上零售情況具有重要的參考作用。
2.利用房屋交易網簽數據計算全國70個大中城市的新建住宅價格指數
房屋交易網簽數據是指買賣雙方簽訂購房合同後,房地產開發企業在房管部門進行備案,並在房產信息網上公布的相關信息,包含地址、樓層、價格、面積和金額等詳細信息,基本涵蓋了當月新建住宅的全部交易情況。從2011年1月份開始,國家統計局開始採用房屋交易網簽數據計算全國70個大中城市的新建住宅價格指數。這對於提高70個大中城市新建住宅價格指數的數據質量起到了重要作用。
3.利用卓創資訊公司提供的價格信息,開展流通領域重要生產資料市場價格監測
國家統計局與卓創資訊公司開展合作,利用該企業提供的價格信息,開展流通領域重要生產資料市場價格監測。從2014年1月開始,按旬共同向社會發布流通領域9大類50種重要生產資料市場價格的檢測結果。行業涵蓋黑色金屬、有色金屬、化工產品、煤炭、石油天然氣、非金屬建材、農產品、農業生產資料、林產品等領域。地區監測范圍覆蓋北京、天津、河北、山西、內蒙古、遼寧、吉林、上海等24個省區市。這對於宏觀管理部門和社會公眾了解流通領域重要生產資料市場價格信息起到了重要作用。
(二)大數據成為政府統計數據質量的部分評估依據
國家統計局除了把大數據作為政府統計數據的部分資料來源外,也高度重視利用大數據評估政府統計數據質量。以下是目前比較有代表性的兩個方面:一是利用中國銀聯跨行銀行卡消費數據評估社會消費品零售總額數據質量;二是利用大型機械裝備企業物聯網數據評估固定資產投資數據質量。
二、大數據給政府統計帶來的機遇與挑戰
對於政府統計來說,大數據既帶來了重大發展機遇,也帶來嚴峻挑戰。
(一)大數據給政府統計帶來重大發展機遇
首先,大數據將不斷提高政府統計服務宏觀管理和社會公眾的能力。隨著大數據的不斷發展和完善,隨著政府統計機構開發應用大數據能力的不斷提升,政府統計產品的種類將會不斷豐富,政府統計數據的質量和時效性將會不斷提升,從而政府統計服務宏觀管理和社會公眾的能力會不斷提高。
其次,大數據將會推動政府統計發生革命性的變化。隨著大數據的發展和完善,隨著政府統計機構開發應用大數據技術的逐步成熟,政府統計將會發生革命性變化。一是現有的以周期性普查為基礎,以抽樣調查為主體,綜合運用全面調查、重點調查等方法,並充分利用行政記錄等資料的統計調查方法體系可能會發生重大變化。長期以來,抽樣調查方法,即在總體中抽選樣本、利用樣本推算總體的方法;普查和全面調查方法,即對總體中所有單位逐一進行調查的方法,在我國政府統計中發揮了重要作用。今後,在較長的時期內這些方法仍然會被政府統計所廣泛採用。但在大數據不斷發展和完善的情況下,某些領域、某些方面的大數據可能會取代抽樣調查、普查和全面調查方法,成為獲取統計數據的重要方法,而且這種獲取統計數據的方法將會變得越來越重要。二是政府統計中的數據採集方式可能會發生重大變化。長期以來,政府統計機構主要以企業填報、住戶記賬、調查員入戶等方式採集原始數據。在大數據不斷發展和完善的情況下,一部分原始數據將通過挖掘大數據的方式獲取,而且這種新的數據採集方式將會變得越來越重要。三是政府統計的數據處理模式可能會發生重大變化。在大數據不斷發展和完善的情況下,現行的對普查和全面調查數據進行直接審核、匯總、加工處理和對抽樣調查數據進行推算放大的數據處理模式可能會發生重大變化。
(二)大數據給政府統計帶來嚴峻挑戰
首先,大數據對政府統計能力帶來挑戰。從大數據本身的產生到發展完善,從政府統計對大數據的初步運用到成熟運用,需要一個較長的時期。在這個過程中,一方面,政府統計中傳統的統計調查方法、數據採集方式和數據處理模式將繼續運行,否則滿足不了宏觀管理和社會公眾的需求。另一方面,政府統計系統必須投入大量的人力和物力對大數據進行挖掘、加工處理和運用,否則也適應不了大數據時代宏觀管理和社會公眾的需求。這種雙軌運行的模式,對政府統計能力將是一個巨大的挑戰。
其次,大數據對傳統政府統計理念帶來挑戰。傳統的政府統計有一個約定俗成的理念:抽樣調查方法可降低調查成本,提高效率和數據質量。因為抽樣調查只對總體中部分抽中的樣本進行調查,並非對總體中的每一個單位都進行調查,所以調查單位明顯減少,可降低成本,節約時間,提高效率。同時,由於調查單位較少,政府統計機構有能力對基層統計調查人員進行較為扎實的培訓和指導,有精力對統計調查數據進行較為嚴格的檢查和審核,從而能夠提高統計調查數據質量。隨著大數據不斷發展完善,政府統計機構將會越來越多地通過大數據企業間接地獲取統計數據,不需要對總體中的具體單位進行直接調查,不需要調查員,從而也不需要對調查員進行培訓,抽樣調查所具有的調查成本低、能夠提高統計調查數據質量的優點就不復存在了。
以上是小編為大家分享的關於大數據來了 給政府統計帶來了機遇與挑戰的相關內容,更多信息可以關注環球青藤分享更多干貨
『陸』 大數據統計學就業方向有哪些
統計學專業的就業范圍較廣,可以在各行業從事信息搜集、整理和分析工作,從事市場調研工作。
統計學專業不是僅僅像其表面的文字表示,只是統計數字,而是包含了調查、收集、分析、預測等。
統計學(statistics)是應用數學的一個分支,主要通過利用概率論建立數學模型,收集所觀察系統的數據,進行量化分析、總結,做出推斷和預測,為相關決策提供依據和參考。
它被廣泛的應用在各門學科之上,從物理和社會科學到人文科學,甚至被用來工商業及政府的情報決策之上。隨著數字化的進程不斷加快,人們越來越多地希望能夠從大量的數據中總結出一些經驗規律從而為後面的決策提供一些依據。
畢業生的主要就業流向有四大部分:政府部門、統計局等;銀行、保險公司、證券公司等金融部門;市場調查公司、咨詢公司、各公司的市場研究部門,工業企業的質量檢測部門;互聯網行業。
『柒』 大數據與智慧政府專業學什麼
大數據與智慧政府專業屬於交叉學科:以統計學、數學、計算機為三大支撐性學科;生物、醫學、環境科學、經濟學、社會學、管理學為應用拓展性學科。
此外還需學習數據採集、分析、處理軟體,學習數學建模軟體及計算機編程語言等,知識結構是二專多能復合的跨界人才(有專業知識、有數據思維)。
畢業生能夠從事基於計算機、移動互聯網、電子信息、電子商務技術、電子金融、電子政務、軍事等領域的Java大數據分布式程序開發、大數據集成平台的應用、開發等方面的高級技術人才。
可在政府機關、房地產、銀行、金融、移動互聯網等領域從事各類Java大數據分布式開發、基於大數據平台的程序開發、數據可視化等相關工作,也可在IT領域從事計算機應用工作。
『捌』 中國目前在大數據行業的發展情況如何
我國大數據產業開始已進入深化階段
中國大數據產業從萌芽到如今漸成體系,已走過將近10個年頭。「十四五」開局之年,大數據產業也進入了集成創新、深度應用的新階段。大數據在醫療、工業、交通等領域的融合應用技術加快創新突破,大數據融合應用重點從虛擬經濟轉變為實體經濟;大數據底層技術方面,信息安全、模式識別、語言工程、計算機輔助設計、高性能計算等加快突破,大數據技術領域逐漸補齊短板,並進一步強化長板。
—— 更多本行業研究分析詳見前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》