Ⅰ 推動大數據高速發展和數據交易的時間
大數據概念最早的提出者現已不可考,但早在1980年,未來學家托夫勒在其所著的《第三次浪潮》中就提到「大數據」一詞。
2001年麥塔集團分析員道格·萊尼指出數據增長的挑戰和機遇有三個方向:量(Volume,數據大小)、速(Velocity,資料輸入輸出的速度)與多變(Variety,多樣性),現在這被認為是大數據的三個特性。
2011年麥肯錫正式定義了大數據的概念。
2012年《紐約時報》的一篇專欄中寫到,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於數據和分析而作出,而並非基於經驗和直覺。大數據開始跟時代掛鉤,在當時人們並不以為然,甚至許多人認為這不過是商學院或咨詢公司嘩眾取寵罷了。現在「大數據時代」已經變成了人盡皆知的口頭禪。
2012年維克托·邁爾·舍恩伯的《大數據時代》開始在國內風靡,推動了國內大數據的發展,許多人大數據的啟蒙也是來源於這本書。
2010後雲計算的成熟讓大數據不再是紙上談兵,大數據技術有了真正實現的可能性。
我從三個方面梳理了下大數據發展的時間線:政府推動、大數據技術、大數據價值。
政府推動:
2009——美國政府開放政府數據,這一行動使得從肯亞到英國范圍內的各國政府相繼效仿。
2010——德國聯邦政府啟動「數字德國2015」戰略,將物聯網引入製造業,打造智能工廠,工廠通過CPS(網路物理系統)實現在全球互聯。
2011——工信部把信息處理技術作為四項關鍵技術創新工程之一,其中包括了海量數據存儲、數據挖掘、圖像視頻智能分析等大數據重要組成部分。
2012——美國政府在白宮網站發布《大數據研究和發展倡議》,這一倡議標志著大數據已經成為重要的時代特徵。之後美國政府宣布2億美元投資大數據領域,大數據技術從商業行為上升到國家科技戰略。
聯合國在紐約發布大數據政務白皮書,總結了各國政府如何利用大數據更好地服務和保護人民。
2013——英國政府宣布注資6億英鎊發展8類高新技術,其中,1.89億英鎊用來發展大數據技術。
歐盟實施開放數據戰略,旨在開放歐盟公共管理部門的所有信息。
2014——數據開放運動已覆蓋全球44個國家。國務院通過《企業信息公示暫行條例(草案)》,要求在企業部門間建立互聯共享信息平台,運用大數據等手段提升監管水平。
2015——五中全會的「十三五」規劃中將大數據作為國家級戰略。
Ⅱ 中國實施大數據戰略有五大行動支點
中國實施大數據戰略有五大行動支點
大數據引擎業已成為組織創新、產業升級、經濟社會發展、國家治理能力現代化的核心驅動力。在借鑒歐美發達國家大數據戰略實施的先進經驗基礎上,中國中國實施大數據戰略有五大行動支點。
變革時代的大數據革命
自「智慧地球」概念於2008年11月提出以來,整個地球都沉浸在如何變得更加智慧這個龐大的課題里。聯合國秘書長執行辦公室於2009年正式啟動了「全球脈動」倡議項目,旨在推動數字數據與快速數據收集和分析方式創新。聯合國2012年5月對外發布了《大數據促發展:挑戰與機遇》白皮書,探討如何利用互聯網數據推動全球發展。隨著大數據發展戰略得到全球各國的高度重視,世界主要國家的「智慧國家」建設發展戰略和行動計劃風起雲涌。由於大數據是數字化生存時代的新型戰略資源,對國家治理和社會發展作用巨大,各國科技界、產業界和政府部門極為關注,於是「智慧企業」「智慧校園」「智慧醫院」「智慧政府」「智慧城市」被不同類型組織列為發展目標。
科學技術是第一生產力,產業的每一次革命性躍遷都離不開科技革命的推動,往往只有那些抓住技術革命的戰略機遇並迅速作出適應性調整的國家或民族才能不斷生存發展。毫無疑問,大數據是當前一個事關經濟社會發展全局的戰略性產業,已經成為全球高科技產業競爭的前沿領域,以美、日、歐為代表的全球發達國家已經展開以大數據為核心的新一輪信息戰略以及新一輪的人才競爭、技術競爭、產業競爭、企業競爭和國家競爭。報告顯示,2014年,全球大數據市場增長速度達53%,總體規模為285億美元。到2017年,全球大數據市場收入將達500億美元,這意味著從2011年起連續6年年復合增長率達38%。中國市場情報中心有關統計顯示,2012年中國大數據市場規模為4.5億元,同比增長40.6%,到2018年,中國大數據市場規模將達到463.4億元。2012—2013年度,在歐美國家1217家營業額收入超過10億美元的企業中,643家企業制定了大數據戰略,其中7%的企業至少投入了5億美元,15%的企業至少投入了1億美元發展大數據。
顯然,隨著經濟社會的發展,大數據帶來的深刻影響和巨大價值逐漸被認識,它通過技術的創新與發展,以及數據的全面感知、收集、分析、共享,為我們提供了一種全新的看待世界的方法,大數據帶來的信息風暴正在全方位地改變著我們的生活、工作和思維。
大數據戰略實施的國際經驗
歐美發達國家相繼制定了大數據發展戰略,並制訂了具體的實施政策和行動計劃,已經取得初步成效。總體而言,這些戰略具有以下幾個方面典型特徵:
開放性。自2009年美國政府開放數據門戶網站data.gov上線以來,各國政府掀起開放數據運動。通過開放政府數據,提高政府透明度,提升政府治理能力和效率,更好地滿足公眾需求,促進社會創新,帶動經濟增長。據統計,截至2014年1月12日,開放數據運動已覆蓋全球44個國家(地區)。2013年6月,八國集團首腦在北愛爾蘭峰會上簽署《開放數據憲章》,各國表示願意進一步向公眾開放可機讀的政府數據,並在2013年末制定相應的行動計劃。英國承諾2015年前開放有關交通運輸、天氣和健康方面的核心公共資料庫,並將投資1000萬英鎊建立世界上首個「開放數據研究所」。2013年11月,法國政府出台《八國集團開放數據憲章行動計劃》,作出「朝著默認公開發布數據的目標前進」「建立一個開放平台以鼓勵創新和提高透明度」等幾項承諾。
智能性。2010年11月,德國聯邦政府啟動「數字德國2015」戰略,推動互聯網服務、雲計算、物聯網、3D技術以及電動汽車信息通信技術等信息通訊產業的發展,推動實施基於傳統製造業智能化和數據化的「工業製造4.0戰略」,將物聯網引入製造業,打造智能工廠,工廠通過CPS(網路物理系統)實現在全球互聯。2011年,韓國就提出「智慧首爾2015」計劃,目標是到2015年成為世界上最方便使用智能技術的城市,建立與市民溝通的智能行政服務,建成適應未來生活的基礎設施和成為有創造力的智慧經濟都市。2013年6月,日本安倍內閣公布《面向2020年的ICT綜合戰略》,全面闡述2013-2020年期間以發展開放公共數據和大數據為核心的日本新IT國家戰略,提出要把日本建設成為一個具有「世界最高水準的廣泛運用信息產業技術的社會」的目標。
價值性。2012年4月,英國經濟與商業研究中心的一份研究報告預計了2012-2017年大數據產生的經濟利益:2011年英國私企和公共部門企業的數據資產價值為251億英鎊,2017年將達到407億英鎊。大數據增加的創新與就業機會,將貢獻價值240億英鎊,同時為小企業創造預計價值為420億英鎊的發展前景。該報告還預測大數據將創造新業務市場,即創造58000個就業機會。大數據可以更有效地改進客戶需求分析,預計此項優化將產生738億英鎊的效益。大數據可以優化產品存量和資源分配,大大降低成本,預計產生460億英鎊的效益。同時,政府部門通過大數據可對醫療保健系統進行防欺詐檢測和分析,預計節省不必要的支出達20億英鎊。顯然,如果有意識地在更大的合理范圍內開放大數據,大數據將帶來更多的價值增殖。
應用性。2012年9月,IBM公司啟動在加拿大安大略省巴里市興建智能數據中心,即IBM加拿大領導數據中心,旨在推進節能化數據中心管理方面的研究和為企業提供能使其連續性經營的服務以及災備數據服務。為響應公民對數據的需求,加拿大逐步開放地理空間數據,並將大數據研究列為政府科研基金重點資助對象。2013年8月,英國政府發布的《英國農業技術戰略》指出,英國今後對農業技術的投資將集中在大數據上,目標是將英國的農業科技商業化。
保障性。2012年5月,美國政府宣布投資2億美元提高大數據技術(包括數據的儲存、分析、收集),以加快科學研究、加強國家安全、改革教學和培訓體系以及促進專業人才發展。2013年1月,英國商業、創新和技能部宣布注資6億英鎊發展8類高新技術,其中,1.89億英鎊用來發展大數據技術。「歐盟開放數據戰略」將重點加強在數據處理技術、數據門戶網站和科研數據基礎設施三方面的投入,旨在歐洲企業與市民能自由獲取歐盟公共管理部門的所有信息,建立一個匯集不同成員國以及歐洲機構數據的「泛歐門戶」。
中國實施大數據戰略的行動支點
為了應對大數據戰略帶來的機遇和挑戰,借鑒歐美發達國家大數據戰略實施的先進經驗,我國需要在如下幾個方面下功夫:
完善制度。完善知識產權保護體系,促進數據共享和整合,推動數據價值創造。加快制定相關標准和指南,制定大數據發展戰略。出台法律,為涉及企業運營數據、客戶信息、個人隱私和各種行為的詳細記錄數據提供法律保障。完善信息資源市場,界定信息產權,明確信息的所有權、使用權和收益權的規定,發揮市場在信息資源方面的優化配置作用。
構築平台。成立大數據管理局,建立信息資源共享平台,開放政府信息資源。以部門業務信息為基礎,從標准、流程、數據三個方面進行設計,建設「物理分散、邏輯集中」的公共數據中心,通過數據集中挖掘,提高數據利用率,提高各級政府行政管理效率和公共服務水平。
突破技術。在明確大數據關鍵技術的基礎上,確定重點支持領域,加大研發支持力度,整合雲計算、物聯網等專項項目,支持大數據技術的開發、研究和應用示範,引導企業加大大數據研發力度,實現關鍵技術突破,特別需要優先支持大數據技術在輿情研判、疾病防治、災害控制、交通安全、城市管理、公共服務、社會治理等民生領域的應用。在公共服務和公用事業管理中采購大數據技術,以政府采購引導國內大數據發展。
培養人才。加大高水平大數據人才的引進和培養力度,重點培育數據挖掘、機器學習等方面的專業人才。制定激勵措施對企業管理者進行數據分析技術培訓,提高大型企業管理人員的數據分析能力。同時,在大學相應階段有針對性地增加相關大數據技術與分析課程,增加學生在感知技術、數據倉庫、數據搜索、數據挖掘與可視化等領域的知識積累,擴大人才儲備規模。
提供保障。設立大數據研發基金,加大大數據平台建設的投入力度,加強智慧企業、智慧醫院、智慧政府、智慧城市建設。設立獎懲制度,強化大數據國家安全建設。建立預算制度,控制各部門經費流向,推動數據共享,防止「信息孤島」現象的出現。
Ⅲ 什麼是大數據,大數據時代有哪些趨勢
行業主要上市公司:易華錄(300212)、美亞柏科(300188)、海量數據(603138)、同有科技(300302)、海康威視(002415)、依米康(300249)、常山北明(000158)、思特奇(300608)、科創信息(300730)、神州泰岳(300002)、藍色游標(300058)等
本文核心數據:大數據產業鏈、產業規模、應用市場結構、競爭格局、發展前景預測等
產業概況
1、定義:大數據產業覆蓋范圍廣
根據中國信通院發布的《大數據白皮書》,大數據產業是以數據及數據所蘊含的信息價值為核心生產要素,通過數據技術、數據產品、數據服務等形式,使數據與信息價值在各行業經濟活動中得到充分釋放的賦能型產業。不同機構對大數據的定義也有所不同,具體如下:
2、產業鏈剖析:大數據產業鏈龐大
大數據產業鏈覆蓋范圍廣,上游是基礎支撐層,主要包括網路設備、計算機設備、存儲設備等硬體供應,此外,相關雲計算資源管理平台、大數據平台建設也屬於產業鏈上游;
大數據產業中游立足海量數據資源,圍繞各類應用和市場需求,提供輔助性的服務,包括數據交易、數據資產管理、數據採集、數據加工分析、數據安全,以及基於數據的IT運維等;
大數據產業下游則是大數據應用市場,隨著我國大數據研究技術水平的不斷提升,目前,我國大數據已廣泛應用於政務、工業、金融、交通、電信和空間地理等行業。
大數據產業上游基礎設施具體包括IT設備、電源設備、基礎運營商及其他設備,相關代表企業華為、中興通訊、艾默生、三大運營商等。
中游大數據領域可以細分為數據中心、大數據分析、大數據交易與大數據安全等子行業,相關代表企業包括寶信軟體、數據港、久其軟體、拓爾思、上海數據交易中心、貴陽大數據交易所與華雲數據等。
在下游應用市場,我國大數據應用范圍正在快速向各行各業延伸,除發展較早的政務大數據、交通大數據外,在工業、金融、健康醫療等眾多領域大數據應用均初見成效。
產業發展歷程:十年來大數據產業高速增長,信息智能化程度得到顯著提升
我國大數據產業布局相對較早,2011年,工信部就把信息處理技術作為四項關鍵技術創新工程之一,為大數據產業發展奠定了一定的政策基礎。自2014年起,「大數據」首次被寫進我國政府工作報告,大數據產業上升至國家戰略層面,此後,國家大數據綜合試驗區逐漸建立起來,相關政策與標准體系不斷被完善,到2020年,我國大數據解決方案已經發展成熟,信息社會智能化程度得到顯著提升。
產業政策背景:優化升級數字基礎設施,鼓勵大數據產業發展
2014年,大數據首次寫入政府工作報告,大數據逐漸成為各級政府關注的熱點,政府數據開放共享、數據流通與交易、利用大數據保障和改善民生等概念深入人心。此後國家相關部門出台了一系列政策,鼓勵大數據產業發展。
當前,隨著5G、雲計算、人工智慧等新一代信息技術快速發展,信息技術與傳統產業加速融合,數字經濟蓬勃發展,數據中心作為各個行業信息系統運行的物理載體,已成為經濟社會運行不可或缺的關鍵基礎設施,在數字經濟發展中扮演至關重要的角色。數據中心作為大數據產業重要的基礎設施,其快速發展極大程度地推動了大數據產業的進步。在2021年3月發布的「十四五」規劃中,大數據標准體系的完善成為發展重點。
產業發展現狀
1、行業整體情況:大數據產業規模維持高速增長 主要應用於金融和政府領域
——大數據產業規模:2021年超過800億元
近年來我國大數據行業取得快速發展,賽迪CCID統計,我國大數據市場規模由2019年的619.7億元增長至2021年的863.1億元,復合年增長率達到18.0%,大數據市場規模包含了大數據相關硬體、軟體、服務市場收入。
——大數據市場結構:產業整體以大數據服務為主,應用領域以金融和政府領域為主
從產業結構來看,目前,我國的大數據產業進入高質量發展階段,大數據軟體和大數據服務的需求開始不斷提升,大數據硬體佔比有所下降但仍占據主導地位,
CCID統計,2021年我國大數據市場結構中,大數據硬體、大數據軟體和大數據服務的市場佔比分別為40.5%、25.7%和33.8%。近幾年大數據硬體的佔比在逐漸下降,大數據軟體和大數據服務的佔比在逐步提高。未來我國大數據軟體和服務市場相比硬體市場將呈現更好的發展態勢。
從應用領域來看,大數據分析產品及服務已經從最早的為電信領域客戶提供經營分析、為銀行領域客戶提供風控管理等輔助性經營決策,發展到目前的為金融、電信、政府、互聯網、工業、健康醫療、電力等多個行業領域客戶提供預測性分析、自主與持續性分析等,以實現企業決策與行動最優化。大數據分析產品及服務應用已經十分廣泛,但由於各下游領域業務特點的不同,決定了其對大數據分析產品及服務的具體需求存在一定差異。
CCID統計,2021年我國大數據分析市場下遊行業中,金融、政府、電信和互聯網位居應用領域前四名,市場佔比分別為19.1%、16.5%、15.2%和13.9%,合計超過60%;其他重點應用領域主要包括健康醫療、交通運輸、工業、電力等。
2、細分市場一:金融大數據
——金融大數據需求:金融業務規模不斷擴大,帶動大數據需求提升
從金融領域需求來看,近年來,中國金融領域業務規模不斷擴大,其中中國銀行業金融機構不斷積極擁抱金融科技,推動數字化轉型,整體行業規模擴大;保險業和證券業的收入也隨著市場經濟的發展而提升。
近年來,隨著新一代信息技術加速突破應用,以移動金融、互聯網金融、智能金融等為代表的金融新業態、新應用、新模式正蓬勃興起,我國金融業開始步入一個與信息社會和數字經濟相對應的數字化新時代,金融數字化轉型成為金融行業轉型發展的焦點。2019年,人民銀行印發《金融科技發展規劃(2019-2021年)》,構建起金融科技「四梁八柱」的頂層設計,明確了金融科技發展方向和任務、路徑和邊界。2022年1月,人民銀行再次發布《金融科技發展規劃(2022-2025年)》明確提出,從戰略、組織、管理、目標、路徑以及考評等方面將金融數字化打造成金融機構的「第二發展曲線」。隨著金融業務規模不斷擴大,加之新一代信息技術的發展,大數據在金融領域的需求將不斷提升。
——金融大數據應用場景
過去幾年,金融大數據帶來了重大的技術創新,為行業提供了便捷、個性化和安全的解決方案。目前,中國金融大數據典型的應用場景包括股票洞察、欺詐檢測和預防、風險分析與金融服務領域。
3、細分市場二:政府大數據
——政府大數據需求:互聯網政務服務用戶規模不斷提升
從政府領域需求來看,根據中國互聯網路信息中心(CNNIC)發布的第49次《中國互聯網路發展狀況統計報告》數據顯示,互聯網政務服務發展展現出了巨大潛能。截至2021年12月,我國互聯網政務服務用戶規模達9.21億,較2020年12月增長9.2%,占網民整體的89.2%。「十四五」規劃綱要提出要「推進網路強國建設,加快建設數字經濟、數字社會、數字政府,以數字化轉型整體驅動生產方式、生活方式和治理方式變革」。2021年,我國各省市積極探索、持續推進互聯網政務服務建設發展,努力提升公共服務、社會治理等數字化、智能化水平。截至2021年11月,全國已有20多個省(區、市)相繼出台數字政府建設的有關規劃,為我國互聯網政務服務發展注入新的活力。
——政府大數據應用場景
中國政府大數據主要應用於信息共享、政務數據管理、城市網路管理與社會管理幾大領域。加強電子政務建設,管理好政府的數據資產,完善政府決策流程,將是未來數年大數據在公共管理領域發展的重要方向。大數據將對政府部門的精細化管理和科學決策發揮重要作用,從而提高政府的服務水平。輿情監測、交通安防、醫療服務等將是公共管理領域重點應用領域。
4、細分市場三:互聯網大數據
——互聯網大數據需求:互聯網行業規模不斷提升
在人工智慧、雲計算、大數據等信息技術和資本力量的助推和國家各項政策的扶持下,2021年,互聯網和相關服務業發展態勢平穩向好。企業業務收入和營業利潤保持較快增長;互聯網平台服務和數據業務實現快速發展,信息服務收入較快增長;多省份保持增長態勢。2021年我國規模以上互聯網和相關服務企業完成業務收入15500億元,同比增長21.2%。
2022年上半年,我國規模以上互聯網和相關服務企業完成互聯網業務收入7170億元,同比增長0.1%。
註:2021年及以前年份,規模以上互聯網和相關服務企業,指獲得《增值電信業務經營許可證》在中國大陸境內經營全國或區域性增值電信業務、上年度互聯網業務收入500萬元及以上的企業。2022年,規模以上互聯網和相關服務企業口徑由互聯網和相關服務收入500萬元以上調整為2000萬元及以上。
——互聯網大數據應用場景
在互聯網行業,除了社交、B2C業務之外,像在線音視頻業務、廣告監測、精準營銷等等,也是未來潛在應用場景。
產業競爭格局
1、區域競爭:中國大數據企業主要分布在華南和華東沿海地區
根據企查貓數據,截止2022年9月23日,全國大數據產業中「存續」及「在業」的企業多集中分布在華南和華東沿海地區。其中,廣東省的大數據企業最多。
2、企業競爭:技術領域創新和經驗是關鍵,融合應用領域行業龍頭更能獲得青睞
根據大數據產業聯盟調研和發布的2022大數據企業投資價值百強榜單來看,榜單共選取了10個細分領域,涉及大數據基礎軟體、數據治理與分析、數據安全、商業智能、營銷大數據5個通用領域,以及政府大數據、金融大數據、工業大數據、健康醫療大數據、空間地理信息大數據5個融合應用領域。
大數據基礎軟體、數據治理與分析、數據安全、數據可視化等,是所有細分行業應用場景的基礎支撐,體現了大數據技術價值和作用。在這些細分領域提供技術解決方案的企業中,技術創新能力較強、在各自的細分領域有較長時間技術積累的廠商是投資機構的關注重點。
政府大數據、金融大數據發展相對成熟,落地實踐案例多和品牌知名度高的企業受市場關注程度較高。工業大數據、健康醫療大數據、空間地理信息大數據等市場仍處於待爆發階段,在各自細分領域建立競爭優勢的企業容易獲得投資機構的青睞。
註:2022年大數據企業投資價值百強榜是從企業估值/市值、營收狀況、創新投入、產品競爭力、細分市場潛力、領導層能力等多個維度進行綜合評比,同時結合行業專家打分,評選出2022年度大數據領域最具投資價值的100家企業。
產業發展前景:大數據將繼續保持高速增長
大數據作為新一代信息技術的重要標志,對生產製造、流通、分配、消費活動以及經濟運行機制、社會生活方式和國家治理能力均產生重要影響。伴隨國家快速推動數字經濟、數字中國、智慧城市等發展建設,未來大數據行業對經濟社會的數字化創新驅動、融合帶動作用將進一步增強,應用范圍將得到進一步拓寬,大數據市場也將保持持續快速的增長態勢。預計2027年我國大數據市場規模將達到2930.9億元,未來六年復合年增長率為22.6%。
更多本行業研究分析詳見前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》。
Ⅳ 大數據 掌握話語權要關注基礎技術
大數據:掌握話語權要關注基礎技術
《2015年中國大數據交易白皮書》顯示,預計到2020年,中國大數據產業市場規模將是2014年規模的10倍,由2014年的767億元擴大至8228.81億元。全球大數據市場高速增長,已經成為全球IT領域中的增長亮點。在中國盡管大數據仍處於起步階段,但各地發展大數據的積極性較高,行業應用推廣迅速。在這個熱情高漲的大數據市場,中國要想進一步釋放大數據的價值,掌控大數據的技術話語權,必須關注大數據的基礎技術。
眼下,雖然中國對大數據的熱情很高,但我們必須看到目前中國在大數據關鍵技術上的布局其實是有所欠缺的。目前世界各國都在搶先布局大數據的關鍵技術、基礎技術,因為從目前的技術架構和技術基礎來看,用現成的技術來解決大數據的問題還面臨諸多的挑戰。不久前,IBM中國研究院院長沈曉衛接受《中國電子報》記者采訪時坦言,我們要想真正從數據中獲得洞察、獲得價值,需要更高效、更智能的數據處理和分析平台,以及相應的工具。其一,傳統的IT技術,需要有更大的突破。比如物聯網處理系統需要一秒鍾處理上百萬信息,比如對非結構化的數據進行存儲和處理,需要新的技術。其二,需要引入物理模型來模擬物理世界。比如對天氣的理解,比如對疾病的風險控制的理解,比如對智能工廠的理解,都需要構建大量的物理模型,並挑出更合適的模型,對物理世界作出更好的模擬和理解。其三,需要更強大的認知計算,要求認知計算有更強大的自然語言的能力、更強的機器學習能力等。
基於對市場需求和技術趨勢的判斷,事實上國外IT巨頭在大數據的關鍵技術上投入了大量人力、物力和財力來進行關於大數據關鍵技術的研發。我們大家都知道現在談及大數據的利用,一定都會提及開源的Hadoop技術,事實上對於大數據的利用僅僅依靠Hadoop是不夠的。我們朝向產業互聯網推進時面臨非常多的挑戰,我們的計算架構、計算模式也面臨很大挑戰。比如傳統的計算機分析和數據整理方式,首先是收集數據,然後儲存在資料庫程序中,然後在收到請求後搜索這些數據。這是一個高效的處理方式,但卻是一個緊綳的結構,而且通常會造成時間的浪費。而在流計算當中,高級軟體的運演算法則在接收流數據時就開始對其進行分析。流計算在實時數據分析領域具有巨大的應用空間,包括天氣、江河、電力、股票交易等等。但目前,中國的IT產業在流計算方面並沒有太多的話語權。面對大數據的挑戰,有非常多類似流計算的新技術,關鍵技術都需要中國IT企業做更多的布局,只有這樣,我們的大數據發展,大數據利用才不會變成「無根」的產業。
事實上不僅僅是在平台和工具等基礎技術維度,中國要想在大數據領域擁有更大的話語權,更好地釋放數據的價值,還必須在數據模型的維度、在數據科學家等維度進行大量的投入。目前全球前1500強的企業都有自己的數據科學家。據國外職業人士社交網站LinkedIn公布的2014年最受僱主喜歡、最炙手可熱的25項技能,統計分析和數據挖掘技能位列榜首。研究機構Gartner預測,2015年,全球將新增440萬個與大數據相關的工作崗位,25%的組織將設立首席數據官職位。
不久前,阿里雲宣布啟動阿里雲大學合作計劃AUCP,聯合國內8所高校開設雲計算與數據科學專業方向,目標是到大學里培養大數據的科學家。應該說阿里巴巴是國內企業中「大數據意識」覺醒比較早的企業。對於大數據這樣的應用學科的人才培養,需要充分藉助企業的資源。在國外企業中,IBM對於全球大數據的人才培養投入了巨大資源,已與全球1000多所大學一同合作,構建一個輸送數據科學家的「通道」。
推進大數據應用需要大量的數據科學家,需要教育體系更重視大數據的人才培養,需要更多的領先企業參與進來,僅僅有阿里巴巴或者是IBM是遠遠不夠的。
以上是小編為大家分享的關於大數據 掌握話語權要關注基礎技術的相關內容,更多信息可以關注環球青藤分享更多干貨
Ⅳ 大數據的產生與發展現狀研究
摘 要:大數據的產生給未來信息技術帶來新的機遇與挑戰。大數據對數據處理的有效性、實時性提出了更高要求,需要根據大數據的特點對當前數據處理技術實施變革,從而形成更有益於大數據採集、存儲、處理、管理、分析、共享的新興技術。本文從大數據的產生與發展、特徵、主要應用以及大數據所帶來的挑戰等方面進行闡述與分析。
關鍵詞 :大數據 物聯網 信息處理 海量計算
一、大數據的產生與發展現狀
隨著物聯網、雲計算等信息技術的飛速發展,大數據技術(Big Data)也越發進入人們的視線。大數據是用傳統方法或工具很難處理或分析的數據信息。目前,人們對大數據的理解還不夠全面和深入,關於大數據的含義也沒有一個統一的定義。亞馬遜大數據科學家John Rauser認為:大數據是超過任何一台計算機處理能力的龐大數據量。Informatica 的中國區首席顧問但彬指出:大數據是海量數據與復雜類型的數據的結合。而維基網路則把大數據定義成諸多大而復雜的、難以用當前資料庫處理的數據集合。
大數據研究受到國內外學術界和工業界的廣泛關注,已成為當今信息時代全世界討論的熱點。2008年,Nature雜志就推出大數據專刊,計算社區聯盟也在同一年發表了報告《Big data computing; Creating revolutionary breakthroughs in commerce, science and society》,報告闡述了解決大數據問題所需的關鍵技術以及所面臨的挑戰。美國奧x政府於2012年3月在白宮網站發布了《大數據研究和發展倡議》,提出了通過收集、處理海量、復雜的數據信息,從而提升能力,加快科學和工程領域的創新步伐,轉變學習教育模式,強化美國本土的安全」。2011年1月,微軟公司同惠普公司合作開發了一系列能夠提升生產力,同時提高決策速度的設備。此外,歐盟委員會也提出駕駁大數據浪潮的戰略思路,日本發布的《面向 2020 的 ICT綜合戰略》也提出需要構造大量豐富的數據基礎。
近年來,我國也積極開展對大數據的研究。2011年10月,工信部確認京滬深杭等 5 城市為「雲計算中心」試點城市。2012年6月,中國計算機學會青年計算機科技論壇也舉辦了「大數據時代,智謀未來」學術報告研討會。大數據及其科學研究方法涉及應用領域很廣,並將與國計民生密切相關的科學決策、金融工程以及知識經濟領域緊緊接合。
二、大數據的特點
目前,企業界和學術界都一致認為,大數據具有4個「V」特徵,即:容量(Volume)、種類(Variety)、速度(Velocity)和至關重要的`價值(Value)。
(1) 容量(Volume)巨大。海量的數據集從TB 級別提升到PB 級別。
(2) 種類(Variety)繁多。大數據數據源有多種,數據格式和種類不同於以前所規定的結構化數據范疇。
(3)價值(Value)密度低。如視頻的例子,在不間斷連續監控的過程中,可能有意義的數據僅有一兩秒。
(4)速度(Velocity)快。包含大量實時、在線數據處理分析的需求1秒鍾定律。
三、大數據應用的領域
大數據產業的發展將推動全球經濟由粗放型向集約型轉變,這將對提升企業整體競爭力和政府監管能力具有意義深遠的影響。
商業作為大數據的重要應用領域。沃爾瑪公司通過對消費者購物行為等一系列非結構化數據的分析,了解不同顧客的購物習慣,公司從所銷售的數據進行分析,從而選出適合在一起搭配出售的商品;淘寶也針對買家開設了大數據平台,為客戶量身打造了一整套完善的網購體驗產品。
大數據在金融業也起到了至關重要的作用。美國Equifax公司利用大數據技術,通過對其的資料庫中與財務有關的記錄海量信息進行索引處理和交叉分享,從而得到客戶的個人信用等級,以推斷出客戶的支付需求與能力。
隨著大數據在醫療與生命科學研究過程中的廣泛應用和不斷擴展。2010年,中國公布的《十二五規劃》指出:要重點建設國家級、省級和地市級三級醫療衛生信息平台,建設電子病歷和電子檔案兩個最為基礎的資料庫。各級醫院也將在醫療信息倉庫、數據中心等領域加大投入,醫療數據信息的存儲將愈加被關注,醫療信息中心的關注焦點也將由傳統的計算領域轉為存儲領域。
除此之外,大數據在製造業領域也有著廣闊的應用。製造業企業積累了廣泛的數據信息,在開展對業務數據進行技術管理的同時,企業需要通過大數據處理技術來幫助決策者從資料庫儲存的海量信息中找到有價值的信息,並且對其進行分析處理,從而增強決策的正確性、規避風險。
四、大數據所面臨的挑戰
大數據技術使人們能夠更好地利用之前不能使用的各個數據類型,找出被忽略的信息,促進企業組織更加高效、智能。但隨著對大數據研究的不斷深入,人們也更加意識到當大數據技術向人們敞開「方便之門」的同時,也帶來了眾多的挑戰:
(1)大數據需要更為專業化的管理技術人才。
(2) 大數據的合理利用需要解決容量大、類別多和時效性高的數據處理問題。
(3)大數據的利用對信息安全提出了更高要求。
(4)大數據的集成與管理問題。
這些挑戰已成為關繫到未來大數據發展的重要因素,同時也成為未來引領大數據發展的推動力。
五、結束語
大數據已經逐步滲透到人們工作生活的諸多領域中,對於大數據的研究也在不斷的深化。本文針對大數據的產生與發展、特徵、主要應用以及大數據所帶來的挑戰等方面進行闡述與分析。大數據的發展還處於初級階段,還有更為廣闊的空間需要人們不斷開拓,如何合理地利用大數據、更加高效地處理大數據來為人們服務仍需要廣大研究者不斷地研究和探索。
參考文獻:
[1]劉智慧,張泉靈.大數據技術研究綜述[J].浙江大學學報,2014,46(6):957- 972.
[2]嚴霄鳳,張德馨.大數據研究[J].計算機技術與發展,2013,23(4):168-172.
[3]劉俊.基於大數據流的Multi-Agent系統模型研究[J].計算機技術與發展, 2007,17(5):166-169.
Ⅵ 調研顯示中國大數據應用與全球仍有差距
調研顯示中國大數據應用與全球仍有差距
BM發布了全新《分析:速度的優勢》白皮書,該白皮書基於IBM對60全球多個國家中超過1000位業務和IT高管的深度調研,對當前大數據[注]在中國及全球企業應用的現狀進行了全面分析。該白皮書指出目前影響快速發展的數字市場的四個重大變化趨勢,並基於企業的數據分析能力將他們分為領跑者、慢跑者、參與者和旁觀者四個組別。同時,白皮書就企業在分析生命周期的三個關鍵階段提出了快速將數據轉變為洞察並驅動行動的建議,幫助企業在競爭中保持領先優勢。作為全球發展最快的大數據市場,在此次調研中,雖然超過四分之三的大中華區企業在一年內實現了大數據的投資回報,顯示了高於全球的投資信心,但是更多的中國企業更注重利用大數據分析來贏得新客戶而不是創造更好的客戶體驗,同時,中國企業普遍在利用大數據推動數字和流程整合轉型方面落後於全球整體水平。
IBM 大中華區全球企業咨詢服務部高級合夥人兼副總裁Steven Davidson 表示:「隨著大數據應用的不斷深入,新的發展與變化已經產生。通過此次《分析:速度的優勢》白皮書的發布,我們可以看到,速度優勢對企業在競爭取勝至關重要。一部分企業正通過速度驅動的數據和分析實現差異化發展,對業務績效和競爭地位產生了顯著的影響。這一趨勢對於全球企業高管,尤其是那些致力於利用創新技術推動自身發展的中國企業的領導尤為重要。IBM一直致力於與中國企業緊密合作,分享自身豐富的大數據分析洞察與資源,共同攜手推動業務的創新與增長。」
四大變化引領全球大數據應用發展
作為IBM第六次全球數據分析調研,此次調研對象包括60多個國家中超過1,000位業務和IT高管,其中也包括大中華區企業。IBM 2014年全球分析調研揭示了影響快速發展的數字市場的四個重大變化:
變化1:絕大多數企業目前在一年內實現了大數據投資的回報。
變化2:以客戶為中心仍是分析活動的主要目的,但企業越來越多地將注意力集中於利用大數據應對運營挑戰。
變化3:通過將數字化能力集成到業務流程中實現企業轉型。
變化4:大數據的價值推動力從數量轉變為速度。
領跑者數據分析驅動實踐,速度成關鍵
該白皮書指出要跟上當前的發展速度,企業需要全面地採用分析技術。基於企業現階段分析能力,白皮書將企業分為四個組別:領跑者、慢跑者、參與者和旁觀者。佔10%的領跑者最有能力滿足速度需求,並創造了巨大的商業價值。超過一半的領跑者都表示分析對業務表現和收入產生了顯著影響並且使他們獲得了顯著的競爭優勢。但大中華區在分析對業務、收入和競爭力方面產生影響的表現仍與全球領跑者存在著較大差距。為了創造業務價值,中國企業需要仿效領跑者,並且加快速度管理數據和分析,並依據數據洞察採取行動。
通過大數據分析構建速度驅動型企業
此次研究還表明,將原始數據的數量和多樣性轉變為洞察驅動的行動的速度是企業從數據和分析中創造價值的關鍵。支持這一速度的力量是使用大數據技術。在企業內加快分析速度不能一蹴而就,企業必須在分析生命周期的每個關鍵階段保持領先:獲取、分析和行動。
在獲取階段,快速獲取和整合數據的能力對於創造速度優勢非常關鍵。企業在尋找和管理數據時必須能夠保證數據使用方式和時間的靈活性和敏捷性。企業需要推出支持數據多樣化的解決方案,讓數據為企業提供動力。
在分析階段,追求行動速度的企業需要集中精力分析數據,並確定最有可能對業務產生積極影響的洞察。
在行動階段,企業提高當前所需的快速行動能力的最後一步是真正地採取行動,並且快速處理數據。企業需要通過數字與流程的整合提升端到端的速度,使分析數據可供員工和高管使用,從而做到洞察交付和洞察需求相互匹配。
IBM推動中國企業大數據應用的快速發展
作為全球大數據技術與應用的領導者之一,IBM一直努力與廣大中國企業、組織保持緊密的合作關系,並通過自身豐富的全球實踐幫助眾多企業成功應用大數據分析技術,實現了業務的創新與發展。
在汽車工業領域,IBM幫助上汽集團成功打造中國汽車市場首個O2O[注]電子商務平台——車享網。該平台將基於線上客戶數據,有效判斷客戶潛在需求(+微信關注網路世界),提高運營分析效率,為客戶提供及時的、個性化的服務與信息。通過全面的客戶洞察做到精細化營銷,車享網平台將大幅提升會員管理水平。通過數據分析提升汽車消費者全生命周期服務能力,真正做到高品質的客戶體驗。
在金融領域,去年,IBM幫助中國銀行天津分行打造智能化網點,通過整合中國銀行的後台數據分析平台,利用大數據分析技術,分析用戶的業務偏好,為驗證銷售具體產品市場策略的有效性能提供重要的數據依據。
在快消領域,IBM與蒙牛集團於去年底達成戰略合作。藉助IBM強大的社交大數據分析與商務智能等解決方案,蒙牛將構建有效的大數據分析能力,發現新的客戶洞察,並以此作為企業決策與業務流程優化的依據。
在零售領域,今年初IBM在幫助國內休閑食品領先企業良品鋪子打造全渠道信息化應用平台的過程中,通過大數據分析,幫助企業將顧客有效地分群,從而實現精準營銷和差異化服務。
在新互聯網時代下,隨著大數據、雲計算[注]、社交及移動趨勢的快速崛起,IBM正在構建自身全新的服務能力。在大數據應用領域,IBM一直引領著創新和發展,並不斷融合自身在各行業與全球化發展中的經驗,不斷幫助中國客戶緊抓新時代下的發展機遇,以穩健的步伐成長為全球企業的領導者。
以上是小編為大家分享的關於調研顯示中國大數據應用與全球仍有差距的相關內容,更多信息可以關注環球青藤分享更多干貨
Ⅶ 大數據時代發展歷程是什麼
可按照時間點劃分大數據的發展歷程。
Ⅷ 美國大數據第三輪行動中解決什麼問題
美國大數據第三輪行動中解決大數據發展問題。2012年白宮科技政策辦公室發布《大數據研究發展倡議》,以提升從海量和復雜數據中獲取知識、挖掘價值的能力,進而推動科學與工程領域創新步伐加速。第二步調整政策框架與法律規章,積極應對大數據發展帶來的隱私保護等問題。2014年美國發布《大數據:把握機遇,守護價值》白皮書,再次重申要把握大數據可為經濟社會發展帶來創新動力的重大機遇,同時也要高度警惕大數據應用所帶來的隱私、公平等問題,以積極、務實的態度深刻剖析可能面臨的治理挑戰。
Ⅸ 大數據的預測功能是增值服務的核心
大數據的預測功能是增值服務的核心
從走在大數據發展前沿的互聯網新興行業,到與人類生活息息相關的醫療保健、電力、通信等傳統行業,大數據浪潮無時無刻不在改變著人們的生產和生活方式。大數據時代的到來,給國內外各行各業帶來諸多的變革動力和巨大價值。
最新發布的報告稱,全球大數據市場規模將在未來五年內迎來高達26%的年復合增長率——從今年的148.7億美元增長到2018年的463.4億美元。全球各大公司、企業和研究機構對大數據商業模式進行了廣泛地探索和嘗試,雖然仍舊有許多模式尚不明朗,但是也逐漸形成了一些成熟的商業模式。
兩種存儲模式為主
互聯網上的每一個網頁、每一張圖片、每一封郵件,通信行業每一條短消息、每一通電話,電力行業每一戶用電數據等等,這些足跡都以「數據」的形式被記錄下來,並以幾何量級的速度增長。這就是大數據時代帶給我們最直觀的沖擊。
正因為數據量之大,數據多為非結構化,現有的諸多存儲介質和系統極大地限制著大數據的挖掘和發展。為更好地解決大數據存儲問題,國內外各大企業和研究機構做了許許多多的嘗試和努力,並不斷摸索其商業化前景,目前形成了如下兩種比較成熟的商業模式:
可擴展的存儲解決方案。該存儲解決方案可幫助政府、企業對存儲的內容進行分類和確定優先順序,高效安全地存儲到適當存儲介質中。而以存儲區域網路(SAN)、統一存儲、文件整合/網路連接存儲(NAS)的傳統存儲解決方案,無法提供和擴展處理大數據所需要的靈活性。而以Intel、Oracle、華為、中興等為代表的新一代存儲解決方案提供商提供的適用於大、中小企業級的全系存儲解決方案,通過標准化IT基礎架構、自動化流程和高擴展性,來滿足大數據多種應用需求。
雲存儲。雲存儲是一個以數據存儲和管理為核心的雲計算系統,其結構模型一般由存儲層、基礎管理、應用介面和訪問層四層組成。通過易於使用的API,方便用戶將各種數據放到雲存儲裡面,然後像使用水電一樣按用量進行收費。用戶不用關心數據的存儲介質、網路狀況以及安全性的管理,只需按需向提供方購買空間。
源數據價值水漲船高
在紅紅火火的大數據時代,隨著數據的累積,數據本身的價值也在不斷升值,這種情況很好地反應了事物由量變到質變的規律。例如有一種罕見的疾病,得病率為十萬分之一,如果從小樣本數據來看非常罕見,但是擴大到全世界70億人,那麼數量就非常龐大。以前技術落後,不能將該病情數字化集中研究,所以很難攻克。但是,我們現在把各種各樣的數據案例搜集起來統一分析,我們很快就能攻克很多以前想像不到的科學難題。類似的例子,不勝枚舉。
正是由於可以通過大數據挖掘到很多看不見的價值,源數據本身的價值也水漲船高。一些掌握海量有效數據的公司和企業找到了一條行之有效的商業路徑:對源數據直接或者經過簡單封裝銷售。在互聯網領域,以Facebook、twitter、微博為代表的社交網站擁有大量的用戶和用戶關系數據,這些網站正嘗試以各種方式對該源數據進行商業化銷售,Google、Yahoo!、網路[微博]等搜索公司擁有大量的搜索軌跡數據以及網頁數據,他們可以通過簡單API提供給第三方並從中盈利;在傳統行業中,中國聯通[微博](3.44, 0.03, 0.88%)、中國電信[微博]等運營商擁有大量的底層用戶資料,可以通過簡單地去隱私化,然後進行銷售盈利。
各大公司或者企業通過提供海量數據服務來支撐公司發展,同時以免費的服務補償用戶,這種成熟的商業模式經受住了時間的考驗。但是對於任何用戶數據的買賣,還需處理好用戶隱私信息,通過去隱私化方式,來保護好用戶隱私。
預測是增值服務的核心
在大數據基礎上進行深度挖掘,所衍生出來的增值服務,是大數據領域最具想像空間的商業模式。大數據增值服務的核心是什麼?預測!大數據引發了商業分析模式轉變,從過去的樣本模式到現在的全數據模式,從過去的小概率到現在的大概率,從而能夠得到比以前更准確的預測。目前形成了如下幾種比較成熟的商業模式。
個性化的精準營銷。一提起「垃圾簡訊」,大家都很厭煩,這是因為本來在營銷方看來是有價值的、「對」的信息,發到了「錯」的用戶手裡。通過對用戶的大量的行為數據進行詳細分析,深度挖掘之後,能夠實現給「對」的用戶發送「對」的信息。比如大型商場可以對會員的購買記錄進行深度分析,發掘用戶和品牌之間的關聯。然後,當某個品牌的忠實用戶收到該品牌打折促銷的簡訊之後,一定不是厭煩,而是欣喜。如優捷信達、中科嘉速等擁有強大數據處理技術的公司在數據挖掘、精準廣告分析等方面擁有豐富的經驗。
企業經營的決策指導。針對大量的用戶數據,運用成熟的數據挖掘技術,分析得到企業運營的各種趨勢,從而給企業的決策提供強有力的指導。例如,汽車銷售公司,可以通過對網路上用戶的大量評論進行分析,得到用戶最關心和最不滿意的功能,然後對自己的下一代產品進行有針對性的改進,以提升消費者的滿意度。
總體來說,從宏觀層面來看,大數據是我們未來社會的新能源;從企業微觀層面來看,大數據分析和運用能力正成為企業的核心競爭力。深入研究和積極探索大數據的商業模式,對企業的未來發展有至關重要的意義。