㈠ 當下大數據發展的 8 個要點
作者 | 章劍鋒
筆者從 2008 年開始工作到現在也有 11 個年頭了,一路走來都在和數據打交道,做過大數據底層框架內核的開發(Hadoop,Pig,Tez,Spark,Livy),也做過上層大數據應用開發(寫 MapRece Job 做 ETL ,用 Hive 做 Ad hocquery,用 Tableau 做數據可視化,用 R 做數據分析)。今天我想藉此機會和大家聊聊我所理解的大數據現狀和未來。
首先讓我們來聊聊什麼是大數據。大數據這個概念已經出來很多年了(超過10年),但一直沒有一個准確的定義(也許也並不需要)。數據工程師(DataEngineer)對大數據的理解會更多從技術和系統的角度去理解,而數據分析人員(Data Analyst)對大數據理解會從產品的角度去理解,所以數據工程師(Data Engineer) 和數據分析人員(Data Analyst)所理解的大數據肯定是有差異的。我所理解的大數據是這樣的,大數據不是單一的一種技術或者產品,它是所有與數據相關的綜合學科。看大數據我會從 2 個維度來看,一個是數據流的維度(下圖的水平軸),另外一個是技術棧的維度(下圖的縱軸)。
其實我一直不太喜歡張口閉口講「大數據」,我更喜歡說「數據」。因為大數據的本質在於「數據」,而不是「大」。由於媒體一直重點宣揚大數據的「大」,所以有時候我們往往會忽然大數據的本質在「數據」,而不是「大」,「大」只是你看到的表相,本質還是數據自身。
在我們講清楚大數據的含義之後,我們來聊聊大數據目前到底處在一個什麼樣的位置。從歷史發展的角度來看,每一項新技術都會經歷下面這樣一個技術成熟度曲線。
當一項新技術剛出來的時候人們會非常樂觀,常常以為這項技術會給人類帶來巨大的變革,對此持有過高的期望,所以這項技術一開始會以非常快的速度受到大家追捧,然後到達一個頂峰,之後人們開始認識到這項新技術並沒有當初預想的那麼具有革命性,然後會過於悲觀,之後就會經歷泡沫階段。等沉寂一定階段之後,人們開始回歸理性,正視這項技術的價值,然後開始正確的應用這項技術,從此這項技術開始走向穩步向前發展的道路。(題外話,筆者在看這幅圖的時候也聯想到了一個男人對婚姻看法的曲線圖,大家自己腦補)。
1、從大數據的歷史來看,大數據已經經歷了 2 個重要階段
兩個重要階段是指過高期望的峰值和泡沫化的底谷期 。現在正處於穩步向前發展的階段。我們可以從 googletrend 上 big data 的曲線就能印證。大數據大約從 2009 年開始走向人們的視野,在 2015 年左右走向了頂峰,然後慢慢走向下降通道(當然這張曲線並不會和上面這張技術成熟度曲線完全擬合,比如技術曲線處在下降通道有可能會使討論這項技術的搜索量增加)。
接下來我想講一下我對大數據領域未來趨勢的幾個判斷。
2、數據規模會繼續擴大,大數據將繼續發揚光
前面已經提到過,大數據已經度過了過高期望的峰值和泡沫化的底谷期,現在正在穩步向前發展。做這樣判斷主要有以下 2 個原因:
上游數據規模會繼續增長,特別是由於 IOT 技術的發展和成熟,以及未來 5G 技術的鋪開。在可預測的未來,數據規模仍將繼續快速增長,這是能夠帶動大數據持續穩定向前發展的基本動力。 下游數據產業還有很多發展的空間,還有很多數據的價值我們沒有挖掘出來。雖然現在人工智慧,區塊鏈搶去了大數據的風口位置,也許大數據成不了未來的主角,但大數據也絕對不是跑龍套的,大數據仍將扮演一個重要而基礎的角色。可以這么說,只要有數據在,大數據就永遠不會過時。我想在大部分人的有生之年,我們都會見證大數據的持續向上發展。
3、數據的實時性需求將更加突出
之前大數據遇到的最大挑戰在於數據規模大(所以大家會稱之為「大數據」),經過工業界多年的努力和實踐,規模大這個問題基本已經解決了。接下來幾年,更大的挑戰在於速度,也就是實時性。而大數據的實時性並不是指簡單的傳輸數據或者處理數據的實時性,而是從端到端的實時,任何一個步驟速度慢了,就影響整個大數據系統的實時性。所以大數據的實時性,包括以下幾個方面:
快速獲取和傳輸數據 快速計算處理數據 實時可視化數據 在線機器學習,實時更新機器學習模型目前以 Kafka,Flink 為代表的流處理計算引擎已經為實時計算提供了堅實的底層技術支持,相信未來在實時可視化數據以及在線機器學習方面會有更多優秀的產品涌現出來。當大數據的實時性增強之後,在數據消費端會產生更多有價值的數據,從而形成一個更高效的數據閉環,促進整個數據流的良性發展。
4、大數據基礎設施往雲上遷移勢不可擋
目前IT基礎設施往雲上遷移不再是一個大家還需要爭論的問題,這是大勢所趨。當然我這邊說的雲並不單單指公有雲,也包括私有雲,混合雲。因為由於每個企業的業務屬性不同,對數據安全性的要求不同,不可能把所有的大數據設施都部署在公有雲上,但向雲上遷移這是一個未來註定的選擇。目前各大雲廠商都提供了各種各樣的大數據產品以滿足各種用戶需求,包括平台型(PAAS) 的 EMR ,服務型 (SAAS) 的數據可視化產品等等。大數據基礎設施的雲化對大數據技術和產品產生也有相應的影響。大數據領域的框架和產品將更加 Cloud Native 。
計算和存儲的分離。我們知道每個公有雲都有自己對應的分布式存儲,比如 AWS 的 S3 。 S3 在一些場合可以替換我們所熟知的 HDFS ,而且成本更低。而 S3 的物理存儲並不是在 EC2 上面,對 EC2 來說, S3 是 remote storage 。所以如果你要是 AWS 上面做大數據開發和應用,而且你的數據是在 S3 上,那麼你就自然而然用到了計算和存儲的分離。 擁抱容器,與 Kubernate 的整合大勢所趨,我們知道在雲環境中 Kuberneate 基本上已經是容器資源調度的標准。 更具有彈性(Elastic)。 與雲上其他產品和服務整合更加緊密。5、大數據產品全鏈路化
全鏈路化是指提供端到端的全鏈路解決方案,而不是簡單的堆積一些大數據產品組件。以 Hadoop 為代表的大數據產品一直被人詬病的主要問題就是用戶使用門檻過高,二次開發成本太高。全鏈路化就是為了解決這一問題,用戶需要的並不是 Hadoop,Spark,Flink 等這些技術,而是要以這些技術為基礎的能解決業務問題的產品。 Cloudera 的從 Edge 到 AI 是我比較認同的方案。大數據的價值並不是數據本身,而是數據背後所隱藏的對業務有影響的信息和知識。下面是一張摘自 wikipedia 的經典數據金字塔的圖。
大數據技術就是對最原始的數據進行不斷處理加工提煉,金字塔每上去一層,對應的數據量會越小,同時對業務的影響價值會更大更快。而要從數據(Data) 最終提煉出智慧(Wisdom),數據要經過一條很長的數據流鏈路,沒有一套完整的系統保證整條鏈路的高效運轉是很難保證最終從數據中提煉出來有價值的東西的,所以大數據未來產品全鏈路化是另外一個大的趨勢。
6、大數據技術往下游數據消費和應用端轉移
上面講到了大數據的全鏈路發展趨勢,那麼這條長長的數據鏈路目前的狀況是如何,未來又會有什麼樣的趨勢呢?
我的判斷是未來大數據技術的創新和發力會更多的轉移到下游數據消費和應用端。之前十多年大數據的發展主要集中在底層的框架,比如最開始引領大數據風潮的 Hadoop ,後來的計算引擎佼佼者 Spark,Flink 以及消息中間件 Kafka ,資源調度器 Kubernetes 等等,每個細分領域都涌現出了一系列優秀的產品。總的來說,在底層技術框架這塊,大數據領域已經基本打好了基礎,接下來要做的是如何利用這些技術為企業提供最佳用戶體驗的產品,以解決用戶的實際業務問題,或者說未來大數據的側重點將從底層走向上層。之前的大數據創新更偏向於 IAAS 和 PAAS ,未來你將看到更多 SAAS 類型的大數據產品和創新。從近期一些國外廠商的收購案例,我們可以略微看出一些端倪。1、2019 年 6 月 7 日,谷歌宣布以 26 億美元收購了數據分析公司 Looker,並將該公司並入 Google Cloud。2、2019 年 6 月 10 日,Salesforce 宣布以 157 億美元的全股票交易收購 Tableau ,旨在夯實在數據可視化以及幫助企業解讀所使用和所積累的海量數據的其他工具方面的工作。3、2019 年 9 月初,Cloudera 宣布收購 Arcadia Data 。 Arcadia Data 是一家雲原生 AI 驅動的商業智能實時分析廠商。面對最終用戶的大數據產品將是未來大數據競爭的重點,我相信會未來大數據領域的創新也將來源於此,未來 5 年內大概率至少還會再出一個類似 Looker 這樣的公司,但是很難再出一個類似 Spark 的計算引擎。
7、底層技術的集中化和上層應用的全面開花
學習過大數據的人都會感嘆大數據領域的東西真是多,特別是底層技術,感覺學都學不來。經過多年的廝殺和競爭,很多優秀的產品已經脫穎而出,也有很多產品慢慢走向消亡。比如批處理領域的 Spark 引擎基本上已經成為批處理領域的佼佼者,傳統的 MapRece 除了一些舊有的系統,基本不太可能會開發新的 MapRece 應用。 Flink 也基本上成為低延遲流處理領域的不二選擇,原有的 Storm 系統也開始慢慢退出歷史舞台。同樣 Kafka 也在消息中間件領域基本上占據了壟斷地位。未來的底層大數據生態圈中將不再有那麼多的新的技術和框架,每個細分領域都將優勝劣汰,走向成熟,更加集中化。未來更大的創新將更多來來自上層應用或者全鏈路的整合方面。在大數據的上層應用方面未來將會迎來有更多的創新和發展,比如基於大數據上的BI產品, AI 產品等等,某個垂直領域的大數據應用等等,我相信未來我們會看到更多這方面的創新和發展。
8、開源閉源並駕齊驅
大數據領域並不是只有 Hadoop,Spark,Flink 等這類大家耳熟能詳的開源產品,還有很多優秀的閉源產品,比如 AWS 上的 Redshift ,阿里的 MaxCompute 等等。這些產品雖然沒有開源產品那麼受開發者歡迎,但是他們對於很多非互聯網企業來說是非常受歡迎的。因為對於一個企業來說,採用哪種大數據產品有很多因素需要考慮,否開源並不是唯一標准。產品是否穩定,是否有商業公司支持,是否足夠安全,是否能和現有系統整合等等往往是某些企業更需要考慮的東西,而閉源產品往往在這類企業級產品特性上具有優勢。
最近幾年開源產品受公有雲的影響非常大,公有雲可以無償享受開源的成果,搶走了開源產品背後的商業公司很多市場份額,所以最近很多開源產品背後的商業公司開始改變策略,有些甚至修改了 Licence 。不過我覺得公有雲廠商不會殺死那些開源產品背後的商業公司,否則就是殺雞取卵,殺死開源產品背後的商業公司,其實就是殺死開源產品的最大技術創新者,也就是殺死開源產品本身。我相信開源界和公有雲廠商最終會取得一個平衡,開源仍然會是一個主流,仍然會是創新的主力,一些優秀的閉源產品同樣也會占據一定的市場空間。
最後我想再次總結下本文的幾個要點:
1、目前大數據已經度過了最火的峰值期和泡沫化的底谷期,現在正處於穩步向前發展的階段。2、數據規模會繼續擴大,大數據將繼續發揚光大3、 數據的實時性需求將更加突出4、大數據基礎設施往雲上遷移勢不可擋5、大數據產品全鏈路化6、大數據技術往下游數據消費和應用端轉移7、底層技術的集中化和上層應用的全面開花8、開源閉源並駕齊驅
㈡ 三維家論文入選全球計算機視覺頂會ECCV,AI技術已走在學術前沿
近日,被譽為全球計算機視覺三大頂級會議之一的ECCV 2022(European Conference on Computer Vision)發布了論文錄用結果。 本屆ECCV論文錄用率不足20%, 其中,由雲工業軟體企業三維家圖靈實驗室與國內外頂尖高校合作撰寫的論文——《通過強化學習解決室內場景相機定位問題(Towards Accurate Active Camera Localization)》成功入選!
01
三維家首次入圍國際頂會 技術有望率先在家居場景落地
ECCV每兩年舉辦一次,與CVPR和ICCV並駕齊驅,被稱為國際計算機視覺領域三大會議。隨著AI人工智慧技術的發展,計算機視覺的研究和應用逐漸深入,每屆ECCV的舉行都會吸引大量來自世界各地的頂尖專家學者、研究機構及企業等投稿。
而今年ECCV 2022的總投稿數超過了8170篇,接近上一屆的兩倍,創下 歷史 新高。其中有1629篇論文中選,錄用率不足20%。
此次三維家入選的論文是與山東大學、北京大學、斯坦福大學、騰訊AI lab共同完成,論文中創造性地提出利用強化學習演算法解決室內場景相機定位的問題。研究結果表明,該方法優於當前最先進的馬爾可夫定位方法,能有效提高在模擬場景中相機定位的精準度。
三維家圖靈實驗室負責人王勝表示,此次入選對於三維家來說是一次學術上的飛躍。在應用層面,該研究可以深度運用在智能設計領域,三維家旗下3D雲設計等產品能加以應用和落地,呈現更真實、更優秀的視覺效果。
「在AI智能設計領域,三維家走到了世界學術最前沿。我們將利用這些最前沿的技術服務我們的用戶。」王勝說到。
02
四大技術實驗室 鍛造三維家科研硬實力
近年來,在加快建設 科技 強國,實現高水平 科技 自立自強的戰略方針下,越來越多的中國 科技 企業頻頻亮相國際學術頂會,讓世界看見中國前沿 科技 力量的崛起。其中,三維家正逐漸走向台前,傳遞國產自研的雲工業軟行物塵件企業的信念與堅持。
創立於2013年,三維家基於人工智慧、大數據、雲計算等技術,以一張「圖紙」貫穿家居全產業鏈,通過3D雲設計、3D雲製造、數控系統三大工業軟體矩陣,幫助家居企業、從業者實現門店營銷、模擬設計、生產製造全流程一體化,為消費者帶來「所思即所見、所見即所得」的家居消費體驗。
工業軟體是一條長期主義的道路,而技術引領需要長期的研發創新。據了解,三維家擁有數百人的技術研發團隊,每年投入上億元研發資金,並設立三大實驗室——阿凡達實驗室專注於3D渲染技術和XR新銳技術,圖靈實驗室深研人工智慧和大數據應用,魯班實驗室則主攻雲工業建模、雲工業製造核心技術難題。
定位家居行業雲工業軟體服務商,三維家深刻認識到要改變傳統製造業重硬輕軟、長期依賴國外軟體的現狀,不能只停留在「紙上談兵」。2020年,三維家與中國科學技術大學數學科學學院共建「先進製造聯合實驗室」,推動最新產研成果在家居行業落地應用。
合作很快就取得了成效——聯合實驗室以知名上市企業志邦家居為試驗基地,三維家和中國科大演算法團隊通過深度學習志邦家居的業務流程,以軟體技術優化材料演算法,通過多訂單混合排產使板材利用率提高2%以上,真正實現降本增效。
03
讓更多技術人才走向台前 代表國產工業軟體發聲
為激發產研活力,三維家與國內頂尖院校、專家學者保持著頻繁的學術交流。去年11月,包括中國科學技術大學劉利剛教授,浙江大學馮結青教授、藺宏偉教授等中國頂尖的應用數學、幾何建模、計算機圖形學領域專家學者走進三維家,與螞漏三維家研發團隊深度交流,進行元宇宙下的建模技術探討。
今年,三維家推出「元矩陣」 科技 計劃——與中國科學技術大學、華南理工大學、暨南大學等頂尖學府建立更深入的鏈接,有望在學術交流、「產學研」合作上走得更遠;與阿里雲、華為雲、英偉達NVIDIA等技術夥伴深化合作,讓三維家在實時光追渲染、圖形建模、虛擬模擬等底層技術上接連突破,構築起堅不可摧的技術護城河。
三維家創始人、CEO蔡志森曾表示,希望把一直處於幕後的技術研發團隊推向台前,向行業、學術檔禪圈發出三維家的聲音。近年來,三維家技術團隊頻頻在頂級 科技 峰會上「獻出首秀」,分享技術成果。去年阿里雲棲大會上,三維家3D產品負責人曹健、解決方案架構師、中科院博士周子超等均亮相發表演講,介紹三維家在企業上雲、產業數字化等方面的突破。
而在8月即將舉行的QCon全球軟體開發大會上,三維家技術研究院基礎平台負責人陳江豪將以「webassembly技術背景下工業軟體雲上實戰」的主題進行分享。同時,在計算機輔助設計和圖形學領域的「奧斯卡」CAD&CG大會、華為HC全鏈接大會、英偉達GTC China等峰會上,也將看到三維家的強勢發聲。
結語:
科技 創新的背後,是企業對前沿技術的 探索 、對商業模式的不斷打磨,和對產業場景的落地應用,這需要有長期主義的堅持。三維家正在將論文研究、產學研合作成果、自研技術優勢等優先應用在家居產業,讓人工智慧、大數據、雲計算、XR、工業建模等技術能在更多商業場景中落地,為產業發展搭建起一條數字化的「高速路」。
㈢ 什麼是大數據,大數據時代有哪些趨勢
行業主要上市公司:易華錄(300212)、美亞柏科(300188)、海量數據(603138)、同有科技(300302)、海康威視(002415)、依米康(300249)、常山北明(000158)、思特奇(300608)、科創信息(300730)、神州泰岳(300002)、藍色游標(300058)等
本文核心數據:大數據產業鏈、產業規模、應用市場結構、競爭格局、發展前景預測等
產業概況
1、定義:大數據產業覆蓋范圍廣
根據中國信通院發布的《大數據白皮書》,大數據產業是以數據及數據所蘊含的信息價值為核心生產要素,通過數據技術、數據產品、數據服務等形式,使數據與信息價值在各行業經濟活動中得到充分釋放的賦能型產業。不同機構對大數據的定義也有所不同,具體如下:
2、產業鏈剖析:大數據產業鏈龐大
大數據產業鏈覆蓋范圍廣,上游是基礎支撐層,主要包括網路設備、計算機設備、存儲設備等硬體供應,此外,相關雲計算資源管理平台、大數據平台建設也屬於產業鏈上游;
大數據產業中游立足海量數據資源,圍繞各類應用和市場需求,提供輔助性的服務,包括數據交易、數據資產管理、數據採集、數據加工分析、數據安全,以及基於數據的IT運維等;
大數據產業下游則是大數據應用市場,隨著我國大數據研究技術水平的不斷提升,目前,我國大數據已廣泛應用於政務、工業、金融、交通、電信和空間地理等行業。
大數據產業上游基礎設施具體包括IT設備、電源設備、基礎運營商及其他設備,相關代表企業華為、中興通訊、艾默生、三大運營商等。
中游大數據領域可以細分為數據中心、大數據分析、大數據交易與大數據安全等子行業,相關代表企業包括寶信軟體、數據港、久其軟體、拓爾思、上海數據交易中心、貴陽大數據交易所與華雲數據等。
在下游應用市場,我國大數據應用范圍正在快速向各行各業延伸,除發展較早的政務大數據、交通大數據外,在工業、金融、健康醫療等眾多領域大數據應用均初見成效。
產業發展歷程:十年來大數據產業高速增長,信息智能化程度得到顯著提升
我國大數據產業布局相對較早,2011年,工信部就把信息處理技術作為四項關鍵技術創新工程之一,為大數據產業發展奠定了一定的政策基礎。自2014年起,「大數據」首次被寫進我國政府工作報告,大數據產業上升至國家戰略層面,此後,國家大數據綜合試驗區逐漸建立起來,相關政策與標准體系不斷被完善,到2020年,我國大數據解決方案已經發展成熟,信息社會智能化程度得到顯著提升。
產業政策背景:優化升級數字基礎設施,鼓勵大數據產業發展
2014年,大數據首次寫入政府工作報告,大數據逐漸成為各級政府關注的熱點,政府數據開放共享、數據流通與交易、利用大數據保障和改善民生等概念深入人心。此後國家相關部門出台了一系列政策,鼓勵大數據產業發展。
當前,隨著5G、雲計算、人工智慧等新一代信息技術快速發展,信息技術與傳統產業加速融合,數字經濟蓬勃發展,數據中心作為各個行業信息系統運行的物理載體,已成為經濟社會運行不可或缺的關鍵基礎設施,在數字經濟發展中扮演至關重要的角色。數據中心作為大數據產業重要的基礎設施,其快速發展極大程度地推動了大數據產業的進步。在2021年3月發布的「十四五」規劃中,大數據標准體系的完善成為發展重點。
產業發展現狀
1、行業整體情況:大數據產業規模維持高速增長 主要應用於金融和政府領域
——大數據產業規模:2021年超過800億元
近年來我國大數據行業取得快速發展,賽迪CCID統計,我國大數據市場規模由2019年的619.7億元增長至2021年的863.1億元,復合年增長率達到18.0%,大數據市場規模包含了大數據相關硬體、軟體、服務市場收入。
——大數據市場結構:產業整體以大數據服務為主,應用領域以金融和政府領域為主
從產業結構來看,目前,我國的大數據產業進入高質量發展階段,大數據軟體和大數據服務的需求開始不斷提升,大數據硬體佔比有所下降但仍占據主導地位,
CCID統計,2021年我國大數據市場結構中,大數據硬體、大數據軟體和大數據服務的市場佔比分別為40.5%、25.7%和33.8%。近幾年大數據硬體的佔比在逐漸下降,大數據軟體和大數據服務的佔比在逐步提高。未來我國大數據軟體和服務市場相比硬體市場將呈現更好的發展態勢。
從應用領域來看,大數據分析產品及服務已經從最早的為電信領域客戶提供經營分析、為銀行領域客戶提供風控管理等輔助性經營決策,發展到目前的為金融、電信、政府、互聯網、工業、健康醫療、電力等多個行業領域客戶提供預測性分析、自主與持續性分析等,以實現企業決策與行動最優化。大數據分析產品及服務應用已經十分廣泛,但由於各下游領域業務特點的不同,決定了其對大數據分析產品及服務的具體需求存在一定差異。
CCID統計,2021年我國大數據分析市場下遊行業中,金融、政府、電信和互聯網位居應用領域前四名,市場佔比分別為19.1%、16.5%、15.2%和13.9%,合計超過60%;其他重點應用領域主要包括健康醫療、交通運輸、工業、電力等。
2、細分市場一:金融大數據
——金融大數據需求:金融業務規模不斷擴大,帶動大數據需求提升
從金融領域需求來看,近年來,中國金融領域業務規模不斷擴大,其中中國銀行業金融機構不斷積極擁抱金融科技,推動數字化轉型,整體行業規模擴大;保險業和證券業的收入也隨著市場經濟的發展而提升。
近年來,隨著新一代信息技術加速突破應用,以移動金融、互聯網金融、智能金融等為代表的金融新業態、新應用、新模式正蓬勃興起,我國金融業開始步入一個與信息社會和數字經濟相對應的數字化新時代,金融數字化轉型成為金融行業轉型發展的焦點。2019年,人民銀行印發《金融科技發展規劃(2019-2021年)》,構建起金融科技「四梁八柱」的頂層設計,明確了金融科技發展方向和任務、路徑和邊界。2022年1月,人民銀行再次發布《金融科技發展規劃(2022-2025年)》明確提出,從戰略、組織、管理、目標、路徑以及考評等方面將金融數字化打造成金融機構的「第二發展曲線」。隨著金融業務規模不斷擴大,加之新一代信息技術的發展,大數據在金融領域的需求將不斷提升。
——金融大數據應用場景
過去幾年,金融大數據帶來了重大的技術創新,為行業提供了便捷、個性化和安全的解決方案。目前,中國金融大數據典型的應用場景包括股票洞察、欺詐檢測和預防、風險分析與金融服務領域。
3、細分市場二:政府大數據
——政府大數據需求:互聯網政務服務用戶規模不斷提升
從政府領域需求來看,根據中國互聯網路信息中心(CNNIC)發布的第49次《中國互聯網路發展狀況統計報告》數據顯示,互聯網政務服務發展展現出了巨大潛能。截至2021年12月,我國互聯網政務服務用戶規模達9.21億,較2020年12月增長9.2%,占網民整體的89.2%。「十四五」規劃綱要提出要「推進網路強國建設,加快建設數字經濟、數字社會、數字政府,以數字化轉型整體驅動生產方式、生活方式和治理方式變革」。2021年,我國各省市積極探索、持續推進互聯網政務服務建設發展,努力提升公共服務、社會治理等數字化、智能化水平。截至2021年11月,全國已有20多個省(區、市)相繼出台數字政府建設的有關規劃,為我國互聯網政務服務發展注入新的活力。
——政府大數據應用場景
中國政府大數據主要應用於信息共享、政務數據管理、城市網路管理與社會管理幾大領域。加強電子政務建設,管理好政府的數據資產,完善政府決策流程,將是未來數年大數據在公共管理領域發展的重要方向。大數據將對政府部門的精細化管理和科學決策發揮重要作用,從而提高政府的服務水平。輿情監測、交通安防、醫療服務等將是公共管理領域重點應用領域。
4、細分市場三:互聯網大數據
——互聯網大數據需求:互聯網行業規模不斷提升
在人工智慧、雲計算、大數據等信息技術和資本力量的助推和國家各項政策的扶持下,2021年,互聯網和相關服務業發展態勢平穩向好。企業業務收入和營業利潤保持較快增長;互聯網平台服務和數據業務實現快速發展,信息服務收入較快增長;多省份保持增長態勢。2021年我國規模以上互聯網和相關服務企業完成業務收入15500億元,同比增長21.2%。
2022年上半年,我國規模以上互聯網和相關服務企業完成互聯網業務收入7170億元,同比增長0.1%。
註:2021年及以前年份,規模以上互聯網和相關服務企業,指獲得《增值電信業務經營許可證》在中國大陸境內經營全國或區域性增值電信業務、上年度互聯網業務收入500萬元及以上的企業。2022年,規模以上互聯網和相關服務企業口徑由互聯網和相關服務收入500萬元以上調整為2000萬元及以上。
——互聯網大數據應用場景
在互聯網行業,除了社交、B2C業務之外,像在線音視頻業務、廣告監測、精準營銷等等,也是未來潛在應用場景。
產業競爭格局
1、區域競爭:中國大數據企業主要分布在華南和華東沿海地區
根據企查貓數據,截止2022年9月23日,全國大數據產業中「存續」及「在業」的企業多集中分布在華南和華東沿海地區。其中,廣東省的大數據企業最多。
2、企業競爭:技術領域創新和經驗是關鍵,融合應用領域行業龍頭更能獲得青睞
根據大數據產業聯盟調研和發布的2022大數據企業投資價值百強榜單來看,榜單共選取了10個細分領域,涉及大數據基礎軟體、數據治理與分析、數據安全、商業智能、營銷大數據5個通用領域,以及政府大數據、金融大數據、工業大數據、健康醫療大數據、空間地理信息大數據5個融合應用領域。
大數據基礎軟體、數據治理與分析、數據安全、數據可視化等,是所有細分行業應用場景的基礎支撐,體現了大數據技術價值和作用。在這些細分領域提供技術解決方案的企業中,技術創新能力較強、在各自的細分領域有較長時間技術積累的廠商是投資機構的關注重點。
政府大數據、金融大數據發展相對成熟,落地實踐案例多和品牌知名度高的企業受市場關注程度較高。工業大數據、健康醫療大數據、空間地理信息大數據等市場仍處於待爆發階段,在各自細分領域建立競爭優勢的企業容易獲得投資機構的青睞。
註:2022年大數據企業投資價值百強榜是從企業估值/市值、營收狀況、創新投入、產品競爭力、細分市場潛力、領導層能力等多個維度進行綜合評比,同時結合行業專家打分,評選出2022年度大數據領域最具投資價值的100家企業。
產業發展前景:大數據將繼續保持高速增長
大數據作為新一代信息技術的重要標志,對生產製造、流通、分配、消費活動以及經濟運行機制、社會生活方式和國家治理能力均產生重要影響。伴隨國家快速推動數字經濟、數字中國、智慧城市等發展建設,未來大數據行業對經濟社會的數字化創新驅動、融合帶動作用將進一步增強,應用范圍將得到進一步拓寬,大數據市場也將保持持續快速的增長態勢。預計2027年我國大數據市場規模將達到2930.9億元,未來六年復合年增長率為22.6%。
更多本行業研究分析詳見前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》。
㈣ 馬雲馬化騰雷軍等大佬在大數據峰會都說了啥
■馬化騰:用移動互聯網防止霧霾
兩會之前,柴靜的《穹頂之下》用互聯網的方式已經做了預熱,同樣今年兩會中騰訊CEO馬化騰的提案一經曝光,引起了大眾的熱烈討論。他表示,隨著移動互聯網、大數據、雲計算、物聯網與人工智慧等新技術的快速發展,各行業現在都在圍繞互聯網做融合創新,不僅有助產業升級,還能促進大眾創業,極大方便人民生活。「政府部門應當加快移動互聯網在民生領域的普及和應用,把『人與公共服務』通過數字化的方式全面連接起來,有助於解決看病難、教育資源不均衡以及防治霧霾等新老重大民生問題。」
■李彥宏:設立國家層面的「中國大腦」計劃
網路CEO李彥宏在今年兩會提出設立國家層面的「中國大腦」計劃。以智能人機交互、大數據分析預測、自動駕駛,智能醫療診斷,智能無人機,軍民機器人技術等為重要研究領域;支持有能力的企業搭建人工智慧基礎資源和公共服務平台,面向不同研究領域開放平台資源,高效對接社會資源,依託統一平台協同創新。距離網路成立IDL研究院已經過去了兩年,而網路的財報顯示,從2013年開始,網路的研發費用大幅提升。
■雷軍:把互聯網納入國家戰略
小米科技的董事長兼CEO雷軍則在今年的提議中,建議把互聯網納入國家戰略,更好地把握互聯網的時機待遇,用互聯網來更快的推動傳統產業的轉型升級。且他通過三點來闡述了自己的觀點:
1、經過過去十五年的發展,中國互聯網行業已經具備相當大的規模,在全球前五的互聯網公司中,三家美國公司,兩家中國公司;全球前七,四家美國公司,三家中國公司。中國已經領先了日本韓國歐洲等發達國家,這是非常巨大的進步。
2、過去的互聯網主要涉足的領域是傳媒、軟體、游戲和零售等行業,而近幾年開始滲透更多的傳統企業。小米就是通過互聯網涉足手機行業,在2011年10月上市,第一年2012年126.5億,預計到今年600-700億,明年有比較大把握過千億。這就是互聯網的威力。
3、要把握移動互聯網的巨大機遇,如今所有的互聯網公司都在努力搶分移動互聯網這塊新蛋糕,沒有移動互聯網,就沒有未來。目前最成功的莫屬騰訊,做微信至今三年,目前已經超過四億活躍用戶,市值也從500億美元漲到1500億,是目前最大的贏家。
㈤ 國際大數據大會傳遞哪些新理念
國際大數據大會傳遞哪些新理念
為進一步促進大數據領域與傳統應用行業的深度交流與合作,中國通信學會近日在北京舉辦「2015中國國際大數據大會」。此次大會以「大數據+」為主題。
解讀大數據行動綱要
將推動政府公信力和信用體系的建設
國家統計局信息服務中心大數據研究實驗室主任江青說,大數據行動綱要代表國家從頂層設計上推動大數據。
江青主要解讀了大數據行動綱要對智慧城市帶來的「四化」。她認為智慧城市的核心是大數據,是大數據在城市的應用。綱要有利於智慧城市實現規劃科學化、管理動態化、治理精準化、管理服務高效化。
綱要還提出推動政府信息系統和公共數據的互聯共享,消除信息孤島,加快各類政府信息平台,避免數據重復打架,江青認為,這說明了兩個問題,一是增強政府公信力,一是提升社會的信用體系,相對應的就是建設政府信息公用平台和政府公信力的平台。
數據開放問題
政府部門和公共企事業單位要率先開放原始的、可機讀的數據
中科院院士、北京大學、普林斯頓大學教授、普林科技董事長鄂維南認為現在大數據面臨的第一個瓶頸就是沒數據,數據孤島嚴重,不同部門數據存在在不同的地方。
中國國際經濟交流中心副研究員張茉楠認為我國數據的實體化和實體數據化還處在前期階段,還存在數據安全、數據所屬權、數據治理等各方面的問題。
西安未來國際信息公司執行總裁史晨昱提出了如何開放和開放哪些數據。他認為,應首要開放政府部門和公共企事業單位的數據。政府應該建設開放平台或者網站,以滿足社會公眾對信息資源的使用。開放網站是全球的普遍做法,包括美國、英國都採用這種做法。開放平台應該建立在互聯網上,而非建立在電子政務網上。
其次,開放的數據應該是原始的,可機讀的數據。原始數據是沒有加工處理的數據,可機讀是指開放的數據要便於計算機處理加工。數據開放後,政府需要鼓勵企業和公眾,利用公共信息資源去開發信息產品,服務於社會公眾,服務於其他的企業客戶或者政府客戶。
大數據推動社會共治
國家的治理從原來的政府主導,轉向政府、公民、企業、社會共同參與的多元共治模式
張茉楠認為大數據帶來的不僅僅是生產力的變革,更是一種生產關系的變革。
大數據改變了政府的角色、企業角色和社會公眾的角色,也使整個國家的治理從原來政府主導的治理,開始向政府、公民、企業、社會多元共治的新模式轉型。
張茉楠舉例說美國環境數據的開放,就是通過一個項目把美國各個州的環境治理數據向公眾開放,讓公眾更多地參與環境治理,由第三方負責監管。整個過程中是政府提出需求,提供服務,公眾積極參與,整個社會共同監督管理。
張茉楠認為大數據時代,社會治理主要呈現三大特點,一是從原來的一家獨大、政府的獨治逐漸轉向多元共治。第二,由原來較多的封閉結構向開放型的治理結構轉型。特別是在大數據、雲計算發展之下,原來公眾和政府之間的信息差、知識差已經逐步扁平化。第三,由權力決策機制轉向公共決策機制。
數據交易市場
數據產品交易可以活躍信息消費市場,但法律犯規、技術都還不盡完善
史晨昱認為數據服務平台應該非盈利性和商業化並舉。非盈利的數據開放網站,負責將政府部門和公共服務企事業單位的數據,免費開放給公眾;在此基礎上建設的商業化數據服務平台,可以連接信息服務產品的供需雙方,開展數據產品交易,以此活躍整個信息消費市場。
亞信數據總裁張浩認為,維護和管理數據對任何一個部門或者企業來講都是有代價和成本的,通過交易或者是對等交換,容易實現數據價值。但我國目前還面臨著問題,第一,本身還沒有形成大數據,缺少法律規范讓擁有數據的部門開放數據。第二,目前缺少對個人隱私保護的技術。
鄂維南認為數據作為一種商品,有一定的特殊性,每個人都可以使用,可以重復售賣,沒有任何消耗。根據經濟學觀點,數據的價值是零,所以數據交易理論上來說是不可行的。這也是數據交易平台需要突破的悖論。
雲計算+大數據
雲計算可以讓大數據運行更經濟化、集約化和精細化
中國移動蘇州研發中心大數據項目總監徐萌提出了雲計算大數據,她認為,大數據把數據整合起來,這只是粗放的狀態,並不是經濟的模式。雲計算強調經濟化、集約化、精細化。雲計算可以使得大數據用集約式的平台和方式來運轉。
目前來看,雲計算大數據的實現需要解決4個問題,第一,統一化的數據管理,即數據從哪來到哪去、共享給誰、怎麼共享、許可權是什麼。第二,明確雲計算大數據的概念,大數據是借用雲計算來實現服務的。第三,精細化的資源管理,雲計算目標就是降低成本,提供更多應用和服務。大數據後續也要演變過來,實現精細化運營,合理調度資源。第四,智能化就是保證多種資源框架可以自動適配。
以上是小編為大家分享的關於國際大數據大會傳遞哪些新理念的相關內容,更多信息可以關注環球青藤分享更多干貨
㈥ 大數據未來的前景怎麼樣
未來大數據應用的六大趨勢:
1、區塊鏈技術
區塊鏈是計算機技術的新應用模式,包括分布式數據存儲、共識機制、點對點傳輸、加密演算法等等。區塊鏈技術是指全民參與記賬的方式。所有系統後面都有資料庫。可以將資料庫看作是一個大賬簿。現在各自記著自己的賬。
2、智慧城市
智能城市是利用信息和通信技術手段檢測、分析、集成城市運營核心系統的關鍵信息,智能地應對包括民生、環境保護、公共安全、城市服務、工商業活動在內的各種需求。其本質是利用先進的信息技術為城市人民創造更好的生活,促進城市的和諧和可持續發展。
隨著社會的發展,未來城市承載人口也會越來越多。目前我國正處於城市化加速時期,部分地區的「城市病」問題日益嚴重。建設智慧城市已成為當今世界城市發展一個新的趨勢。
3、虛擬現實(VR)和增強現實(AR)技術
擬現實技術是一種可以體驗虛擬世界的模擬系統,它利用計算機生成模擬環境,使用戶沉浸在環境中。比起VR,AR它不是單純被創造出來的。現實是我們肉眼能看到的東西,耳朵能聽到的東西,皮膚能識別的東西,所在的世界。從廣義上說,在現實基礎技術上,添加相關、附加內容,就可以說是增強現實。
4、物聯網
物聯網就是所有物品都可以通過信息感測設備連接到互聯網上,進行信息交換,物品與物品緊密相連,實現智能識別和管理。物聯網是新一代信息技術的重要一部分,也是信息時代的一個重要發展階段。
5、語音識別技術
語音識別是一門跨學科的學問。近些年來,語音識別技術有了明顯的發展,開始從實驗室進入市場。語音識別技術將進入產業、通信、家電、醫療、汽車、電子、家庭服務、消費電子產品等多種領域。語音識別技術包括信號處理、模式識別、概率論和資訊理論、發聲系統和聽覺機理、人工智慧等。
語音識別是一種通用的無屏幕介面,可以快速集成到各種工具中,在智能設備和手機中非常有用。
6、人工智慧(AI)
人工智慧,英文縮寫為AI。是研究、開發、開發用於模擬、擴展和擴展的智能的理論、方法、技術和應用系統的新技術科學。
更懂消費者的數字營銷服務
點亮工場
查看
人工智慧需要接受教育,需要輸入大量信息才能進化,從而產生意想不到的結果。AI有很大的影響,比如媒體行業,現在電腦和機器人可以生產好文章,一個小時幾百篇,成本也很低。AI可以對經濟發展產生很大影響,很多知識產業和白領職業也可以被機器人取代。
大數據已經成為時代發展的必然產物,大數據正在迅速滲透到我們的日常生活中,在衣食住行的方方面面都有體現。大數據時代,所有的可量化,所有的可分析。
㈦ 大數據產業頂層規劃出爐,如何實現
大數據產業頂層規劃出爐,如何實現
國務院印發《促進大數據發展行動綱要》,從頂層規劃角度系統部署我國大數據產業發展。
業內分析認為,我國應通過聚焦行業應用、創新產學研機制、加強人才培養、促進成果轉化等方面加快推動大數據及其相關產業發展。
數據成戰略資源
國務院印發的《促進大數據發展行動綱要》指出,數據已成為國家基礎性戰略資源。深化大數據應用已成為穩增長、促改革、調結構、惠民生和推動政府治理能力現代化的內在需要和必然選擇。
大數據產業發展頂層規劃也給出了明確的「創新導向」:計劃在未來5至10年打造精準治理、多方協作的社會治理新模式,建立運行平穩、安全高效的經濟運行新機制,構建以人為本、惠及全民的民生服務新體系,開啟大眾創業、萬眾創新的創新驅動新格局,培育高端智能、新興繁榮的產業發展新生態。
綱要的出爐也被認為是我國繼「互聯網+」行動後,進一步從頂層規劃上明晰大數據、雲計算、移動互聯、人工智慧等前沿技術發展規劃。
用友網路董事長王文京認為,移動互聯網、雲計算、大數據等正成為社會發展、經濟增長的重要驅動,數據資產也成為人類社會繼財富資產、人力資產等之後的「第四種資產」,其重要性不言而喻。
中國科學院院士、北京大學教授鄂維南認為,大數據正改變著實體經濟與產業格局。例如,基於大數據的計算廣告學改變了傳統廣告行業;一些企業正深入研究非結構化數據處理,以改變傳統產業。
聚焦人才培養
各界人士認為,大數據作為新的計算方式,其對產業、實體經濟的影響將極其深遠。然而,以產業需求為導向的創新研發亟待提升,國內「數據人才」培養也需要進一步優化,以適應市場需求。
首先,以產業需求為導向,成果及時落地轉化,企業主體創新力量須得到調動。
「在中國,數據科學發展的很多研究源於市場需求。比如,監控視頻處理就是很重要的應用場景。如何讓電腦對圖像數據進行突破,可以智能判斷,這就是很好的大數據科研突破口。」鄂維南說,盡管目前國內大數據產業發展很快,但也存在著缺乏以市場需求為導向的創新突破等問題。
各方認為,唯有釋放企業的創新活力,才能推動大數據關鍵領域取得突破,促進大數據科研成果轉化為實際成果。
其次,符合市場需求的人才培養應得到重視。
北京大學校長林建華認為,進入數據時代,人們對獲取、存儲、分析、處理數據的能力亟待提升。因此,數據科學人才培養成為急需加強的方面。「可以看到產業內很多大企業用非常大的資源,爭取學術界數據人才,各方面拉人才。可以說,大數據能否做成,關鍵在能不能聚焦人才培養。」
而高校和產業界普遍認為,當前對大數據人才的培養仍相對滯後。北京航空航天大學軟體學院院長孫偉認為,傳統it教育很難將前沿技術和課堂傳授知識結合起來,培養人才很難及時與產業接軌。高校創新人才培養應更加面向市場需求、技術前沿。
以新模式助大數據產業突破
分析認為,國內產業界對數據科學的前沿探索已經加速推進,部分高校也開始了「數據科學家」的培養。在此背景下,我國應進一步打通壁壘,以新模式探索產學研用結合,培育數據人才、助推以市場為導向的數據科學研究突破,促進產業加速發展。
調查發現,以北京中關村為例,大數據已經在商業、金融、交通、醫療、教育等行業示範應用,100多家大數據創新企業從不同領域深植數據資源。
同時,北京航空航天大學、浙江大學等高校與阿里雲、慧科教育達成合作,計劃3年內培養和認證5萬名雲計算和數據科學工作者。這些為數據人才培養提供產業與教育基礎。
模式的探索已現雛形。北京中關村管委會、海淀區政府、北京大學和北京工業大學等四方啟動「北京大數據研究院」,啟動建立大數據高精尖創新中心,推動人才培養和科研突破;並成立股份制技術成果轉化中心,圍繞熱點領域產業需求,推動關鍵共性技術研發、行業大數據分析、成果轉化等。
鄂維南透露,研究院將主要聚焦包括交通大數據、金融大數據、移動互聯網大數據、醫療大數據等方面,整合分析資源,支撐決策與產業發展。計劃一到兩年內,研究院將建立數據金融、醫療健康、交通數據、智慧城市、能源環境和氣象等分中心,涉及數據與生物、化學、天體、神經科學等學科的交叉研究。
各界認為,這種靈活的產學研結合機制將成為推動大數據快速發展的有效手段。
王文京說,創新機制將有助於創新人才及時對接市場需求,讓大數據切實影響改變產業現狀。
以上是小編為大家分享的關於大數據產業頂層規劃出爐,如何實現的相關內容,更多信息可以關注環球青藤分享更多干貨
㈧ 大數據都體現在哪些方面
第一:大數據技術不斷提升數據自身的價值。大數據技術的核心訴求之一就是數據的價值化,大數據產業鏈幾乎都是圍繞數據價值化來打造的,隨著大數據技術的不斷發展,數據的價值必然會越來越大。
第二:人工智慧離不開數據。數據作為人工智慧發展的三個重要基礎,在未來的智能化時代也將扮演著重要的角色,所以數據的價值也必然會隨著人工智慧技術的發展而得到提升。在工業互聯網時代,人工智慧技術是一個重要的發展趨勢,藉助於人工智慧技術,工業互聯網能夠發揮出更大的作用,從而能夠為廣大的行業企業賦能。
第三:數據是互聯網的價值載體。互聯網發展到現在,急需一個體現互聯網價值的載體,而數據就是這個天然的載體,相信隨著互聯網的不斷發展,互聯網整合社會資源的能力會越來越強,數據的價值也會不斷得到攀升。由於互聯網無處不在,所以通過數據來承載互聯網價值也比較方便,未來通過互聯網來實現「價值交換」也是一個比較明顯的發展趨勢。
㈨ 大數據未來的發展前景怎麼樣呢
從我國數據產量和存量來看,廣東、北京、浙江、江蘇、上海、等地區數據資源較為豐富,東部地區數據產量和存量均高於西部地區。從省際數據流量來看,東部地區月均互聯網省際出口總流量佔全國比重超過一半。
在以北上廣為代表的東部地區數據資源豐富的背景下,其大數據產業發展水平快於其他地區省份。其中,北上廣大數據企業數量佔全國比重近70%,廣東和北京大數據發展水平較高。
東部地區數據產量整體高於西部,省際數據流量遠高於其他地區
2019年,我國數據產量總規模為3.9ZB。從數據產量的地區分布看,2019年全國數據產量排名前十位的省份為廣東、北京、浙江、江蘇、上海、山東、四川、河南、河北和湖南。
從人均數據產量來看,2019年人均數據產量排名前十位的省份分別是北京、上海、浙江、天津、廣東、內蒙古、西藏、海南、江蘇和遼寧。整體來看,東部地區數據產量和人均數據產量均高於西部地區。
—— 更多數據來請參考前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》
㈩ 貴州發展大數據的頂層設計要堅持什麼理念
貴州發抄展大數據的頂層設計要堅持的理念:加強改革頂層設計和總體規劃,說明運用科學的系統化方法。重點解決體制性障礙和深層次矛盾,全面協調推進經濟、政治、文化、社會等體制創新。