大數據時代是4大技術領域

1. 什麼是大數據時代

什麼是大數據時代：

利用相關演算法對海量數據的存儲、處理與分析，從海量數據中發現價值，服務於生產和生活。

大數據無處不在，社會各行各業都可以找到大數據的印記，在金融，餐飲，電信，體育，娛樂等領域都可以感受到大數據對各行各業的影響

大數據的特點：

1、更多，更亂，但內部有關系可循。

示例：

大約20年前，亞馬遜剛成立時，傑夫·貝索斯讓50個書評員來為他賣書，他意識到不僅僅可以請人來寫書評，還可以用數據技術來提供圖書推薦。起初他使用的是小數據，不是大數據，把客戶進行分類，比如說有人對中國旅遊或者是對園藝感興趣，系統會自動提供推薦。他的同事告訴他，剛剛開始使用這個數據推薦時，使用體驗並不好；在進一步分析後，亞馬遜決定不對人進行分類，而是對用戶的需求分類。這個做法做法非常成功，以至於到今天，推薦系統為亞馬遜帶去30%的銷售收入。

這就是數據收集和再處理。亞馬遜有交易數據，每買一本書就是一個交易，然後對這個數據進行分析。但今天我們已不再滿足於交易數據了，轉而收集起溝通數據。你看了某一個書評、某一個交流會給商家更多的信息和細節。

2、數據可以被重復使用（數據的產生和收集本身並沒有直接產生服務，最具價值的部分在於：當這些數據在收集以後，會被用於不同的目的，數據被重新再次使用）

示例：

比方說這家公司實時車輛交通數據採集商Inrix，該公司目前有1億個手機端用戶。Inrix可以幫助你開車，避開堵車，為司機呈現路的熱量圖，紅的就表面堵車。如果只提供數據，這個產品沒什麼特色，

但值得一提的是，Inrix並沒有用交警的數據，這個軟體的每位用戶在使用過程中會給伺服器發送實時數據，比如走的多快，走到哪裡，這樣每個客戶都是探測器。

大數據時代的思維：

每天早上起來想一下，這么多數據我能用來干什麼，這些價值在哪裡可以找到，能不能找到一個別人以前都沒有做過的事情。你的想法和思路，是最重要的資產。

示例：

我們可以通過大數據來確定哪些地方會有火災。以前防火檢查員只有13%的時間可以准備預測，現在他們找到火災隱患的概率達到了70%，比以前提高了6倍。將效率提高6倍是一個巨大無比的進步，未來的公共服務業可以由此獲得更多便利。

2. 大數據技術有哪些

隨著大數據分析市場迅速擴展，哪些技術是最有需求和最有增長潛力的呢？在Forrester Research的一份最新研究報告中，評估了22種技術在整個數據生命周期中的成熟度和軌跡。這些技術都對大數據的實時、預測和綜合洞察有著巨大的貢獻。
1. 預測分析技術
這也是大數據的主要功能之一。預測分析允許公司通過分析大數據源來發現、評估、優化和部署預測模型，從而提高業務性能或降低風險。同時，大數據的預測分析也與我們的生活息息相關。淘寶會預測你每次購物可能還想買什麼，愛奇藝正在預測你可能想看什麼，百合網和其他約會網站甚至試圖預測你會愛上誰……
2. NoSQL資料庫
NoSQL，Not Only SQL，意思是「不僅僅是SQL」，泛指非關系型資料庫。NoSQL資料庫提供了比關系資料庫更靈活、可伸縮和更便宜的替代方案，打破了傳統資料庫市場一統江山的格局。並且，NoSQL資料庫能夠更好地處理大數據應用的需求。常見的NoSQL資料庫有HBase、Redis、MongoDB、Couchbase、LevelDB等。
3. 搜索和知識發現
支持來自於多種數據源(如文件系統、資料庫、流、api和其他平台和應用程序)中的大型非結構化和結構化數據存儲庫中自助提取信息的工具和技術。如，數據挖掘技術和各種大數據平台。
4. 大數據流計算引擎
能夠過濾、聚合、豐富和分析來自多個完全不同的活動數據源的數據的高吞吐量的框架，可以採用任何數據格式。現今流行的流式計算引擎有Spark Streaming和Flink。
5. 內存數據結構
通過在分布式計算機系統中動態隨機訪問內存(DRAM)、快閃記憶體或SSD上分布數據，提供低延遲的訪問和處理大量數據。
6. 分布式文件存儲
為了保證文件的可靠性和存取性能，數據通常以副本的方式存儲在多個節點上的計算機網路。常見的分布式文件系統有GFS、HDFS、Lustre 、Ceph等。
7. 數據虛擬化
數據虛擬化是一種數據管理方法，它允許應用程序檢索和操作數據，而不需要關心有關數據的技術細節，比如數據在源文件中是何種格式，或者數據存儲的物理位置，並且可以提供單個客戶用戶視圖。
8. 數據集成
用於跨解決方案進行數據編排的工具，如Amazon Elastic MapRece (EMR)、Apache Hive、Apache Pig、Apache Spark、MapRece、Couchbase、Hadoop和MongoDB等。
9. 數據准備
減輕采購、成形、清理和共享各種雜亂數據集的負擔的軟體，以加速數據對分析的有用性。
10. 數據質量
使用分布式數據存儲和資料庫上的並行操作，對大型高速數據集進行數據清理和充實的產品。

3. 什麼是大數據時代

大數據時代是數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。

「大數據」在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在，卻因為來自互聯網和信息行業的發展而引起人們關注。

進入2012年，大數據（big data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產生的海量數大數據時代來臨據，並命名與之相關的技術發展與創新。

大數據時代已經上過《紐約時報》《華爾街日報》的專欄封面，進入美國白宮官網的新聞，現身在國內一些互聯網主題的講座沙龍中，甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。

(3)大數據時代是4大技術領域擴展閱讀：

大數據時代特徵：

1、數據量大（Volume）

第一個特徵是數據量大。大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。

2、類型繁多（Variety）

第二個特徵是數據類型繁多。包括網路日誌、音頻、視頻、圖片、地理位置信息等等，多類型的數據對數據的處理能力提出了更高的要求。

3、價值密度低（Value）

第三個特徵是數據價值密度相對較低。如隨著物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器演算法更迅速地完成數據的價值「提純」，是大數據時代亟待解決的難題。

4、速度快、時效高（Velocity）

第四個特徵是處理速度快，時效性要求高。這是大數據區分於傳統數據挖掘最顯著的特徵。

4. 大數據技術有哪些

大數據技術，就是從各種類型的數據中快速獲得有價值信息的技術。大數據領域已經涌現出了大量新的技術，它們成為大數據採集、存儲、處理和呈現的有力武器。

大數據處理關鍵技術一般包括：大數據採集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。

六、大數據展現與應用技術

大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。在我國，大數據將重點應用於以下三大領域：商業智能、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。

5. 大數據應用的領域主要有哪些

大數據是信息技術與專業技術、信息技術產業與各行業領域緊密融合的典型領域，有著旺盛的應用需求、廣闊的應用前景。為把握這一新興領域帶來的新機遇，需要不斷跟蹤研究大數據，不斷提升對大數據的認知和理解，堅持技術創新與應用創新的協同共進，加快經濟社會各領域的大數據開發與利用，推動國家、行業、企業對於數據的應用需求和應用水平進入新的階段。

6. 什麼是大數據時代

（1）大數據時代的提出
最早提出大數據時代到來的是全球知名咨詢公司麥肯錫，他認為數據已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。
（2）大數據時代的來臨
隨著互聯網快速發展、智能手機以及「可佩帶」計算設備的出現，我們的行為、位置，甚至身體生理數據等每一點變化都成為了可被記錄和分析的數據。這些新技術推動著大數據時代的來臨，各行各業每天都在產生數量巨大的數據碎片，數據計量單位已從Byte、KB、MB、GB、TB發展到PB、EB、ZB、YB甚至BB來衡量。
（3）大數據時代的特點
如果簡單來理解什麼是大數據，我們只要抓住大數據的四個特點，大量、高速、多樣、價值。具體來講就是數據體量巨大，數據的爆發性增長迫切的需要智能的演算法、強大的數據處理平台和新的數據處理技術，來統計、分析、預測和實時處理如此大規模的數據；數據類型繁多，廣泛的數據來源決定了大數據形式的多樣性。任何形式的數據都可以產生作用，目前應用最廣泛的就是推薦系統的應用；價值密度低，現實世界所產生的數據中，有價值的數據所佔比例很小。相比於傳統的小數據，大數據最大的價值在於通過從大量不相關的各種類型的數據中，挖掘出對未來趨勢與模式預測分析有價值的數據；數據分析處理速度快，主要通過互聯網傳輸。大數據對處理速度有非常嚴格的要求，伺服器中大量的資源都用於處理和計算數據，很多平台都需要做到實時分析。

7. 2021那些事兒｜細數信息技術4大領域

2021年，信息技術發展突飛猛進。人工智慧、大數據、開源、虛擬現實（VR）、增強現實（AR）……每個領域的發展幾乎都可圈可點。

在人工智慧領域，人工智慧的語言大模型、圖文大模型乃至多模態大模型的基本能力已得到了充分展現。例如，阿里巴巴達摩院公布多模態大模型M6最新進展，參數從萬億躍遷至10萬億；鵬城實驗室與網路聯合發布全球首個知識增強千億大模型——鵬城—網路·文心，參數規模達到2600億。

不僅如此，人工智慧與其他科學領域的交叉融合也擦出火花。在《科學》近日公布的2021年度科學突破榜單上，AlphaFold和RoseTTA-fold兩種基於人工智慧預測蛋白質結構的技術位列榜首。

在人機交互領域，扎克伯格將Facebook公司更名為「Meta」時，特斯拉和SpaceX首席執行官埃隆·馬斯克則將注意力放在腦機介面上。馬斯克認為腦機介面裝置將更有可能改變世界，幫助四肢癱瘓或有身體缺陷的人更好地生活和工作，「復雜的腦機介面裝置可以讓你完全沉浸在虛擬現實中」。此外，今年5月，斯坦福大學開發出一套皮質內腦機介面系統，可以從運動皮層的神經活動中解碼癱瘓患者想像中的手寫動作，並將其轉換為文本。

在超算領域，最值得一提的是，今年11月，我國超算應用團隊憑借「超大規模量子隨機電路實時模擬」成果斬獲國際高性能計算應用領域的最高獎項「戈登貝爾獎」。

在開源方面，RISC-V開源指令集及其生態快速崛起；由華為公司牽頭，中國科學院軟體研究所、麒麟軟體等參與的openEuler操作系統開源社區業已匯聚了7000名活躍開發者，完成8000多個自主維護的開源軟體包，催生了10多家廠商的商業發行版……

回望2021年，信息技術版邀請業內專家梳理上述四個領域的發展脈絡，展望未來發展趨勢。

作者 張雙虎

AlphaFold或是2021年人工智慧（AI）領域的「一哥」。

近日，《科學》雜志公布了 2021 年度科學突破榜單，AlphaFold 和 RoseTTA-fold 兩種基於人工智慧預測蛋白質結構的技術位列榜首。

此前幾天，由中國工程院院刊評選的「2021全球十大工程成就（近5年全球實踐驗證有效、有全球影響力的工程科學和技術重大成果）」中，AlphaGo和AlphaFold亦榜上有名。

在接受《中國科學報》采訪時，數位專家回望今年人工智慧領域取得的成就時，均談到了AlphaFold。

「面向科學發現的AlphaFold和中國正在構建的人工智慧發展生態不能不說。」 浙江大學人工智慧研究所所長吳飛對《中國科學報》說。

中科院自動化研究所模式識別國家重點實驗室研究員王金橋則提名「用AI進行新冠診斷」「人工智慧與生物、制葯、材料等科學融合（AI for Science）」和「三模態大模型紫東太初」。

在醫學領域，AI識別咳嗽聲早已用於肺炎、哮喘、阿爾茨海默氏症等疾病檢測。美國麻省理工學院研究人員研發出可以通過分析咳嗽錄音識別新冠患者的AI模型，識別出新冠患者咳嗽的准確率為98.5％，其中識別無症狀感染者的准確度高達100％。日前，有報道稱該模型已用於識別奧密克戎病毒。

「紫東太初首次實現了圖—文—音語義統一表達，兼具跨模態理解和生成能力。」 王金橋說，「目前與新華社共同發布的『全媒體多模態大模型研發計劃』，實現對全媒體數據理解與生成的統一建模，打造全棧國產化媒體人工智慧平台，已 探索 性地應用於紡織業和 汽車 行業質檢等場景。」

12月7日， 科技 部官網公布3份函件，支持哈爾濱、沈陽、鄭州3地建設國家新一代人工智慧創新發展試驗區。至此，我國已經有18個國家新一代人工智慧創新發展試驗區，這將引領帶動中國人工智慧創新發展。

「我國正在推動人工智慧生態發展，構建良好生態。」吳飛說，「目前已有15個國家新一代人工智慧開發創新平台、18個國家新一代人工智慧創新發展試驗區、8個人工智慧創新應用先導區和高等學校設置的人工智慧本科專業和交叉學科等人才培養載體。」

「一是大模型，二是人工智慧和基礎學科的結合。」孫茂松對《中國科學報》說，「語言大模型、圖文大模型乃至多模態大模型的基本能力已得到了充分展現，確定了它作為智能信息處理基礎軟設施的地位。同時，它並非簡單地擴大規模，而是對數字資源整合能力和計算能力都提出了挑戰。雖然它的局限性也很明顯，但它所表現出的某些『奇特』性質（如少樣本學習、深度雙下降、基於提示的任務調整等），使學者產生了超大參數規模或會引發質變的期待，從而為新的突破埋下了伏筆。」

今年，人工智慧領域從「大煉模型」走向「煉大模型」階段，從千億量級到萬億量級，在大模型領域，似乎沒有最大，只有更大。

3月，北京智源人工智慧研究院發布我國首個超大規模人工智慧模型「悟道1.0」。6月，智源就改寫了自己的紀錄，發布悟道2.0，參數規模達到1.75萬億；9月,浪潮人工智慧研究院推出了中文巨量語言模型——源 1.0，參數量達2457億；11 月，阿里巴巴達摩院公布多模態大模型 M6 最新進展，參數從萬億躍遷至 10 萬億；12月，鵬城實驗室與網路聯合發布全球首個知識增強千億大模型——鵬城—網路·文心，參數規模達到2600億。

與此相應，最近快手和蘇黎世聯邦理工學院提出了一個新的推薦系統Persia，最高支持100萬億級參數的模型訓練。

另一方面，人工智慧在基礎學科領域不斷攻城略地。

7月，DeepMind公司人工智慧程序Alphafold2研究成果又登頂《自然》，在結構生物學研究領域，人工智慧或帶領生物學、醫學和葯學挺進新天地；11月，美國南加利福尼亞大學研究人員通過腦機連接設備，讓猴子玩 游戲 和跑步機，從而進行神經活動數據研究；12月，DeepMind開發的機器學習框架，已幫助人們發現了純數學領域的兩個新猜想，展示了機器學習支持數學研究的潛力。

「今年人工智慧在各行業應用方面也取得不小的成績。」孫茂松說，「人工智慧與基礎學科結合已顯示出巨大潛力，發表了多篇頂級論文，已展露出某種較強的趨勢性，即『人工智慧+基礎科學』大有可為。」

作者 張雙虎

腦機介面、AR眼鏡、智能語音、肌電手環、隔空手勢識別……2021年，從基礎研究到應用落地，人機交互領域風起雲涌。不管是智能 健康 、元宇宙，還是自動駕駛領域的蓬勃發展，似乎都表明，人機交互正站在產業化落地的門口。

「我們研發的高通量超柔性神經電極已通過科研臨床倫理審批，即將開展腦機介面人體臨床試驗。」中科院上海微系統所副所長、感測技術聯合國家重點實驗室副主任陶虎對《中國科學報》說，「安全穩定地大規模採集人體大腦的神經元信號並進行閉環調控，將實現病人感知和運動功能的修復。」

腦機介面技術給患者帶來越來越多的便利。今年5月，斯坦福大學研究人員在《自然》發表封面論文，開發出一套皮質內腦機介面系統，可以從運動皮層的神經活動中解碼癱瘓患者想像中的手寫動作，並將其轉換為文本。藉助該系統，受試者（因脊髓損失癱瘓）每分鍾可以打出近百個字元，且自動更正後的離線准確率超過了 99%。

不久前，馬斯克表示，希望明年能在人類身上使用Neuralink 的微晶元裝置。該晶元將用於治療脊髓損傷、帕金森氏症等腦部疾病和神經系統疾病。目前，相關技術正在等待美國食品葯品監督管理局的批准。

「腦機介面領域已經蓄積了相當的技術，有望成為解決大腦疾病的利器。」陶虎說，「大家都在搶占臨床應用的先機，明年可能會實現技術落地應用。預計兩三年內，國內會出現可媲美馬斯克Neuralink的獨角獸企業。」

「人機交互將引申出新的萬億級市場。」福州大學特聘教授嚴群這句判斷，也囊括了元宇宙這個巨大的市場。

有人稱2021年是「元宇宙元年」，也有人認為這不過是「舊瓶裝新酒」。但無論如何，元宇宙已是今年人機交互領域繞不開的話題。

「元宇宙是虛擬現實、增強現實和混合現實的綜合，它實際上並非新的東西。」北京郵電大學人機交互與認知工程實驗室主任劉偉告訴《中國科學報》，「元宇宙是現實世界和虛擬世界跨越未來的發展方向，但還有些技術問題未能很好地解決。」

在真實世界裡，人機交互問題和人機環境系統的混合問題未能很好地解決。真實世界的人機交互中，不管是輸入、處理還是輸出過程中，客觀數據、主觀信息和知識依然不能完美融合。

劉偉認為，無論真實世界還是虛擬世界，人類和機器決策都有「快決策」和「慢決策」過程。人類決策有時依靠邏輯決策多些，有時直覺決策多些，這種「混合決策」不斷變換，而且很難找到變化規律。這方面的問題機器決策目前還未能解決。

「元宇宙還處在畫餅的前期階段。」劉偉說，「因為它的底層機理沒有解決——人在真實世界裡未能完美解決人機交互的問題，帶到元宇宙里同樣不能解決。」

談到人機交互，劉偉認為第二個不能不說的問題是「復雜領域」。

「今年的諾貝爾物理學獎，也給了復雜系統預測氣候變化模型的提出者。」劉偉說，「人機交互也是一個復雜系統，它既包括重復的問題，還包括雜亂的、跨域協同的問題。」

劉偉認為，從智能的角度說，復雜系統包括三個重要組成部分，一是人，二是裝備（人造物），三是環境。這其實是多個事物之間相互作用，交織在一起、既糾纏又重疊的「人機環系統」問題。

「在人機交互中，機器強在處理『復』的問題，人擅長管『雜』的事——跨域協同、事物間平衡等。因為人們還沒找到復雜事物的簡單運行規律，所以解決所有智能產品、智能系統問題，要從人、機、環這個系統里找它們的結合、融合和交互點。而且，人要在這個系統中處於主導地位。」

人機交互領域引起劉偉重視的第三個現象，是「人工智慧幫數學家發現了一些定律」。「最近，DeepMind研發了一個機器學習框架，能幫助數學家發現新的猜想和定理。」劉偉說，「人工智慧是一個基本的數學工具，同時，數學又反映了一些基本規律。如果人工智慧可以幫助數學家處理一些數學問題，那麼，人們將更好地認識復雜系統的簡單規律，人機交互方面就可能會取得新突破。」

作者 張雲泉（中國科學院計算技術研究所研究員）

今年是我國超算應用實現豐收的一年。

11月中旬在美國舉行的全球超算大會（SC21）上，中國超算應用團隊憑借基於一台神威新系統對量子電路開創性的模擬（「超大規模量子隨機電路實時模擬」），一舉摘得國際上高性能計算應用領域的最高學術獎——「戈登貝爾獎」。

同時，在SC 21大學生超算競賽總決賽上，清華大學超算團隊再次奪得總冠軍，實現SC競賽四連冠。這些大規模應用軟體可擴展性和性能調優方面的成績表明，我國在並行軟體方面的發展方興未艾。

回到超算對產業的驅動來看，我們要重提「算力經濟」一詞。早在2018年，我們提出「算力經濟」概念，認為以超級計算為核心的算力經濟將成為衡量一個地方數字經濟發展程度的代表性指標和新舊動能轉換的主要手段。

綜合近幾年的發展趨勢，我們認為高性能計算當前發展趨勢已充分表明，隨著超算與雲計算、大數據、AI的融合創新，算力已成為當前整個數字信息 社會 發展的關鍵，算力經濟已經登上 歷史 舞台。

通過對2021年中國高性能計算機發展現狀綜合分析，可以總結出當前高性能計算正呈現出以下幾個特點。

首先，高性能計算與雲計算已經深度結合。高性能計算通常是以MPI、高效通信、異構計算等技術為主，偏向獨占式運行，而雲計算有彈性部署能力與容錯能力，支持虛擬化、資源統一調度和彈性系統配置。

隨著技術發展，超級計算與容器雲正融合創新，高性能雲成為新的產品服務，AWS、阿里雲、騰訊、網路以及商業化超算的代表「北龍超雲」，都已基於超級計算與雲計算技術推出了高性能雲服務和產品。

其次，超算應用從過去的高精尖向更廣、更寬的方向發展。隨著超級計算機的發展，尤其是使用成本的不斷下降，其應用領域也從具有國家戰略意義的精密研製、信息安全、石油勘探、航空航天和「高冷」的科學計算領域向更廣泛的國民經濟主戰場快速擴張，比如制葯、基因測序、動漫渲染、數字電影、數據挖掘、金融分析及互聯網服務等，可以說已經深入到國民經濟的各行各業。

從近年中國高性能計算百強排行榜（HPC TOP100）來看，超算系統過去主要集中於科學計算、政府、能源、電力、氣象等領域，而近5年互聯網公司部署的超算系統占據了相當大比例，主要應用為雲計算、機器學習、人工智慧、大數據分析以及短視頻等。這些領域對於計算需求的急劇上升表明，超算正與互聯網技術進行融合。

從HPC TOP100榜單的Linpack性能份額看，算力服務以46%的比例占據第一；超算中心佔24%，排名第二；人工智慧、雲計算和短視頻分別以9%、5%和4%緊隨其後。

可以看出，人工智慧佔比的持續增加與機器學習等演算法和應用的快速崛起，以及大數據中的深度學習演算法的廣泛應用有很大關系。互聯網公司通過深度學習演算法重新發現了超級計算機，特別是GPU加速的異構超級計算機的價值，紛紛投入巨資建設新系統。

綜合來看，目前的算力服務、超算中心、人工智慧、科學計算等領域是高性能計算的主要用戶，互聯網、大數據，特別是AI領域增長強勁。

再次，國家層面已經制訂了戰略性的算力布局計劃。今年5月，國家發展改革委等四部門聯合發布《全國一體化大數據中心協同創新體系算力樞紐實施方案》，提出在京津冀、長三角、粵港澳大灣區、成渝以及貴州、內蒙古、甘肅、寧夏建設全國算力網路國家樞紐節點，啟動實施「東數西算」工程，力促把東部的數據送到西部進行存儲和計算，同時在西部建立算力節點，改善數字基礎設施不平衡的布局，有效優化數據中心的布局結構，實現算力升級，構建國家算力網路體系。

最後，人工智慧的算力需求已成為算力發展主要動力。機器學習、深度學習等演算法革新和通過物聯網、感測器、智能手機、智能設備、互聯網技術搜集的大數據，以及由超級計算機、雲計算等組成的超級算力，被公認為是人工智慧時代的「三駕馬車」，共同掀起最新一輪的人工智慧革命。

在人工智慧蓬勃發展這一背景下，虛擬化雲計算向高性能容器雲計算演進，大數據與並行計算、機器學習融合創新就成為了產業發展的最新方向。

此外，在智能計算評測方面，我國已經提出了包括AIPerf 500在內的眾多基準測試程序，這是對傳統Linpack測試標準的有力補充。

這些發展表明超算技術向產業滲透的速度加快，我們已經進入一個依靠算力的人工智慧時代，這也是未來發展的必然趨勢之一。隨著用戶對算力需求的不斷增長，算力經濟必將在未來 社會 發展中占據重要地位。

作者 武延軍（中國科學院軟體研究所研究員）

開源發展可圈可點並非只是今年的事。最近幾年，開源領域發生了很多重要的事情。

例如，RISC-V開源指令集及其生態的快速崛起。這與上世紀90年代初Linux誕生一樣。當時，UNIX和Windows是主流，很少有人能夠預料到今天以Linux為內核的操作系統已經遍及人們生活的方方面面。

如今，人們每天使用的App，超過80% 概率是運行在以Linux為內核的安卓操作系統上，而且，支撐其業務的後端伺服器上運行的操作系統很大概率也是Linux發行版。

所以，今天的RISC-V也同樣可能被低估，認為其不成熟，很難與ARM和X86抗衡。但也許未來RISC-V就像Linux一樣，最終成為全球范圍內的主流指令集生態，產品遍及方方面面。

僅2020年，RISC-V International（RVI，RISC-V基金會遷入瑞士之後的新名稱）的會員數增長了133%。其實RVI遷入瑞士這件事情本身也意義重大，是一次開源領域面對大國競爭保持初心不「選邊站」的經典案例，值得全球其他開源基金會參考。

在國內，2019年底，華為公司牽頭，中國科學院軟體研究所、麒麟軟體等參與的openEuler操作系統開源社區正式成立。在短短的兩年內，社區已經匯聚了7000名活躍開發者，完成8000多個自主維護的開源軟體包，催生了10多家廠商的商業發行版。

這是中國基礎軟體領域第一個真正意義上的「根社區」，雖然與20多年 歷史 的Debian、Fedora還有差距，但邁出了重要一步，對學術研究、技術研發、產業創新來說，終於有了國內主導的、可以長期積淀的新平台。

同時，華為在遭遇安卓操作系統GMS（谷歌移動服務）海外斷供之後，推出了鴻蒙操作系統HarmonyOS，並在開放原子開源基金會下啟動開源項目OpenHarmony。

目前OpenHarmony短時間內已經吸引了國內眾多廠商參與，也側面反映了國內產業界對新一代萬物互聯操作系統的旺盛需求。盡管其在生態規模和技術完整程度方面與安卓仍有差距，但畢竟邁出了打造自主生態的第一步。

這相當於為源代碼合理使用劃定了一個邊界，即合理使用僅限於介面，一旦深入到介面的實現代碼，則需要遵守相關許可。這對開源知識產權的法律界定具有重要參考意義。

今年5月，《2021中國開源發展藍皮書》重磅發布。它不僅系統梳理了我國開源人才、項目、社區、組織、教育、商業的現狀，並給出發展建議，而且為國家政府相關管理部門制定開源政策、布局開源戰略提供參考，為科研院所、 科技 企業以及開源從業者提供更多的案例參考和數據支撐。

而不論是開源軟體向圍繞開放指令集的開源軟硬體生態發展，還是開源有嚴格的法律邊界約束，抑或是國內龍頭企業正嘗試通過開源 探索 解決「卡脖子」問題，且已經取得了一定的效果……眾多案例都指向一個方向——開源趨勢不可阻擋。因為它源自人類分享知識、協同創造的天性，也是人類文明在數字時代薪火相傳的重要模式。

當然，不可否認的是，開源還存在很多問題，例如，開源軟體供應鏈安全的問題。這里的安全既有傳統意義上軟體質量、安全漏洞的問題，也有開源軟體無法得到持續有效維護的問題（如OpenSSL在出現HeartBleed問題時只有兩位兼職維護者，log4j出現問題時只有三位兼職維護者），更有大國競爭導致的「斷供」問題（如GitHub曾限制伊朗開發者訪問）。

隨著開源軟體向GitHub這類商業平台的集中，這一問題會更加突出，甚至演變為重大風險。開源軟體這一本應屬於全人類的智慧資產，可能變為實施「長臂管轄」的武器。為了避免這一問題，開源代碼託管平台、開源軟體構建發布平台等公共基礎設施需要「去中心化」。世界需要多個開源軟體基礎設施，以最大程度消除政治力量對開源社區的威脅。

對於中國來說，隨著開源軟體成為眾多科研、工業等重大基礎設施的重要支撐部分，開源軟體本身也要有一個基礎設施，具備代碼託管、編譯、構建、測試、發布、運維等功能，保證開源軟體供應的安全性和連續性，進而增強各行各業使用開源軟體的信心。

未來，核心技術創新與開源貢獻引領將成為國內企業發展的新動力，或將我國開源事業推向另一個高潮。

8. 大數據的核心技術有哪些

大數據技術的體系龐大且復雜，基礎的技術包含數據的採集、數據版預處理、分布權式存儲、資料庫、數據倉庫、機器學習、並行計算、可視化等。

1、數據採集與預處理：

Flume NG實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據；

Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。

2、數據存儲：

Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。

HBase，是一個分布式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。

3、數據清洗：MapRece作為Hadoop的查詢引擎，用於大規模數據集的並行計算

4、數據查詢分析：

Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供 HQL(Hive SQL)查詢功能。

Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。

5、數據可視化：對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。

9. 大數據技術包括哪些

大數據技術包括數據收集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測、結果呈現。

1、數據收集：在大數據的生命周期中，數據採集處於第一個環節。根據MapRece產生數據的應用系統分類，大數據的採集主要有4種來源：管理信息系統、Web信息系統、物理信息系統、科學實驗系統。

2、數據存取：大數據的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據，

3、基礎架構：雲存儲、分布式文件存儲等。

4、數據處理：對於採集到的不同的數據集，可能存在不同的結構和模式，如文件、XML 樹、關系表等，表現為數據的異構性。對多個異構的數據集，需要做進一步集成處理或整合處理，將來自不同數據集的數據收集、整理、清洗、轉換後，生成到一個新的數據集，為後續查詢和分析處理提供統一的數據視圖。

5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。

6、數據挖掘：目前，還需要改進已有數據挖掘和機器學習技術；開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突破基於對象的數據連接、相似性連接等大數據融合技術；突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。

7、模型預測：預測模型、機器學習、建模模擬。

8、結果呈現：雲計算、標簽雲、關系圖等。