大數據存儲和應用

㈠ 大數據怎麼應用，大數據是什麼

大數據:
大數據（big data），是指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據進行分析處理。大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。
對於「大數據」（Big data）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
根據維基網路的定義，大數據是指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。
大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。
從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘，但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。[1]
隨著雲時代的來臨，大數據（Big data）也吸引了越來越多的關注。《著雲台》的分析師團隊認為，大數據（Big data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）資料庫、數據挖掘電網、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。
最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
意義:
有人把數據比喻為蘊[4] 藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模數據是成為贏得競爭的關鍵。
大數據的價值體現在以下幾個方面：
1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷;
2) 做小而美模式的中長尾企業可以利用大數據做服務轉型;
3) 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。

㈡ 大數據存儲與應用特點及技術路線分析

大數據存儲與應用特點及技術路線分析

大數據時代，數據呈爆炸式增長。從存儲服務的發展趨勢來看，一方面，對數據的存儲量的需求越來越大；另一方面，對數據的有效管理提出了更高的要求。大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

大數據存儲與應用的特點分析

「大數據」是由數量巨大、結構復雜、類型眾多數據構成的數據集合，是基於雲計算的數據處理與應用模式，通過數據的整合共享，交叉復用形成的智力資源和知識服務能力。其常見特點可以概括為3V:Volume、Velocity、Variety(規模大、速度快、多樣性)。

大數據具有數據規模大(Volume)且增長速度快的特性，其數據規模已經從PB級別增長到EB級別，並且仍在不斷地根據實際應用的需求和企業的再發展繼續擴容，飛速向著ZB(ZETA-BYTE)的規模進軍。以國內最大的電子商務企業淘寶為例，根據淘寶網的數據顯示，至2011年底，淘寶網最高單日獨立用戶訪問量超過1.2億人，比2010年同期增長120%,注冊用戶數量超過4億，在線商品數量達到8億，頁面瀏覽量達到20億規模，淘寶網每天產生4億條產品信息，每天活躍數據量已經超過50TB.所以大數據的存儲或者處理系統不僅能夠滿足當前數據規模需求，更需要有很強的可擴展性以滿足快速增長的需求。

(1)大數據的存儲及處理不僅在於規模之大，更加要求其傳輸及處理的響應速度快(Velocity)。

相對於以往較小規模的數據處理，在數據中心處理大規模數據時，需要服務集群有很高的吞吐量才能夠讓巨量的數據在應用開發人員「可接受」的時間內完成任務。這不僅是對於各種應用層面的計算性能要求，更加是對大數據存儲管理系統的讀寫吞吐量的要求。例如個人用戶在網站選購自己感興趣的貨物，網站則根據用戶的購買或者瀏覽網頁行為實時進行相關廣告的推薦，這需要應用的實時反饋;又例如電子商務網站的數據分析師根據購物者在當季搜索較為熱門的關鍵詞，為商家提供推薦的貨物關鍵字，面對每日上億的訪問記錄要求機器學習演算法在幾天內給出較為准確的推薦，否則就丟失了其失效性；更或者是計程車行駛在城市的道路上，通過GPS反饋的信息及監控設備實時路況信息，大數據處理系統需要不斷地給出較為便捷路徑的選擇。這些都要求大數據的應用層可以最快的速度，最高的帶寬從存儲介質中獲得相關海量的數據。另外一方面，海量數據存儲管理系統與傳統的資料庫管理系統，或者基於磁帶的備份系統之間也在發生數據交換，雖然這種交換實時性不高可以離線完成，但是由於數據規模的龐大，較低的數據傳輸帶寬也會降低數據傳輸的效率，而造成數據遷移瓶頸。因此大數據的存儲與處理的速度或是帶寬是其性能上的重要指標。

(2)大數據由於其來源的不同，具有數據多樣性的特點。

所謂多樣性，一是指數據結構化程度，二是指存儲格式，三是存儲介質多樣性。對於傳統的資料庫，其存儲的數據都是結構化數據，格式規整，相反大數據來源於日誌、歷史數據、用戶行為記錄等等，有的是結構化數據，而更多的是半結構化或者非結構化數據，這也正是傳統資料庫存儲技術無法適應大數據存儲的重要原因之一。所謂存儲格式，也正是由於其數據來源不同，應用演算法繁多，數據結構化程度不同，其格式也多種多樣。例如有的是以文本文件格式存儲，有的則是網頁文件，有的是一些被序列化後的比特流文件等等。所謂存儲介質多樣性是指硬體的兼容，大數據應用需要滿足不同的響應速度需求，因此其數據管理提倡分層管理機制，例如較為實時或者流數據的響應可以直接從內存或者Flash(SSD)中存取，而離線的批處理可以建立在帶有多塊磁碟的存儲伺服器上，有的可以存放在傳統的SAN或者NAS網路存儲設備上，而備份數據甚至可以存放在磁帶機上。因而大數據的存儲或者處理系統必須對多種數據及軟硬體平台有較好的兼容性來適應各種應用演算法或者數據提取轉換與載入(ETL)。

大數據存儲技術路線最典型的共有三種：

第一種是採用MPP架構的新型資料庫集群，重點面向行業大數據，採用Shared Nothing架構，通過列存儲、粗粒度索引等多項大數據處理技術，再結合MPP架構高效的分布式計算模式，完成對分析類應用的支撐，運行環境多為低成本 PC Server，具有高性能和高擴展性的特點，在企業分析類應用領域獲得極其廣泛的應用。

這類MPP產品可以有效支撐PB級別的結構化數據分析，這是傳統資料庫技術無法勝任的。對於企業新一代的數據倉庫和結構化數據分析，目前最佳選擇是MPP資料庫。

第二種是基於Hadoop的技術擴展和封裝，圍繞Hadoop衍生出相關的大數據技術，應對傳統關系型資料庫較難處理的數據和場景，例如針對非結構化數據的存儲和計算等，充分利用Hadoop開源的優勢，伴隨相關技術的不斷進步，其應用場景也將逐步擴大，目前最為典型的應用場景就是通過擴展和封裝 Hadoop來實現對互聯網大數據存儲、分析的支撐。這裡面有幾十種NoSQL技術，也在進一步的細分。對於非結構、半結構化數據處理、復雜的ETL流程、復雜的數據挖掘和計算模型，Hadoop平台更擅長。

第三種是大數據一體機，這是一種專為大數據的分析處理而設計的軟、硬體結合的產品，由一組集成的伺服器、存儲設備、操作系統、資料庫管理系統以及為數據查詢、處理、分析用途而特別預先安裝及優化的軟體組成，高性能大數據一體機具有良好的穩定性和縱向擴展性。

以上是小編為大家分享的關於大數據存儲與應用特點及技術路線分析的相關內容，更多信息可以關注環球青藤分享更多干貨

㈢ 大數據技術與應用專業學什麼的 有哪些課程

大數據技術與應用作為高校計算機類專業，學習的課程包括面向對象程序設計、Hadoop實用技術、數據挖掘、機器學習、數據統計分析等。

大數據技術與應用專業課程

面向對象程序設計、Hadoop實用技術、數據挖掘、機器學習、數據統計分析、高等數學、Python編程、JAVA編程、資料庫技術、Web開發、Linux操作系統、大數據平台搭建及運維、大數據應用開發、可視化設計與開發等。

大數據技術與應用專業

大數據技術被滲透到社會的方方面面，醫療衛生、商業分析、國家安全、食品安全、金融安全等方面。2014年，從大數據作為國家重要的戰略資源和加快實現創新發展的高度，在全社會形成「用數據來說話、用數據來管理、用數據來決策、用數據來創新」的文化氛圍與時代特徵。大數據科學將成為計算機科學、人工智慧技術（虛擬現實、商業機器人、自動駕駛、全能的自然語言處理）、數字經濟及商業、物聯網應用、還有各個人文社科領域發展的核心。

大數據技術與應用的前景和方向：

1、大數據系統研發工程師

該專業人才負責大數據系統研發，包括大規模非結構化數據業務模型構建、大數據存儲、資料庫構設、優化資料庫構架、解決資料庫中心設計等。

2、大數據應用開發工程師

此類人才負責搭建大數據應用平台以及開發分析應用程序，他們必須熟悉工具或演算法、編程、優化以及部署不同的MapRece，他們研發各種基於大數據技術的應用程序及行業解決方案。其中，ETL開發者是很搶手的人才。

3、大數據分析師

此類人才主要從事數據挖掘工作，運用演算法來解決和分析問題，讓數據顯露出真相，同時，他們還推動數據解決方案的不斷更新。

㈣ 大數據處理的五大關鍵技術及其應用

作者 | 網路大數據

來源 | 產業智能官

數據處理是對紛繁復雜的海量數據價值的提煉，而其中最有價值的地方在於預測性分析，即可以通過數據可視化、統計模式識別、數據描述等數據挖掘形式幫助數據科學家更好的理解數據，根據數據挖掘的結果得出預測性決策。其中主要工作環節包括：

大數據採集 大數據預處理 大數據存儲及管理 大數據分析及挖掘 大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。

一、大數據採集技術

數據是指通過RFID射頻數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得的各種類型的結構化、半結構化(或稱之為弱結構化)及非結構化的海量數據，是大數據知識服務模型的根本。重點要突破分布式高速高可靠數據爬取或採集、高速數據全映像等大數據收集技術;突破高速數據解析、轉換與裝載等大數據整合技術;設計質量評估模型，開發數據質量技術。

大數據採集一般分為：

大數據智能感知層：主要包括數據感測體系、網路通信體系、感測適配體系、智能識別體系及軟硬體資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。

基礎支撐層：提供大數據服務平台所需的虛擬伺服器，結構化、半結構化及非結構化數據的資料庫及物聯網路資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化介面技術，大數據的網路傳輸與壓縮技術，大數據隱私保護技術等。

二、大數據預處理技術

完成對已接收數據的辨析、抽取、清洗等操作。

抽取：因獲取的數據可能具有多種結構和類型，數據抽取過程可以幫助我們將這些復雜的數據轉化為單一的或者便於處理的構型，以達到快速分析處理的目的。

清洗：對於大數據，並不全是有價值的，有些數據並不是我們所關心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾「去噪」從而提取出有效數據。

三、大數據存儲及管理技術

大數據存儲與管理要用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。重點解決復雜結構化、半結構化和非結構化大數據管理與處理技術。主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開發可靠的分布式文件系統(DFS)、能效優化的存儲、計算融入存儲、大數據的去冗餘及高效低成本的大數據存儲技術;突破分布式非關系型大數據管理與處理技術，異構數據的數據融合技術，數據組織技術，研究大數據建模技術;突破大數據索引技術;突破大數據移動、備份、復制等技術;開發大數據可視化技術。

開發新型資料庫技術，資料庫分為關系型資料庫、非關系型資料庫以及資料庫緩存系統。其中，非關系型資料庫主要指的是NoSQL資料庫，分為：鍵值資料庫、列存資料庫、圖存資料庫以及文檔資料庫等類型。關系型資料庫包含了傳統關系資料庫系統以及NewSQL資料庫。

開發大數據安全技術：改進數據銷毀、透明加解密、分布式訪問控制、數據審計等技術;突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術。

四、大數據分析及挖掘技術

大數據分析技術：改進已有數據挖掘和機器學習技術;開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。

數據挖掘就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

數據挖掘涉及的技術方法很多，有多種分類法。根據挖掘任務可分為分類或預測模型發現、數據總結、聚類、關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等;根據挖掘對象可分為關系資料庫、面向對象資料庫、空間資料庫、時態資料庫、文本數據源、多媒體資料庫、異質資料庫、遺產資料庫以及環球網Web;根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網路方法和資料庫方法。

機器學習中，可細分為歸納學習方法(決策樹、規則歸納等)、基於範例學習、遺傳演算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網路方法中，可細分為:前向神經網路(BP演算法等)、自組織神經網路(自組織特徵映射、競爭學習等)等。資料庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。

數據挖掘主要過程是：根據分析挖掘目標，從資料庫中把數據提取出來，然後經過ETL組織成適合分析挖掘演算法使用寬表，然後利用數據挖掘軟體進行挖掘。傳統的數據挖掘軟體，一般只能支持在單機上進行小規模數據處理,受此限制傳統數據分析挖掘一般會採用抽樣方式來減少數據分析規模。

數據挖掘的計算復雜度和靈活度遠遠超過前兩類需求。一是由於數據挖掘問題開放性，導致數據挖掘會涉及大量衍生變數計算，衍生變數多變導致數據預處理計算復雜性;二是很多數據挖掘演算法本身就比較復雜，計算量就很大，特別是大量機器學習演算法，都是迭代計算，需要通過多次迭代來求最優解，例如K-means聚類演算法、PageRank演算法等。

從挖掘任務和挖掘方法的角度，著重突破：

可視化分析。數據可視化無論對於普通用戶或是數據分析專家，都是最基本的功能。數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。 數據挖掘演算法。圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的演算法讓我們精煉數據，挖掘價值。這些演算法一定要能夠應付大數據的量，同時還具有很高的處理速度。 預測性分析。預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。 語義引擎。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統等。 數據質量和數據管理。數據質量與管理是管理的最佳實踐，透過標准化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。

預測分析成功的7個秘訣

預測未來一直是一個冒險的命題。幸運的是，預測分析技術的出現使得用戶能夠基於歷史數據和分析技術(如統計建模和機器學習)預測未來的結果，這使得預測結果和趨勢變得比過去幾年更加可靠。

盡管如此，與任何新興技術一樣，想要充分發揮預測分析的潛力也是很難的。而可能使挑戰變得更加復雜的是，由不完善的策略或預測分析工具的誤用導致的不準確或誤導性的結果可能在幾周、幾個月甚至幾年內才會顯現出來。

預測分析有可能徹底改變許多的行業和業務，包括零售、製造、供應鏈、網路管理、金融服務和醫療保健。AI網路技術公司Mist Systems的聯合創始人、首席技術官Bob fridy預測:「深度學習和預測性AI分析技術將會改變我們社會的所有部分，就像十年來互聯網和蜂窩技術所帶來的轉變一樣。」。

這里有七個建議，旨在幫助您的組織充分利用其預測分析計劃。

1.能夠訪問高質量、易於理解的數據

預測分析應用程序需要大量數據，並依賴於通過反饋循環提供的信息來不斷改進。全球IT解決方案和服務提供商Infotech的首席數據和分析官Soumendra Mohanty評論道:「數據和預測分析之間是相互促進的關系。」

了解流入預測分析模型的數據類型非常重要。「一個人身上會有什麼樣的數據?」 Eric Feigl - Ding問道，他是流行病學家、營養學家和健康經濟學家，目前是哈佛陳氏公共衛生學院的訪問科學家。「是每天都在Facebook和谷歌上收集的實時數據，還是難以訪問的醫療記錄所需的醫療數據?」為了做出准確的預測，模型需要被設計成能夠處理它所吸收的特定類型的數據。

簡單地將大量數據扔向計算資源的預測建模工作註定會失敗。「由於存在大量數據，而其中大部分數據可能與特定問題無關，只是在給定樣本中可能存在相關關系，」FactSet投資組合管理和交易解決方案副總裁兼研究主管Henri Waelbroeck解釋道，FactSet是一家金融數據和軟體公司。「如果不了解產生數據的過程，一個在有偏見的數據上訓練的模型可能是完全錯誤的。」

2.找到合適的模式

SAP高級分析產品經理Richard Mooney指出，每個人都痴迷於演算法，但是演算法必須和輸入到演算法中的數據一樣好。「如果找不到適合的模式，那麼他們就毫無用處，」他寫道。「大多數數據集都有其隱藏的模式。」

模式通常以兩種方式隱藏:

模式位於兩列之間的關系中。例如，可以通過即將進行的交易的截止日期信息與相關的電子郵件開盤價數據進行比較來發現一種模式。Mooney說:「如果交易即將結束，電子郵件的公開率應該會大幅提高，因為買方會有很多人需要閱讀並審查合同。」

模式顯示了變數隨時間變化的關系。「以上面的例子為例，了解客戶打開了200次電子郵件並不像知道他們在上周打開了175次那樣有用，」Mooney說。

3 .專注於可管理的任務，這些任務可能會帶來積極的投資回報

紐約理工學院的分析和商業智能主任Michael Urmeneta稱:「如今，人們很想把機器學習演算法應用到海量數據上，以期獲得更深刻的見解。」他說，這種方法的問題在於，它就像試圖一次治癒所有形式的癌症一樣。Urmeneta解釋說:「這會導致問題太大，數據太亂——沒有足夠的資金和足夠的支持。這樣是不可能獲得成功的。」

而當任務相對集中時，成功的可能性就會大得多。Urmeneta指出:「如果有問題的話，我們很可能會接觸到那些能夠理解復雜關系的專家」 。「這樣，我們就很可能會有更清晰或更好理解的數據來進行處理。」

4.使用正確的方法來完成工作

好消息是，幾乎有無數的方法可以用來生成精確的預測分析。然而，這也是個壞消息。芝加哥大學NORC (前國家意見研究中心)的行為、經濟分析和決策實踐主任Angela Fontes說:「每天都有新的、熱門的分析方法出現，使用新方法很容易讓人興奮」。「然而，根據我的經驗，最成功的項目是那些真正深入思考分析結果並讓其指導他們選擇方法的項目——即使最合適的方法並不是最性感、最新的方法。」

羅切斯特理工學院計算機工程系主任、副教授shanchie Jay Yang建議說:「用戶必須謹慎選擇適合他們需求的方法」。「必須擁有一種高效且可解釋的技術，一種可以利用序列數據、時間數據的統計特性，然後將其外推到最有可能的未來，」Yang說。

5.用精確定義的目標構建模型

這似乎是顯而易見的，但許多預測分析項目開始時的目標是構建一個宏偉的模型，卻沒有一個明確的最終使用計劃。「有很多很棒的模型從來沒有被人使用過，因為沒有人知道如何使用這些模型來實現或提供價值，」汽車、保險和碰撞修復行業的SaaS提供商CCC信息服務公司的產品管理高級副總裁Jason Verlen評論道。

對此，Fontes也表示同意。「使用正確的工具肯定會確保我們從分析中得到想要的結果……」因為這迫使我們必須對自己的目標非常清楚，」她解釋道。「如果我們不清楚分析的目標，就永遠也不可能真正得到我們想要的東西。」

6.在IT和相關業務部門之間建立密切的合作關系

在業務和技術組織之間建立牢固的合作夥伴關系是至關重要的。客戶體驗技術提供商Genesys的人工智慧產品管理副總裁Paul lasserr說:「你應該能夠理解新技術如何應對業務挑戰或改善現有的業務環境。」然後，一旦設置了目標，就可以在一個限定范圍的應用程序中測試模型，以確定解決方案是否真正提供了所需的價值。

7.不要被設計不良的模型誤導

模型是由人設計的，所以它們經常包含著潛在的缺陷。錯誤的模型或使用不正確或不當的數據構建的模型很容易產生誤導，在極端情況下，甚至會產生完全錯誤的預測。

沒有實現適當隨機化的選擇偏差會混淆預測。例如，在一項假設的減肥研究中，可能有50%的參與者選擇退出後續的體重測量。然而，那些中途退出的人與留下來的人有著不同的體重軌跡。這使得分析變得復雜，因為在這樣的研究中，那些堅持參加這個項目的人通常是那些真正減肥的人。另一方面，戒煙者通常是那些很少或根本沒有減肥經歷的人。因此，雖然減肥在整個世界都是具有因果性和可預測性的，但在一個有50%退出率的有限資料庫中，實際的減肥結果可能會被隱藏起來。

六、大數據展現與應用技術

大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。

在我國，大數據將重點應用於以下三大領域：商業智能 、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。

㈤ 第三章 大數據存儲

一，HDFS的基本特徵與構架
1.基本特徵
（1）大規模數據分布存儲能力：以分布式存儲能力和良好的可擴展性。（基於大量分布節點上的本地文件系統，構建一個邏輯上具有巨大容量的分布式文件系統，並且整個文件系統的容量可隨集群中節點的增加而線性擴展）
（2）高並發訪問能力：提供很高的數據訪問寬頻（高數據吞吐率），並且可以把帶寬的大小等比例擴展到集群中的全部節點上
（3）強大的容錯能力：（設計理念中硬體故障被視作常態）保證在經常有節點發生硬體故障的情況下正確檢測硬體故障，並且能自動從故障中快速恢復，確保數據不丟失（採用多副本數據塊形式存儲）
（4）順序式文件訪問：（大數據批處理都是大量簡單數據記錄的順序處理）對順序讀進行了優化，支持大量數據的快速順序讀出，代價是對於隨機的訪問負載較高
（5）簡單的一致性模型（一次寫多次讀）：支持大量數據的一次寫入，多次讀取；不支持已寫入數據的更新操作，但允許在文件尾部添加新的數據
（6）數據塊存儲模式：默認的塊大小是64MB。好處：減少元數據的數量，允許這些數據塊通過隨機方式選擇節點，分布存儲在不同地方
2.基本框架與工作過程
（1）基本組成結構與文件訪問過程
[1]HDFS；一個建立在一組分布式伺服器節點的本地文件系統之上的分布式文件系統（採用經典主-從結構）
[2]主控節點NameNode:
1）是一個主伺服器，用來管理整個文件系統的命名空間和元數據,以及處理來自外界的文件訪問請求
2）保存了文件系統的三中元數據
命名空間：整個分布式文件系統的目錄結構
數據塊與文件名的映射表
每個數據塊副本的位置信息，每一個數據塊默認有3個副本
[3]從節點DataNode：
1）用來實際存儲和管理文件的數據塊
2）為了防止數據丟失，每個數據塊默認有3個副本，且3個副本會分別復制在不同節點上，以避免一個節點失效造成一個數據塊的徹底丟失
[4]程序訪問文件時，實際文件數據流並不會通過NameNode傳送，而是從NameNode獲得所需訪問數據塊的存儲位置信息後，直接去訪問對應的DataNode獲取數據
[5]設計好處：
1）可以允許一個文件的數據能同時在不同DataNode上並發訪問，提高數據訪問的速度
2）減少NameNode的負擔，避免使NameNode成為數據訪問瓶頸
[6]基本訪問過程：
1）首先，用戶的應用程序通過HDFS的客戶端程序將文件名發送至NameNode
2）NameNode接收到文件名之後，在HDFS目錄中檢索文件名對應的數據塊，再根據數據塊信息找到保存數據塊的DataNode地址，講這些地址回送到客戶端
3）客戶端接收到這些DataNode地址之後，與這些DataNode並行的進行數據傳輸操作，同時將操作結果的相關日誌提交到NameNode
2.數據塊
（1）為了提高硬碟的效率，文件系統中最小的數據讀寫單元是數據塊
（2）HDFS數據塊的默認大小是64MB，實際部署中，可能會更多
（3）將數據塊設置大的原因是減少定址開銷的時間
（4）當應用發起數據傳輸請求：
[1]NameNode首先檢索文件對應的數據塊信息，找到數據塊對應的DataNode
[2]DataNode根據數據塊信息在自身的存儲中尋找相應的文件，進而與應用程序之間交換數據
[3]因為檢索過程是但進行，所以要增加數據塊大小，這樣就可以減少定址的頻度和時間開銷
3.命名空間
（1）文件命名遵循「目錄/子目錄/文件」格式
（2）通過命令行或者是API可以創建目錄，並且將文件保存在目錄中。可以對文件進行創建，刪除，重命名操作
（3）命令空間由NameNode管理。所有對命名空間的改動都會被記錄
（4）允許用戶配置文件在HDFS上保存的副本數量，保存的副本數稱作「副本因子」
4.通信協議
（1）採用TCP協議作為底層的支撐協議
（2）應用協議
[1]應用可以向NameNode主動發起TCP連接
[2]應用和NameNode交互協議稱為Client協議
[3]NameNode和DataNode交互的協議稱為DataNode協議
（3）用戶和DataNode的交互是通過發起遠程調用（RPC），並由NameNode響應來完成的。另外，NameNode不會主動發起遠程過程調用請求
5.客戶端：是用戶和HDFS通信最常見的渠道，部署的HDFS都會提供客戶端
二，HDFS可靠性設計
1.HDFS數據塊多副本存儲設計
（1）採用了在系統中保存多個副本的方式保存數據，且同一個數據塊的多個副本會存放在不同節點上
（2）優點：
[1]採用多副本，可以讓客戶從不同數據塊中讀取數據，加快傳輸速度
[2]HDFS的DataNode之間通過網路傳輸數據，如果採用多個副本可以判斷數據傳輸是否出錯
[3]多副本可以保證某個DataNode失效的情況下，不會丟失數據
2.可靠性的設計實現
（1）安全模式：
[1]HDFS啟動時，NameNode進入安全模式
[2]處於安全模式的NameNode不能做任何文本操作，甚至內部的副本創建不允許
[3]NameNode需要和各個DataNode通信，獲得其中保存的數據塊信息，並對數據塊信息進行檢查
[4]只有通過了NameNode檢查，一個數據塊被認為安全。當被認為安全的數據塊所佔比例達到某個閾值，NameNode退出
（2）SecondaryNmaeNode
[1]使用它來備份NameNode元數據，以便在其失效時能從中恢復出其上的元數據
[2]它充當NameNode的一個副本，本身並不處理任何請求。
[3]作用：周期性保存NameNode的元數據
（3）心跳包和副本重新創建
[1]心跳包：位於HDFS核心的NameNode，通過周期性的活動檢查DataNode的活動
[2]檢測到DataNode失效，保存在其上的數據不可用。則其上保存的副本需要重新創建這個副本，放到另外可用的地方
（4）數據一致性
[1]採用了數據校驗和機制
[2]創建文件時，HDFS會為這個文件生成一個校驗和，校驗和文件和文件本身保存在同一空間上，
[3]傳輸數據時會將數據與校驗和一起傳輸，應用收到數據後可以進行校驗
（5）租約
[1]防止同一個文件被多個人寫入數據
[2]NameNode保證同一個文件只會發放一個允許的租約，可以有效防止出現多人寫入的情況
（6）回滾
三，HDFS文件存儲組織與讀寫
1.文件數據的存儲組織
（1）NameNode目錄結構
[1]藉助本地文件系統來保存數據，保存文件夾位置由配置選項（{dfs.name.dir}/{/tmp/dfs/name}）決定
[2]在NameNode的${dfs.name.dir}之下有3個文件夾和1個文件：
1）current目錄：
文件VERSION:保存了當前運行的HDFS版本信息
FsImages:是整個系統的空間鏡像文件
Edit：EditLog編輯文件
Fstime：上一次檢查點時間
2）previous.checkpoint目錄：和上一個一致，但是保存的是上一次檢查點的內容
3）image目錄：舊版本的FsImage存儲位置
4）in_use.look:NameNode鎖，只在NameNode有效（啟動並且能和DataNode正常交互）時存在。
（2）DataNode目錄結構
[1]藉助本地文件系統來保存數據。保存文件夾位置由配置選項{dfs.data.dir}決定
[2]在其之下有4個子目錄和2個文件
1）current目錄：已經成功寫入的數據塊，以及一些系統需要的文件
a)文件VERSION：保存了當前運行的HDFS版本信息
b)subdirXX:當同一目錄下文件超過一定限制，新建一個目錄，保存多出來的數據塊和元數據
2）tmp目錄和blockBeingWritten目錄：正在寫入的數據塊，是HDFS系統內部副本創建時引發的寫入操作對應的數據塊
3）detach目錄：用於DataNode升級
4）Storage目錄：防止版本不同帶來風險
5）in_user.lock文件：DataNode鎖。只有在DataNode有效時存在。
（3）CheckPointNode目錄結構：和上一個基本一致
2.數據的讀寫過程
（1）數據讀取過程
[1]首先，客戶端調用FileSystem實例的open方法，獲得這個文件對應的輸入流，在HDFS中就是DFSInputStream
[2]構造第一步的輸入流時，通過RPC遠程調用NameNode可以獲得NameNode中此文件對應的數據塊保存位置，包括這個文件副本的保存位置（註：在輸入流中會按照網路拓撲結構，根據與客戶端距離對DataNode進行簡單排序）
[3]-[4]獲得此輸入流後，客戶端調用READ方法讀取數據。輸入流選擇最近的DFSInputStream會根據前面的排序結果，選擇最近的DataNode建立連接並讀取數據。
[5]如果已達到數據塊末端，關閉這個DataNode的連接，然後重新查找下一個數據塊
[6]客戶端調用close，關閉輸入流DFSInputStream
（2）數據輸入過程
[1]-[2]:客戶端調用FileSystem實例的create方法，創建文件。檢查後，在NameNode添加文件信息，創建結束之後，HDFS會返回一個輸出流DFSDataOutputStream給客戶端
[3]調用輸出流的write方法向HDFS中對應的文件寫入數據。
數據首先會被分包，這些分包會寫入一個輸出流的內部隊列Data隊列中，接收完整數據分包，輸出流回想NameNode申請保存文件和副本數據塊的若干個DataNode
[4]DFSDataOutputStream會（根據網路拓撲結構排序）將數據傳輸給距離上最短的DataNode，這個節點接收到數據包後傳給下一個。數據在各節點之間通過管道流通，減少傳輸開銷
[5]數據節點位於不同機器上，數據需要通過網路發送。（為保證數據節點數據正確，接收到數據的節點要向發送者發送確認包）
[6]執行3-5知道數據全部寫完，DFSDataInputStream繼續等待知道所有數據寫入完畢並確認，調用complete方法通知NameNode文件寫入完成
[7]NameNode接收到complete消息之後，等待相應數量的副本寫入完畢後，告知客戶端
傳輸過程，當某個DataNode失效，HDFS執行：
1）關閉數據傳輸的管道
2）將等待ACK隊列的數據放到Data隊列頭部
3）更新正常DataNode中所有數據塊版本。當失效的DataNode重啟，之前的數據塊會因為版本不對被清除
4）在傳輸管道中刪除失效的DataNode,重新建立管道並發送數據包
4.HDFS文件系統操作命令
（1）HDFS啟動與關閉
[1]啟動過程：
1）進入到NameNode對應節點的Hadoop安裝目錄
2）執行啟動腳本:bin/start-dfs.sh
[2]關閉過程:bin/stop-dfs.sh
（2）文件操作命令格式與注意事項
[1]基本命令格式：
1）bin/hadoop dfs-cmd <args> args-> scheme://authority/path
2）args參數基本格式前面是scheme，authority是機器地址和對應埠
a)本地文件，scheme是file
b)HDFS上文件，scheme是hdfs
（3）文件操作基本格式
[1]hadoop dfs-cat URL [URL ...]
[2]作用：將參數所指示文件內容輸出到stdout

㈥ 大數據關鍵技術有哪些

大數據關鍵技術涵蓋數據存儲、處理、應用等多方面的技術，根據大數據的處理過程，可將其分為大數據採集、大數據預處理、大數據存儲及管理、大數據處理、大數據分析及挖掘、大數據展示等。

1、大數據採集技術

大數據採集技術是指通過 RFID 數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得各種類型的結構化、半結構化及非結構化的海量數據。

因為數據源多種多樣，數據量大，產生速度快，所以大數據採集技術也面臨著許多技術挑戰，必須保證數據採集的可靠性和高效性，還要避免重復數據。

2、大數據預處理技術

大數據預處理技術主要是指完成對已接收數據的辨析、抽取、清洗、填補、平滑、合並、規格化及檢查一致性等操作。

因獲取的數據可能具有多種結構和類型，數據抽取的主要目的是將這些復雜的數據轉化為單一的或者便於處理的結構，以達到快速分析處理的目的。

3、大數據存儲及管理技術

大數據存儲及管理的主要目的是用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。

4、大數據處理

大數據的應用類型很多，主要的處理模式可以分為流處理模式和批處理模式兩種。批處理是先存儲後處理，而流處理則是直接處理。

(6)大數據存儲和應用擴展閱讀：

大數據無處不在，大數據應用於各個行業，包括金融、汽車、餐飲、電信、能源、體能和娛樂等在內的社會各行各業都已經融入了大數據的印跡。

1、製造業，利用工業大數據提升製造業水平，包括產品故障診斷與預測、分析工藝流程、改進生產工藝，優化生產過程能耗、工業供應鏈分析與優化、生產計劃與排程。

2、金融行業，大數據在高頻交易、社交情緒分析和信貸風險分析三大金融創新領域發揮重大作用。

3、汽車行業，利用大數據和物聯網技術的無人駕駛汽車，在不遠的未來將走入我們的日常生活。

4、互聯網行業，藉助於大數據技術，可以分析客戶行為，進行商品推薦和針對性廣告投放。

5、電信行業，利用大數據技術實現客戶離網分析，及時掌握客戶離網傾向，出台客戶挽留措施。

㈦ 大數據時代 大學哪些專業涉及大數據技術與應用

大數據時代 大學哪些專業涉及大數據技術與應用

早在1980年，未來學家阿爾文？托夫勒在 《第三次浪潮》一書中，就將大數據譽為「第三次浪潮的華彩樂章」。現在的大數據更是站在互聯網的風口浪尖上，是公眾津津樂道的熱門詞彙。同時這股熱潮也催熱了大學里的大數據專業。

到底什麼是大數據？本科專業中哪個專業是和它相對應的？一般開設在哪些院系？對外經濟貿易大學信息學院副院長華迎教授詳解這個大家關注的熱門專業。

一、專業解析

什麼是大數據？

進入互聯網時代，中國的網民人數已超7億，大數據的應用涉及到生活的方方面面。例如，你在網站上買書，商家就會根據你的喜好和其他購書者的評價給你推薦另外的書籍；手機定位數據和交通數據可以幫助城市規劃；甚至用戶的搜索習慣和股市都有很大關系。

在談到大數據的時候，人們往往知道的就是數據很大，但大數據≠大的數據。對外經濟貿易大學信息學院副院長華迎教授介紹：「現在的大數據包括來自於多種渠道的多類數據，其中主要來源網路數據。數據分析不是新的，一直都有，但是為什麼叫大數據呢？主要是因為網路數據的格式、體量、價值，都超出了傳統數據的規模。對這些海量信息的採集、存儲、分析、整合、控制而得到的數據就是大數據。大數據技術的意義不在於掌握龐大的數據信息，而在於對這些數據進行專業化處理，通過『加工』實現數據的『增值』，更好地輔助決策。」

數據科學與大數據技術專業

本科專業中和大數據相對應的是「數據科學與大數據技術」專業，它是2015年教育部公布的新增專業。2016年3月公布的《高校本科專業備案和審批結果》中，北京大學、對外經濟貿易大學和中南大學3所高校首批獲批開設「數據科學與大數據技術」專業。隨後第二年又有32所高校獲批「數據科學與大數據技術」專業。兩次獲批的名單中顯示，該專業學制為四年，大部分為工學。

「數據科學與大數據技術是個交叉性很強的專業，很難說完全歸屬於哪個獨立的學科。所以，不同的學校有的是信息學院申報，有的.是計算機學院牽頭申報，有的設在統計學院，還有的在經管學院。像北京大學這個專業是放在理學下，授予理學學位。大多數是設在工學計算機門類下，授予的是工學學位。」華迎教授說：「數據科學很早就存在，是個比較經典的學科，現在和大數據技術結合形成了這個專業。目前教育部設定的本科專業名稱為『數據科學與大數據技術』，專科名稱是『大數據技術與應用』。」

數據科學與大數據技術學什麼？

以對外經濟貿易大學該專業為例，專業知識結構包括數學、統計、計算機和大數據分析四大模塊，具體課程設置如下：

數學：數學分析一、數學分析二、高等代數、離散數學。統計學：概率論與數理統計、多元統計分析、隨機過程。計算機：數據結構、計算機組成原理、操作系統、資料庫系統原理、C++程序設計、Java程序設計、Python與大數據分析、科學計算與Matlab應用、R語言等。大數據分析：數據科學導論、機器學習與數據挖掘、信息檢索與數據處理、自然語言處理、智能計算、推薦系統原理、大數據分析技術基礎、數據可視化、大數據存儲與管理、大數據分析實踐等課程。

華迎教授介紹：「數據科學與大數據技術是一門實踐性很強的新興交叉復合型學科，無論是開設在哪個學院下，數學、統計學、計算機三大塊課程是必須得有。各高校在這幾門背景學科的基礎上，交叉融合其他的專業知識技能。如我校在數學、統計學、計算機知識體系模塊中又增加了體現學校特色的財經類行業應用和外語模塊，以提升學生的行業應用能力和國際化水平。根據各校偏重的專業方向，課程設置有所差異，感興趣的同學可以具體查看各校的專業和課程設置情況。」

二、專業與就業

行業增速快 人才缺口180萬

隨著移動互聯網和智能終端的普及，信息技術與經濟社會的交匯融合，引發了數據迅猛增長。新摩爾定律認為，人類有史以來的數據總量，每過18個月就會翻一番。而海量的數據蘊含著巨大生產力和商機。

2011年至2014年四年間，我國大數據處於起步階段，每年均增長在20%以上。2015年，大數據市場規模已達到98.9億元。2016年增速達到45%，超過160億元。預計2020年，我國大數據市場規模將超過8000億元，有望成世界第一數據資源大國。但數據開放度低、技術薄弱、人才缺失、行業應用不深入等都是產業發展中亟待解決的問題。

根據領英發布《2016年中國最熱職位人才報告》顯示，有六類熱門職位的人才當前都處於供不應求狀態，稀缺程度各有不同，其中，數據分析人才的供給指數最低，僅為0.05，屬於高度稀缺。

中國商業聯合會數據分析專業委員會資料顯示，未來3至5年，中國需要180萬數據人才，但截至目前，中國大數據從業人員只有約30萬人。同時，大數據行業選才的標准也在不斷變化。初期，大數據人才的需求主要集中在ETL研發、系統架構開發、數據倉庫研究等偏硬體領域，以IT、計算機背景的人才居多。隨著大數據往各垂直領域延伸發展，對統計學、數學專業的人才，數據分析、數據挖掘、人工智慧等偏軟體領域的需求加大。

大數據主要就業方向

2015年9月國務院印發《促進大數據發展行動綱要》，系統部署大數據發展工作。《綱要》明確提出了七方面政策機制，其中第六條就是加強專業人才培養，建立健全多層次、多類型的大數據人才培養體系。目前，大數據主要有三大就業方向：大數據系統研發類、大數據應用開發類和大數據分析類。具體崗位如：大數據分析師、大數據工程師等。

「大數據分析師是用適當的統計分析方法對收集來的大量數據進行分析，強調的是數據的應用，側重於統計層面內容會多一些。比如做產品經理，可以通過數據建立金融模型，來推出一些理財產品。而大數據工程師則側重於技術，主要是圍繞大數據平台系統級的研發，偏開發層面。」華迎教授介紹：「我們把大數據分析在業務中使用的流程總結起來，分為以下幾個步驟：數據獲取和預處理、數據存儲管理、數據分析建模、數據可視化。在這個應用流程中，畢業生可以根據自己的興趣和特長，在不同的環節選擇就業。」

三、報考指南

院校開設情況

教育部關於公布2015年度普通高等學校本科專業備案和審批結果的通知教育部關於公布2016年度普通高等學校本科專業備案和審批結果的通知在「教育部2015年度普通高等學校本科專業備案和審批結果」中北京大學、中南大學、對外經貿大學成為首批開設 「數據科學與大數據技術」本科專業的高校，隨後中國人民大學、北京郵電大學、復旦大學等32所高校成為第二批成功申請該專業的高校。目前，我國已有35所高校獲批「數據科學與大數據技術」本科專業，第三批申請結果也即將公布。

數據科學與大數據技術是個交叉性強、跨學科的專業，很難說是完全歸屬與那個獨立的學科。高校牽頭申報的學院不同，培養重點和授予的學位可能不一樣。因為課程來自於不同的學院，也有高校是聯合一些學院單獨成立機構來申報。從名單可以看出，在大部分開設院校中該專業都屬於工學類，有個別院校將其歸屬在理學門類，授予理學學位。

有志於學習數據科學與大數據技術專業的學生，可以從大學的傳統優勢領域和行業背景考慮選擇。比如，復旦大學的大數據技術本科專業是設在大數據學院下；北京大學是在數學院開設了該專業，偏數學的內容更多一些。對外經濟貿易大學該專業設在信息學院，因為財經是學校傳統優勢，專業還會偏重經濟、金融等相關學科領域的知識。

錄取分數不低

從2017年數據科學與大數據技術專業的錄取情況看，該專業的錄取分數還是比較高的。以對外經濟貿易大學和重慶理工大學為例，2017年對外經貿大學數據科學與大數據技術專業在京理科一批錄取最高分653分，最低分646分，平均分650分，平均分高出北京一本批次線113分。

重慶理工大學理學院院長李波介紹，學校理學院有金融數學、數學與應用數學、信息與計算科學、應用統計學、應用物理學、新能源科學與工程專業，數據科學與大數據技術是2017年獲批後開設的。盡管該專業屬於本科二批招生，但首批數據科學與大數據技術專業所招73名學生的平均分超一本線20分左右，並且第一志願錄取率達百分之百。

只招理科生 注意大類招生

考生報考時要注意，目前獲批開設的院校並非在所有省都有招生計劃，還有的高校是按大類招生。如北京郵電大學該專業2017年本科就是按計算機大類招生。隨著各省高考改革的實施，越來越多的省份加入新高考的序列，未來會有更多的高校施行按大類招生。

值得注意的是，數據科學與大數據技術只招理科生，但女生的比例並不低。據華迎教授介紹：「第一年招生時，我們以為這純工科專業絕大部分都會是男生報考，錄取後發現女生還是很多的，女生比例大概佔了這個專業總人數的一半兒。」 重慶理工大學2017年的首批73名學生中，男生45人，女生28人，女生比例占總人數38%。

㈧ 傳統大數據存儲的架構有哪些各有什麼特點

數據時代，移動互聯、社交網路、數據分析、雲服務等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業連鎖、醫療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統成為大數據基礎架構中最為關鍵的核心。

傳統的數據中心無論是在性能、效率，還是在投資收益、安全，已經遠遠不能滿足新興應用的需求，數據中心業務急需新型大數據處理中心來支撐。除了傳統的高可靠、高冗餘、綠色節能之外，新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特徵，才能滿足具備大數據特徵的應用需求。這些史無前例的需求，讓存儲系統的架構和功能都發生了前所未有的變化。

基於大數據應用需求，「應用定義存儲」概念被提出。存儲系統作為數據中心最核心的數據基礎，不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特徵之外，還要有虛擬化、並行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點，才能滿足具備大數據特徵的業務應用需求。

尤其在雲安防概念被熱炒的時代，隨著高清技術的普及，720P、1080P隨處可見，智能和高清的雙向需求、動輒500W、800W甚至上千萬更高解析度的攝像機面市，大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

目前市場上的存儲架構如下：

(1)基於嵌入式架構的存儲系統

節點NVR架構主要面向小型高清監控系統，高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房，存儲容量相對較小，用戶體驗度、系統功能集成度要求較高。在市場應用層面，超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。

(2)基於X86架構的存儲系統

平台SAN架構主要面向中大型高清監控系統，前端路數成百上千甚至上萬。一般多採用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平台的重要組成部分，前端監控數據通過錄像存儲管理模塊存儲到SAN中。

此種架構接入高清前端路數相對節點NVR有了較高提升，具備快捷便利的可擴展性，技術成熟。對於IPSAN而言，雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗，但其憑借擴展性良好、硬體平台通用、海量數據可充分共享等優點，仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲系統中應用較多，比如縣級或地級市高清監控項目，大數據量的並發讀寫對千兆網路交換提出了較大的挑戰，但應用FCSAN構建相對獨立的存儲子系統，可以有效解決上述問題。

面對視頻監控系統大文件、隨機讀寫的特點，平台SAN架構系統不同存儲單元之間的數據共享冗餘方面還有待提高;從高性能伺服器轉發視頻數據到存儲空間的策略，從系統架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬體數據並發性能、接入前端數據較少。上述問題催生了平台NVR架構解決方案。

該方案在系統架構上省去了存儲伺服器，消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統的寫入和檢索速度;同時也徹底消除了傳統文件系統由於供電和網路的不穩定帶來的文件系統損壞等問題。

平台NVR中存儲的數據可同時供多個客戶端隨時查詢，點播，當用戶需要查看多個已保存的視頻監控數據時，可通過授權的視頻監控客戶端直接查詢並點播相應位置的視頻監控數據進行歷史圖像的查看。由於數據管理伺服器具有監控系統所有監控點的錄像文件的索引，因此通過平台CMS授權，視頻監控客戶端可以查詢並點播整個監控系統上所有監控點的數據，這個過程對用戶而言也是透明的。

(3)基於雲技術的存儲方案

當前，安防行業可謂「雲」山「物」罩。隨著視頻監控的高清化和網路化，存儲和管理的視頻數據量已有海量之勢，雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務，在未來安防監控行業有著可觀的應用前景。

與傳統存儲設備不同，雲存儲不僅是一個硬體，而是一個由網路設備、存儲設備、伺服器、軟體、接入網路、用戶訪問介面以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心，通過應用層軟體對外提供數據存儲和業務服務。

一般分為存儲層、基礎管理層、應用介面層以及訪問層。存儲層是雲存儲系統的基礎，由存儲設備(滿足FC協議、iSCSI協議、NAS協議等)構成。基礎管理層是雲存儲系統的核心，其擔負著存儲設備間協同工作，數據加密，分發以及容災備份等工作。應用介面層是系統中根據用戶需求來開發的部分，根據不同的業務類型，可以開發出不同的應用服務介面。訪問層指授權用戶通過應用介面來登錄、享受雲服務。其主要優勢在於：硬體冗餘、節能環保、系統升級不會影響存儲服務、海量並行擴容、強大的負載均衡功能、統一管理、統一向外提供服務，管理效率高，雲存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進行了優化設計。數據傳輸可採用流方式，底層採用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。

高清監控存儲是一種大碼流多並發寫為主的存儲應用，對性能、並發性和穩定性等方面有很高的要求。該存儲解決方案採用獨特的大緩存順序化演算法，把多路隨機並發訪問變為順序訪問，解決了硬碟磁頭因頻繁尋道而導致的性能迅速下降和硬碟壽命縮短的問題。

針對系統中會產生PB級海量監控數據，存儲設備的數量達數十台上百台，因此管理方式的科學高效顯得十分重要。雲存儲可提供基於集群管理技術的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬體運行狀態的監控、主動報警，圖像化系統檢測等功能。在海量視頻存儲檢索應用中，檢索性能尤為重要。傳統文件系統中，文件檢索採用的是「目錄-》子目錄-》文件-》定位」的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀，這種檢索模式的效率就會大打折扣。採用序號文件定位可以有效解決該問題。

雲存儲可以提供非常高的的系統冗餘和安全性。當在線存儲系統出現故障後，熱備機可以立即接替服務，當故障恢復時，服務和數據回遷;若故障機數據需要調用，可以將故障機的磁碟插入到冷備機中，實現所有數據的立即可用。

對於高清監控系統，隨著監控前端的增加和存儲時間的延長，擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展櫃擴展模式和性能容量同步線性擴展的堆疊擴展模式。

雲存儲系統除上述優點之外，在平台對接整合、業務流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建雲存儲的商業模式也亟待創新。受限於寬頻網路、web2.0技術、應用存儲技術、文件系統、P2P、數據壓縮、CDN技術、虛擬化技術等的發展，未來雲存儲還有很長的路要走。