幾大數據結構

A. 大數據時代下的三種存儲架構

大數據時代下的三種存儲架構_數據分析師考試

大數據時代，移動互聯、社交網路、數據分析、雲服務等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業連鎖、醫療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統成為大數據基礎架構中最為關鍵的核心。

傳統的數據中心無論是在性能、效率，還是在投資收益、安全，已經遠遠不能滿足新興應用的需求，數據中心業務急需新型大數據處理中心來支撐。除了傳統的高可靠、高冗餘、綠色節能之外，新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特徵，才能滿足具備大數據特徵的應用需求。這些史無前例的需求，讓存儲系統的架構和功能都發生了前所未有的變化。

基於大數據應用需求，「應用定義存儲」概念被提出。存儲系統作為數據中心最核心的數據基礎，不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特徵之外，還要有虛擬化、並行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點，才能滿足具備大數據特徵的業務應用需求。

尤其在雲安防概念被熱炒的時代，隨著高清技術的普及，720P、1080P隨處可見，智能和高清的雙向需求、動輒500W、800W甚至上千萬更高解析度的攝像機面市，大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

目前市場上的存儲架構如下：

（1）基於嵌入式架構的存儲系統

節點NVR架構主要面向小型高清監控系統，高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房，存儲容量相對較小，用戶體驗度、系統功能集成度要求較高。在市場應用層面，超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。

（2）基於X86架構的存儲系統

平台SAN架構主要面向中大型高清監控系統，前端路數成百上千甚至上萬。一般多採用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平台的重要組成部分，前端監控數據通過錄像存儲管理模塊存儲到SAN中。

此種架構接入高清前端路數相對節點NVR有了較高提升，具備快捷便利的可擴展性，技術成熟。對於IPSAN而言，雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗，但其憑借擴展性良好、硬體平台通用、海量數據可充分共享等優點，仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲系統中應用較多，比如縣級或地級市高清監控項目，大數據量的並發讀寫對千兆網路交換提出了較大的挑戰，但應用FCSAN構建相對獨立的存儲子系統，可以有效解決上述問題。

面對視頻監控系統大文件、隨機讀寫的特點，平台SAN架構系統不同存儲單元之間的數據共享冗餘方面還有待提高；從高性能伺服器轉發視頻數據到存儲空間的策略，從系統架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬體數據並發性能、接入前端數據較少。上述問題催生了平台NVR架構解決方案。

該方案在系統架構上省去了存儲伺服器，消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統的寫入和檢索速度；同時也徹底消除了傳統文件系統由於供電和網路的不穩定帶來的文件系統損壞等問題。

平台NVR中存儲的數據可同時供多個客戶端隨時查詢，點播，當用戶需要查看多個已保存的視頻監控數據時，可通過授權的視頻監控客戶端直接查詢並點播相應位置的視頻監控數據進行歷史圖像的查看。由於數據管理伺服器具有監控系統所有監控點的錄像文件的索引，因此通過平台CMS授權，視頻監控客戶端可以查詢並點播整個監控系統上所有監控點的數據，這個過程對用戶而言也是透明的。

（3）基於雲技術的存儲方案

當前，安防行業可謂「雲」山「物」罩。隨著視頻監控的高清化和網路化，存儲和管理的視頻數據量已有海量之勢，雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務，在未來安防監控行業有著客觀的應用前景。

與傳統存儲設備不同，雲存儲不僅是一個硬體，而是一個由網路設備、存儲設備、伺服器、軟體、接入網路、用戶訪問介面以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心，通過應用層軟體對外提供數據存儲和業務服務。

一般分為存儲層、基礎管理層、應用介面層以及訪問層。存儲層是雲存儲系統的基礎，由存儲設備（滿足FC協議、iSCSI協議、NAS協議等）構成。基礎管理層是雲存儲系統的核心，其擔負著存儲設備間協同工作，數據加密，分發以及容災備份等工作。應用介面層是系統中根據用戶需求來開發的部分，根據不同的業務類型，可以開發出不同的應用服務介面。訪問層指授權用戶通過應用介面來登錄、享受雲服務。其主要優勢在於：硬體冗餘、節能環保、系統升級不會影響存儲服務、海量並行擴容、強大的負載均衡功能、統一管理、統一向外提供服務，管理效率高，雲存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進行了優化設計。數據傳輸可採用流方式，底層採用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。

高清監控存儲是一種大碼流多並發寫為主的存儲應用，對性能、並發性和穩定性等方面有很高的要求。該存儲解決方案採用獨特的大緩存順序化演算法，把多路隨機並發訪問變為順序訪問，解決了硬碟磁頭因頻繁尋道而導致的性能迅速下降和硬碟壽命縮短的問題。

針對系統中會產生PB級海量監控數據，存儲設備的數量達數十台上百台，因此管理方式的科學高效顯得十分重要。雲存儲可提供基於集群管理技術的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬體運行狀態的監控、主動報警，圖像化系統檢測等功能。在海量視頻存儲檢索應用中，檢索性能尤為重要。傳統文件系統中，文件檢索採用的是「目錄-》子目錄-》文件-》定位」的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀，這種檢索模式的效率就會大打折扣。採用序號文件定位可以有效解決該問題。

雲存儲可以提供非常高的的系統冗餘和安全性。當在線存儲系統出現故障後，熱備機可以立即接替服務，當故障恢復時，服務和數據回遷；若故障機數據需要調用，可以將故障機的磁碟插入到冷備機中，實現所有數據的立即可用。

對於高清監控系統，隨著監控前端的增加和存儲時間的延長，擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展櫃擴展模式和性能容量同步線性擴展的堆疊擴展模式。

雲存儲系統除上述優點之外，在平台對接整合、業務流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建雲存儲的商業模式也亟待創新。受限於寬頻網路、web2.0技術、應用存儲技術、文件系統、P2P、數據壓縮、CDN技術、虛擬化技術等的發展，未來雲存儲還有很長的路要走。

以上是小編為大家分享的關於大數據時代下的三種存儲架構的相關內容，更多信息可以關注環球青藤分享更多干貨

B. 數據分析的三大組成部分

數據分析由三大重要部分組成：

1.數據採集。它是我們的原材料，因為任何分析都是需要數據源；

2.數據挖掘。它可以說是最「高大上」的部分，也是整個商業價值所在。數據挖掘的核心是挖掘數據的商業價值，也就是我們所談的商業智能BI

3.數據可視化。它可以說是數據領域中萬金油的技能，可以讓我們直觀的了解到分析數據的結果。

下面總結詳解這三大部分的內容：

一、數據採集

採集工具：八爪魚，自動抓取的神器，它可以幫你抓取 99% 的頁面源。

python爬蟲：可編寫，採集，存儲數據，以及自動化採集設計。

相關推薦：《Python視頻教程》

二、數據挖掘

它可以說是知識型的工程，相當於整個專欄中的「演算法」部分。首先要知道他的基本流程，演算法，以及底層的數學基礎。

基本流程：商業理解，數據理解，數據准備，模型建立，模型評估，上線發布。

演算法:分類演算法，聚類演算法，關聯分析，連接分析。

數學基礎：概率論和數據統計，線性代數，圖論，最優化方法。

三、數據可視化

當數據量大的時候很難理解，可視化可以幫我們很好地理解這些數據的結構，以及分析結果的視覺呈現。

數據可視化有兩種方法(並不是全部)：

1.python第三方庫：Matplotlib，Seaborn等

2.第三方工具:如果生成了csv格式文件，想要採用所見即得的方式進行呈現，可以採用微圖，DataV，Data GIF Maker等第三方工具。

C. 數據管理技術的發展經歷了那幾個階段

一、人工管理階段

在計算機出現之前，人們運用常規的手段從事記錄、存儲和對數據加工，也就是利用紙張來記錄和利用計算工具（算盤、計算尺）來進行計算，並主要使用人的大腦來管理和利用這些數據。

二、文件系統階段

20世紀50年代後期到60年代中期，隨著計算機硬體和軟體的發展，磁碟、磁鼓等直接存取設備開始普及，這一時期的數據處理系統是把計算機中的數據組織成相互獨立的被命名的數據文件，並可按文件的名字來進行訪問，對文件中的記錄進行存取的數據管理技術。

三、資料庫系統階段

20世紀60年代後期以來 ，計算機性能得到進一步提高，更重要的是出現了大容量磁碟，存儲容量大大增加且價格下降。

(3)幾大數據結構擴展閱讀：

管理數據的特點是：

1、數據不保存。因為當時計算機主要用於科學計算，對於數據保存的需求尚不迫切。

2、系統沒有專用的軟體對數據進行管理，每個應用程序都要包括數據的存儲結構、存取方法和輸入方法等。程序員編寫應用程序是，還要安排數據的物理存儲，因此程序員負擔很重。

3、數據不共享。數據是面向程序的，一組數據只能對應一個程序。

4、數據不具有獨立性。程序依賴於數據，如果數據的類型、格式或輸入/輸出方式等邏輯結構或物理結構發生變化，則必須對應用程序做出相應的修改。

D. 什麼是資料庫系統的體系結構

三級結構的組織形式稱為資料庫的體系結構或數據抽象的三個級別。這個結構是於1975年在美國ANSI/X3/SPARC（美國國家標准協會的計算機與信息處理委員會中的標准計劃與需求委員會）資料庫小組的報告中提出的。

1.1.4.1三級數據視圖
數據抽象的三個級別又稱為三級數據視圖，是不同層次用戶（人員）從不同角度所看到的數據組織形式。
(1) 外部視圖 第一層的數據組織形式是面向應用的，是應用程序員開發應用程序時所使用的數據組織形式，是應用程序員所看到的數據的邏輯結構，是用戶數據視圖，稱為外部視圖。外部視圖可有多個。這一層的最大特點是以各類用戶的需求為出發點，構造滿足其需求的最佳邏輯結構。
(2) 全局視圖 第二層的數據組織形式是面向全局應用的，是全局數據的組織形式，是資料庫管理人員所看到的全體數據的邏輯組織形式，稱為全局視圖，全局視圖僅有一個。這一層的特點是對全局應用最佳的邏輯結構形式。
(3) 存儲視圖第三層的數據組織形式是面向存儲的，是按照物理存儲最優的策略所組織形式，是系統維護人員所看到的數據結構，稱為存儲視圖。存儲視圖只有一個。這一層的特點是物理存儲最佳的結構形式。
外部視圖是全局視圖的邏輯子集，全局視圖是外部視圖的邏輯匯總和綜合，存儲視圖是全局視圖的具體實現。三級視圖之間的聯系由二級映射實現。外部視圖和全局視圖之間的映射稱為邏輯映射，全局視圖和存儲視圖之間的映射稱為物理映射。

1.1.4.2 三級模式
三級視圖是用圖、表等形式描述的，具有簡單、直觀的優點。但是，這種形式目前還不能被計算機直接識別。為了在計算機系統中實現數據的三級組織形式，必須用計算機可以識別的語言對其進行描述。DBMS提供了這種數據描述語言（Data Description Language 簡記為DDL）。我們稱用DDL精確定義數據視圖的程序為模式（Scheme）。與三級視圖對應的是三級模式。
（1） 子模式 定義外部視圖的模式稱外模式，也稱子模式。它由對用戶數據文件的邏輯結構描述以及和全局視圖中文件的對應關系的描述組成，用DBMS提供的子模式DDL定義。一個子模式可以由多個用戶共享，而一個用戶只能使用一個子模式。
（2） 模式 定義全局視圖的模式稱邏輯模式，簡稱模式。它由對全局視圖中全體數據文件的邏輯結構描述以及和存儲視圖中文件的對應關系的描述組成，用DBMS提供的模式DDL定義。邏輯結構的描述包括記錄的型（組成記錄的數據項名、類型、取值范圍等），還有記錄之間的聯系，數據的完整性、安全保密要求等。
（3） 內模式 定義存儲視圖的模式稱內模式，又稱物理模式。它由對存儲視圖中全體數據文件的存儲結構的描述和對存儲介質參數的描述組成，用DBMS提供的內模式DDL定義。存儲結構的描述包括記錄值的存儲方式（順序存儲、hash方法、B樹結構等），索引的組織方式等。
三級模式的結構如圖1.8所示。
三級模式所描述的僅僅是數據的組織框架，而不是數據本身。在內模式這個框架填上具體數據就構成物理資料庫，它是外部存儲器上真實存在的數據集合。模式框架下的數據集合是概念資料庫，它僅是物理資料庫的邏輯映像。子模式框架下的數據集合是用戶資料庫，它是概念資料庫的邏輯子集。

E. 什麼是大數據，大數據的特徵和結構有那些

大數據(Big Data)是指「無法用現有的軟體工具提取、存儲、搜索、共享、分析和處理的海量的、復雜的數據集合。」業界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數據的特徵。
一是數據體量巨大(Volume)。截至目前，人類生產的所有印刷材料的數據量是200PB(1PB=210TB)，而歷史上全人類說過的所有的話的數據量大約是5EB(1EB=210PB)。當前，典型個人計算機硬碟的容量為TB量級，而一些大企業的數據量已經接近EB量級。
二是數據類型繁多(Variety)。這種類型的多樣性也讓數據被分為結構化數據和非結構化數據。相對於以往便於存儲的以文本為主的結構化數據，非結構化數據越來越多，包括網路日誌、音頻、視頻、圖片、地理位置信息等，這些多類型的數據對數據的處理能力提出了更高要求。
三是價值密度低(Value)。價值密度的高低與數據總量的大小成反比。以視頻為例，一部1小時的視頻，在連續不間斷的監控中，有用數據可能僅有一二秒。如何通過強大的機器演算法更迅速地完成數據的價值「提純」成為目前大數據背景下亟待解決的難題。

四是處理速度快(Velocity)。這是大數據區分於傳統數據挖掘的最顯著特徵。