大數據磁帶

『壹』 大數據是誰發明的

大數據是馬曉東研發的，馬曉東，蘇州國雲數據科技有限公司創始人兼CEO、波士頓咨詢全球高級顧問、1986年出生於寧夏固原，中國科技大學計算機碩士。大數據領軍人物，「大數據魔鏡」發明人，擁有大數據發明專利二十餘項，貴州、江蘇、內蒙古多地政府大數據顧問專家。現擔任北京信息化協會副理事長，國民經濟大數據實驗室副理事長，聯合國教科文組織高等教育創新中心數字化人才研究院副院長，原阿里巴巴淘寶數據優化器負責人。

大數據的形成

大數據，首先是數據。數據是指計算機可以處理的電子化和數字化記錄與測量，將信息加工成電子化和數字化記錄與測度這一過程離不開信息技術的發展與應用，正是因為信息技術的飛速發展與廣泛應用，才讓大數據應運而生。

在計算機和通信技術出現之前，信息主要以模擬數據的形式進行記錄與交互。如報章、書籍、影像和照片、圖書館、檔案室、書櫃、磁帶。信息的計量單位一般採用媒介的計量單位，如藏書多少冊、檔案多少袋、記錄多少本、影像多少卷、照片多少張等等。信息獲取不便利、信息交流不通暢、信息量相對較少是這一時期的典型特徵。

『貳』 大數據存儲與應用特點及技術路線分析

大數據存儲與應用特點及技術路線分析

大數據時代，數據呈爆炸式增長。從存儲服務的發展趨勢來看，一方面，對數據的存儲量的需求越來越大；另一方面，對數據的有效管理提出了更高的要求。大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

大數據存儲與應用的特點分析

「大數據」是由數量巨大、結構復雜、類型眾多數據構成的數據集合，是基於雲計算的數據處理與應用模式，通過數據的整合共享，交叉復用形成的智力資源和知識服務能力。其常見特點可以概括為3V:Volume、Velocity、Variety(規模大、速度快、多樣性)。

大數據具有數據規模大(Volume)且增長速度快的特性，其數據規模已經從PB級別增長到EB級別，並且仍在不斷地根據實際應用的需求和企業的再發展繼續擴容，飛速向著ZB(ZETA-BYTE)的規模進軍。以國內最大的電子商務企業淘寶為例，根據淘寶網的數據顯示，至2011年底，淘寶網最高單日獨立用戶訪問量超過1.2億人，比2010年同期增長120%,注冊用戶數量超過4億，在線商品數量達到8億，頁面瀏覽量達到20億規模，淘寶網每天產生4億條產品信息，每天活躍數據量已經超過50TB.所以大數據的存儲或者處理系統不僅能夠滿足當前數據規模需求，更需要有很強的可擴展性以滿足快速增長的需求。

(1)大數據的存儲及處理不僅在於規模之大，更加要求其傳輸及處理的響應速度快(Velocity)。

相對於以往較小規模的數據處理，在數據中心處理大規模數據時，需要服務集群有很高的吞吐量才能夠讓巨量的數據在應用開發人員「可接受」的時間內完成任務。這不僅是對於各種應用層面的計算性能要求，更加是對大數據存儲管理系統的讀寫吞吐量的要求。例如個人用戶在網站選購自己感興趣的貨物，網站則根據用戶的購買或者瀏覽網頁行為實時進行相關廣告的推薦，這需要應用的實時反饋;又例如電子商務網站的數據分析師根據購物者在當季搜索較為熱門的關鍵詞，為商家提供推薦的貨物關鍵字，面對每日上億的訪問記錄要求機器學習演算法在幾天內給出較為准確的推薦，否則就丟失了其失效性；更或者是計程車行駛在城市的道路上，通過GPS反饋的信息及監控設備實時路況信息，大數據處理系統需要不斷地給出較為便捷路徑的選擇。這些都要求大數據的應用層可以最快的速度，最高的帶寬從存儲介質中獲得相關海量的數據。另外一方面，海量數據存儲管理系統與傳統的資料庫管理系統，或者基於磁帶的備份系統之間也在發生數據交換，雖然這種交換實時性不高可以離線完成，但是由於數據規模的龐大，較低的數據傳輸帶寬也會降低數據傳輸的效率，而造成數據遷移瓶頸。因此大數據的存儲與處理的速度或是帶寬是其性能上的重要指標。

(2)大數據由於其來源的不同，具有數據多樣性的特點。

所謂多樣性，一是指數據結構化程度，二是指存儲格式，三是存儲介質多樣性。對於傳統的資料庫，其存儲的數據都是結構化數據，格式規整，相反大數據來源於日誌、歷史數據、用戶行為記錄等等，有的是結構化數據，而更多的是半結構化或者非結構化數據，這也正是傳統資料庫存儲技術無法適應大數據存儲的重要原因之一。所謂存儲格式，也正是由於其數據來源不同，應用演算法繁多，數據結構化程度不同，其格式也多種多樣。例如有的是以文本文件格式存儲，有的則是網頁文件，有的是一些被序列化後的比特流文件等等。所謂存儲介質多樣性是指硬體的兼容，大數據應用需要滿足不同的響應速度需求，因此其數據管理提倡分層管理機制，例如較為實時或者流數據的響應可以直接從內存或者Flash(SSD)中存取，而離線的批處理可以建立在帶有多塊磁碟的存儲伺服器上，有的可以存放在傳統的SAN或者NAS網路存儲設備上，而備份數據甚至可以存放在磁帶機上。因而大數據的存儲或者處理系統必須對多種數據及軟硬體平台有較好的兼容性來適應各種應用演算法或者數據提取轉換與載入(ETL)。

大數據存儲技術路線最典型的共有三種：

第一種是採用MPP架構的新型資料庫集群，重點面向行業大數據，採用Shared Nothing架構，通過列存儲、粗粒度索引等多項大數據處理技術，再結合MPP架構高效的分布式計算模式，完成對分析類應用的支撐，運行環境多為低成本 PC Server，具有高性能和高擴展性的特點，在企業分析類應用領域獲得極其廣泛的應用。

這類MPP產品可以有效支撐PB級別的結構化數據分析，這是傳統資料庫技術無法勝任的。對於企業新一代的數據倉庫和結構化數據分析，目前最佳選擇是MPP資料庫。

第二種是基於Hadoop的技術擴展和封裝，圍繞Hadoop衍生出相關的大數據技術，應對傳統關系型資料庫較難處理的數據和場景，例如針對非結構化數據的存儲和計算等，充分利用Hadoop開源的優勢，伴隨相關技術的不斷進步，其應用場景也將逐步擴大，目前最為典型的應用場景就是通過擴展和封裝 Hadoop來實現對互聯網大數據存儲、分析的支撐。這裡面有幾十種NoSQL技術，也在進一步的細分。對於非結構、半結構化數據處理、復雜的ETL流程、復雜的數據挖掘和計算模型，Hadoop平台更擅長。

第三種是大數據一體機，這是一種專為大數據的分析處理而設計的軟、硬體結合的產品，由一組集成的伺服器、存儲設備、操作系統、資料庫管理系統以及為數據查詢、處理、分析用途而特別預先安裝及優化的軟體組成，高性能大數據一體機具有良好的穩定性和縱向擴展性。

以上是小編為大家分享的關於大數據存儲與應用特點及技術路線分析的相關內容，更多信息可以關注環球青藤分享更多干貨

『叄』 大數據歸檔應是企業的關鍵任務之一

大數據歸檔應是企業的關鍵任務之一
大數據有其歷史的一面：個人需要查找整個企業的舊數據來確定相關的發展趨勢，或更充分的了解目前的業務問題。長期來看，這有助於相關不好的因素可以緩解。

在這樣的背景下，歷史數據也需要能夠立即訪問，而無需IT部門進行大規模的數據恢復。從戰略上講，這意味著網站應進行相應的規劃准備，方便用戶訪問有關的歷史數據信息（而無需IT部門的調解），並實時獲得新創建的數據信息。
IT部門從未以更加「關鍵任務」的態度來處理歷史數據。多年來，用於數據歸檔的方法一直是採用的一個面向數據的保存管理和以備份為目的。備份採用的是速度較慢（而且造價更便宜的）磁碟，或甚至是磁帶系統。有時這些數據需要一定的監管，但如何監管呢。在數據恢復的過程中，IT部門也發現存儲這些數據的某些磁帶會降級到數據不可讀的地步。
正是以這種「備份」的心態進行的大數據歸檔，潛在的限制了企業現在所收集和挖掘的大數據的端到端的價值。
如下便是兩個很好的案例：
某金融服務公司的營銷團隊發現，一個特定細分人群的購買模式正在發生變化，他們想知道為什麼。盡管他們能夠通過幾近實時的執行大數據和標准數據分析很清楚地看到新的變化，但該營銷團隊真正想明白的是驅動這些變化的原因，以及這些因素是從何時開始影響這一特定細分人群的購買模式的。如果該營銷團隊可以找到這些因素，他們才能夠及時的順應消費者的變化趨勢，以便提供相關符合客戶新的購買模式的產品給專業買家。
某區域的一家大型醫院發現，在某一特定地理區域患大腸癌的病人的幾率水平高於其他地區。醫院要看看可能與環境有關的致病因素，或者該地區的其他特徵。所以他們需要快速訪問該地區過去十年的歷史研究數據。
在解釋致病因素這樣的案例中，需要能夠方便和靈活的訪問大數據，而這些大數據可能基於歷史上每一天所收集的數據信息。這是潛在的非常關鍵的任務，但如果是僅僅著眼於災難恢復和備份較大的數據，而不是多用途的歸檔，也可能失去這些歷史數據信息。
所以IT部門需要採取哪些相關步驟，以確保其龐大的數據存儲策略是足以滿足業務信息訪問的全方位的需求呢？
以更廣闊的視野來處理大數據相關的關鍵任務工作。大數據分析能夠在瞬間充分滿足「需要知道」的需求，但同時對於歷史數據的研究也是非常重要的，取決於對數據的即時訪問。
用企業的終端業務來審查數據歸檔策略。如果您的企業是從一個存儲層自動存儲大數據，在經過30天或60天後再將不使用的數據信息存儲到更便宜的磁碟系統？或者你的企業有別的不同方案。無論你企業的大數據歸檔政策是怎樣的，這一歸檔政策都應該讓企業的終端業務決策者每年進行審查。
確保舊的存儲介質的質量。尤其是磁帶可能會變壞監控歸檔區的濕度和溫度是非常重要的，同樣重要的是定期檢查磁帶降解的可能性，以便您可以在相關存儲的數據變得不可讀之前，及時的進行處理。

『肆』 互聯網大數據，需要什麼樣的冷數據存儲

互聯網大數據，冷數據存儲佔到總數據的80%左右。而這些冷數據同樣重要，許多大數據分析都要基於冷數據來進行，而且許多數據要求保存的時間非常長，例如銀行、社保等數據，一般都要保存70~100年的時間。傳統的觀點認為「硬碟存儲不論使用和閑置，都會消耗能量」，因此多採用磁帶或者光碟來保存冷存儲數據。但是，磁帶訪問慢，光碟容量小，操作復雜，很難滿足大數據時代數據實時在線、快速訪問的需求。而實際上，隨著疊瓦式磁記錄等硬碟技術的發展，硬碟容量原來越大，能耗越來越低，為此，瑞馳信息技術研發了一套基於硬碟的大數據智能冷存儲系統.