大數據文件系統有哪些

⑴ 大數據從技術層面分為那幾層,每一層有什麼功能

大數據技術層面主要分為這幾層
1. 預測分析技術
這也是大數據的主要功能之一。預測分析允許公司通過分析大數據源來發現、評估、優化和部署預測模型，從而提高業務性能或降低風險。同時，大數據的預測分析也與我們的生活息息相關。淘寶會預測你每次購物可能還想買什麼，愛奇藝正在預測你可能想看什麼，百合網和其他約會網站甚至試圖預測你會愛上誰……
2. NoSQL資料庫
NoSQL，Not Only SQL，意思是「不僅僅是SQL」，泛指非關系型資料庫。NoSQL資料庫提供了比關系資料庫更靈活、可伸縮和更便宜的替代方案，打破了傳統資料庫市場一統江山的格局。並且，NoSQL資料庫能夠更好地處理大數據應用的需求。常見的NoSQL資料庫有HBase、Redis、MongoDB、Couchbase、LevelDB等。
3. 搜索和知識發現
支持來自於多種數據源(如文件系統、資料庫、流、api和其他平台和應用程序)中的大型非結構化和結構化數據存儲庫中自助提取信息的工具和技術。如，數據挖掘技術和各種大數據平台。
4. 大數據流計算引擎
能夠過濾、聚合、豐富和分析來自多個完全不同的活動數據源的數據的高吞吐量的框架，可以採用任何數據格式。現今流行的流式計算引擎有Spark Streaming和Flink。
5. 內存數據結構
通過在分布式計算機系統中動態隨機訪問內存(DRAM)、快閃記憶體或SSD上分布數據，提供低延遲的訪問和處理大量數據。
6. 分布式文件存儲
為了保證文件的可靠性和存取性能，數據通常以副本的方式存儲在多個節點上的計算機網路。常見的分布式文件系統有GFS、HDFS、Lustre 、Ceph等。
7. 數據虛擬化
數據虛擬化是一種數據管理方法，它允許應用程序檢索和操作數據，而不需要關心有關數據的技術細節，比如數據在源文件中是何種格式，或者數據存儲的物理位置，並且可以提供單個客戶用戶視圖。
8. 數據集成
用於跨解決方案進行數據編排的工具，如Amazon Elastic MapRece (EMR)、Apache Hive、Apache Pig、Apache Spark、MapRece、Couchbase、Hadoop和MongoDB等。
9. 數據准備
減輕采購、成形、清理和共享各種雜亂數據集的負擔的軟體，以加速數據對分析的有用性。
10. 數據質量
使用分布式數據存儲和資料庫上的並行操作，對大型高速數據集進行數據清理和充實的產品。

⑵ 傳統大數據存儲的架構有哪些各有什麼特點

數據時代，移動互聯、社交網路、數據分析、雲服務等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業連鎖、醫療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統成為大數據基礎架構中最為關鍵的核心。

傳統的數據中心無論是在性能、效率，還是在投資收益、安全，已經遠遠不能滿足新興應用的需求，數據中心業務急需新型大數據處理中心來支撐。除了傳統的高可靠、高冗餘、綠色節能之外，新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特徵，才能滿足具備大數據特徵的應用需求。這些史無前例的需求，讓存儲系統的架構和功能都發生了前所未有的變化。

基於大數據應用需求，「應用定義存儲」概念被提出。存儲系統作為數據中心最核心的數據基礎，不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特徵之外，還要有虛擬化、並行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點，才能滿足具備大數據特徵的業務應用需求。

尤其在雲安防概念被熱炒的時代，隨著高清技術的普及，720P、1080P隨處可見，智能和高清的雙向需求、動輒500W、800W甚至上千萬更高解析度的攝像機面市，大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

目前市場上的存儲架構如下：

(1)基於嵌入式架構的存儲系統

節點NVR架構主要面向小型高清監控系統，高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房，存儲容量相對較小，用戶體驗度、系統功能集成度要求較高。在市場應用層面，超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。

(2)基於X86架構的存儲系統

平台SAN架構主要面向中大型高清監控系統，前端路數成百上千甚至上萬。一般多採用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平台的重要組成部分，前端監控數據通過錄像存儲管理模塊存儲到SAN中。

此種架構接入高清前端路數相對節點NVR有了較高提升，具備快捷便利的可擴展性，技術成熟。對於IPSAN而言，雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗，但其憑借擴展性良好、硬體平台通用、海量數據可充分共享等優點，仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲系統中應用較多，比如縣級或地級市高清監控項目，大數據量的並發讀寫對千兆網路交換提出了較大的挑戰，但應用FCSAN構建相對獨立的存儲子系統，可以有效解決上述問題。

面對視頻監控系統大文件、隨機讀寫的特點，平台SAN架構系統不同存儲單元之間的數據共享冗餘方面還有待提高;從高性能伺服器轉發視頻數據到存儲空間的策略，從系統架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬體數據並發性能、接入前端數據較少。上述問題催生了平台NVR架構解決方案。

該方案在系統架構上省去了存儲伺服器，消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統的寫入和檢索速度;同時也徹底消除了傳統文件系統由於供電和網路的不穩定帶來的文件系統損壞等問題。

平台NVR中存儲的數據可同時供多個客戶端隨時查詢，點播，當用戶需要查看多個已保存的視頻監控數據時，可通過授權的視頻監控客戶端直接查詢並點播相應位置的視頻監控數據進行歷史圖像的查看。由於數據管理伺服器具有監控系統所有監控點的錄像文件的索引，因此通過平台CMS授權，視頻監控客戶端可以查詢並點播整個監控系統上所有監控點的數據，這個過程對用戶而言也是透明的。

(3)基於雲技術的存儲方案

當前，安防行業可謂「雲」山「物」罩。隨著視頻監控的高清化和網路化，存儲和管理的視頻數據量已有海量之勢，雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務，在未來安防監控行業有著可觀的應用前景。

與傳統存儲設備不同，雲存儲不僅是一個硬體，而是一個由網路設備、存儲設備、伺服器、軟體、接入網路、用戶訪問介面以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心，通過應用層軟體對外提供數據存儲和業務服務。

一般分為存儲層、基礎管理層、應用介面層以及訪問層。存儲層是雲存儲系統的基礎，由存儲設備(滿足FC協議、iSCSI協議、NAS協議等)構成。基礎管理層是雲存儲系統的核心，其擔負著存儲設備間協同工作，數據加密，分發以及容災備份等工作。應用介面層是系統中根據用戶需求來開發的部分，根據不同的業務類型，可以開發出不同的應用服務介面。訪問層指授權用戶通過應用介面來登錄、享受雲服務。其主要優勢在於：硬體冗餘、節能環保、系統升級不會影響存儲服務、海量並行擴容、強大的負載均衡功能、統一管理、統一向外提供服務，管理效率高，雲存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進行了優化設計。數據傳輸可採用流方式，底層採用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。

高清監控存儲是一種大碼流多並發寫為主的存儲應用，對性能、並發性和穩定性等方面有很高的要求。該存儲解決方案採用獨特的大緩存順序化演算法，把多路隨機並發訪問變為順序訪問，解決了硬碟磁頭因頻繁尋道而導致的性能迅速下降和硬碟壽命縮短的問題。

針對系統中會產生PB級海量監控數據，存儲設備的數量達數十台上百台，因此管理方式的科學高效顯得十分重要。雲存儲可提供基於集群管理技術的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬體運行狀態的監控、主動報警，圖像化系統檢測等功能。在海量視頻存儲檢索應用中，檢索性能尤為重要。傳統文件系統中，文件檢索採用的是「目錄-》子目錄-》文件-》定位」的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀，這種檢索模式的效率就會大打折扣。採用序號文件定位可以有效解決該問題。

雲存儲可以提供非常高的的系統冗餘和安全性。當在線存儲系統出現故障後，熱備機可以立即接替服務，當故障恢復時，服務和數據回遷;若故障機數據需要調用，可以將故障機的磁碟插入到冷備機中，實現所有數據的立即可用。

對於高清監控系統，隨著監控前端的增加和存儲時間的延長，擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展櫃擴展模式和性能容量同步線性擴展的堆疊擴展模式。

雲存儲系統除上述優點之外，在平台對接整合、業務流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建雲存儲的商業模式也亟待創新。受限於寬頻網路、web2.0技術、應用存儲技術、文件系統、P2P、數據壓縮、CDN技術、虛擬化技術等的發展，未來雲存儲還有很長的路要走。

⑶ 除了spark還有哪些大數據處理

Hadoop包括MapRece和HDFS，目前很火的Spark，如果說代替，只是會代替Hadoop中的MapRece。Spark在任務調度和數據可靠性方面，確實比MapRece要快很多，而且支持將數據緩存到內存中，下次查的時候直接基於內存訪問。

Spark:
是一個基於內存計算的開源的集群計算系統，目的是讓數據分析更加快速, Spark 是一種與 Hadoop
相似的開源集群計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark
啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。
Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。
盡
管創建 Spark 是為了支持分布式數據集上的迭代作業，但是實際上它是對 Hadoop 的補充，可以在 Hadoop
文件系統中並行運行。通過名為Mesos的第三方集群框架可以支持此行為。Spark 由加州大學伯克利分校 AMP 實驗室
(Algorithms,Machines,and People Lab) 開發，可用來構建大型的、低延遲的數據分析應用程序。
雖然 Spark 與 Hadoop 有相似之處，但它提供了具有有用差異的一個新的集群計算框架。首先，Spark
是為集群計算中的特定類型的工作負載而設計，即那些在並行操作之間重用工作數據集（比如機器學習演算法）的工作負載。為了優化這些類型的工作負
載，Spark 引進了內存集群計算的概念，可在內存集群計算中將數據集緩存在內存中，以縮短訪問延遲.
在大數據處理方面相信大家對hadoop已經耳熟能詳，基於GoogleMap/Rece來實現的Hadoop為開發者提供了map、rece原
語，使並行批處理程序變得非常地簡單和優美。Spark提供的數據集操作類型有很多種，不像Hadoop只提供了Map和Rece兩種操作。比如
map,filter, flatMap,sample, groupByKey, receByKey, union,join,
cogroup,mapValues,
sort,partionBy等多種操作類型，他們把這些操作稱為Transformations。同時還提供Count,collect,
rece, lookup,
save等多種actions。這些多種多樣的數據集操作類型，給上層應用者提供了方便。各個處理節點之間的通信模型不再像Hadoop那樣就是唯一的
Data Shuffle一種模式。用戶可以命名，物化，控制中間結果的分區等。可以說編程模型比Hadoop更靈活.
-

⑷ 主流的大數據分析框架有哪些

1、Hadoop
Hadoop 採用 Map Rece 分布式計算框架，根據 GFS開發了 HDFS 分布式文件系統，根據 Big Table 開發了 HBase數據存儲系統。Hadoop 的開源特性使其成為分布式計算系統的事實上的國際標准。Yahoo，Facebook，Amazon 以及國內的網路，阿里巴巴等眾多互聯網公司都以 Hadoop 為基礎搭建自己的分布。

2、Spark

Spark 是在 Hadoop 的基礎上進行了一些架構上的改良。Spark 與Hadoop 最大的不同點在於，Hadoop 使用硬碟來存儲數據，而Spark 使用內存來存儲數據，因此 Spark 可以提供超過 Ha?doop 100 倍的運算速度。由於內存斷電後會丟失數據，Spark不能用於處理需要長期保存的數據。

3、 Storm

Storm 是 Twitter 主推的分布式計算系統。它在Hadoop的基礎上提供了實時運算的特性，可以實時的處理大數據流。不同於Hadoop和Spark，Storm不進行數據的收集和存儲工作，它直接通過網路實時的接受數據並且實時的處理數據，然後直接通過網路實時的傳回結果。

4、Samza

Samza 是由 Linked In 開源的一項技術，是一個分布式流處理框架，專用於實時數據的處理，非常像Twitter的流處理系統Storm。不同的是Sam?za 基於 Hadoop，而且使用了 Linked In 自家的 Kafka 分布式消息系統。

Samza 非常適用於實時流數據處理的業務，如數據跟蹤、日誌服務、實時服務等應用，它能夠幫助開發者進行高速消息處理,同時還具有良好的容錯能力。

⑸ 大數據資料庫有哪些

問題一：大數據技術有哪些 非常多的，問答不能發link，不然我給你link了。有譬如Hadoop等開源大數據項目的，編程語言的，以下就大數據底層技術說下。
簡單以永洪科技的技術說下，有四方面，其實也代表了部分通用大數據底層技術：
Z-Suite具有高性能的大數據分析能力，她完全摒棄了向上升級(Scale-Up)，全面支持橫向擴展(Scale-Out)。Z-Suite主要通過以下核心技術來支撐PB級的大數據：
跨粒度計算(In-Databaseputing)
Z-Suite支持各種常見的匯總，還支持幾乎全部的專業統計函數。得益於跨粒度計算技術，Z-Suite數據分析引擎將找尋出最優化的計算方案，繼而把所有開銷較大的、昂貴的計算都移動到數據存儲的地方直接計算，我們稱之為庫內計算(In-Database)。這一技術大大減少了數據移動，降低了通訊負擔，保證了高性能數據分析。
並行計算(MPP puting)
Z-Suite是基於MPP架構的商業智能平台，她能夠把計算分布到多個計算節點，再在指定節點將計算結果匯總輸出。Z-Suite能夠充分利用各種計算和存儲資源，不管是伺服器還是普通的PC，她對網路條件也沒有嚴苛的要求。作為橫向擴展的大數據平台，Z-Suite能夠充分發揮各個節點的計算能力，輕松實現針對TB/PB級數據分析的秒級響應。
列存儲 (Column-Based)
Z-Suite是列存儲的。基於列存儲的數據集市，不讀取無關數據，能降低讀寫開銷，同時提高I/O 的效率，從而大大提高查詢性能。另外，列存儲能夠更好地壓縮數據，一般壓縮比在5 -10倍之間，這樣一來，數據佔有空間降低到傳統存儲的1/5到1/10 。良好的數據壓縮技術，節省了存儲設備和內存的開銷，卻大大了提升計算性能。
內存計算
得益於列存儲技術和並行計算技術，Z-Suite能夠大大壓縮數據，並同時利用多個節點的計算能力和內存容量。一般地，內存訪問速度比磁碟訪問速度要快幾百倍甚至上千倍。通過內存計算，CPU直接從內存而非磁碟上讀取數據並對數據進行計算。內存計算是對傳統數據處理方式的一種加速，是實現大數據分析的關鍵應用技術。

問題二：大數據使用的資料庫是什麼資料庫 ORACLE、DB2、SQL SERVER都可以，關鍵不是選什麼資料庫，而是資料庫如何優化！ 需要看你日常如何操作，以查詢為主或是以存儲為主或2者，還要看你的數據結構，都要因地制宜的去優化！所以不是一句話說的清的！

問題三：什麼是大數據和大數據平台 大數據技術是指從各種各樣類型的數據中，快速獲得有價值信息的能力。適用於大數據的技術，包括大規模並行處理（MPP）資料庫，數據挖掘電網，分布式文件系統，分布式資料庫，雲計算平台，互聯網，和可擴展的存儲系統。
大數據平台是為了計算，現今社會所產生的越來越大的數據量。以存儲、運算、展現作為目的的平台。

問題四：常用大型資料庫有哪些 FOXBASE
MYSQL
這倆可算不上大型資料庫管理系統
PB 是資料庫應用程序開發用的ide，根本就不是資料庫管理系統
Foxbase是dos時代的產品了，進入windows時代改叫foxpro，屬於桌面單機級別的小型資料庫系統，mysql是個中輕量級的，但是開源，大量使用於小型網站，真正重量級的是Oracle和DB2，銀行之類的關鍵行業用的多是這兩個，微軟的MS SQLServer相對DB2和Oracle規模小一些，多見於中小型企業單位使用，Sybase可以說是日薄西山，不行了

問題五：幾大資料庫的區別 最商業的是ORACLE,做的最專業,然後是微軟的SQL server,做的也很好,當然還有DB2等做得也不錯,這些都是大型的資料庫,,,如果掌握的全面的話,可以保證數據的安全. 然後就是些小的資料庫access,mysql等,適合於中小企業的資料庫100萬數據一下的數據.如有幫助請採納,謝!

問題六：全球最大的資料庫是什麼 應該是Oracle，第一，Oracle為商業界所廣泛採用。因為它規范、嚴謹而且服務到位，且安全性非常高。第二，如果你學習使用Oracle不是商用，也可以免費使用。這就為它的廣泛傳播奠定了在技術人員中的基礎。第三，Linux/Unix系統常常作為伺服器，伺服器對Oracle的使用簡直可以說極其多啊。建議樓梗多學習下這個強大的資料庫

問題七：什麼是大數據？ 大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。(在維克托・邁爾-舍恩伯格及肯尼斯・庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據的方法[2]）大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。
說起大數據，就要說到商業智能：
商業智能（Business Intelligence，簡稱：BI），又稱商業智慧或商務智能，指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。

商業智能作為一個工具，是用來處理企業中現有數據，並將其轉換成知識、分析和結論，輔助業務或者決策者做出正確且明智的決定。是幫助企業更好地利用數據提高決策質量的技術，包含了從數據倉庫到分析型系統等。

商務智能的產生發展
商業智能的概念經由Howard Dresner(1989年)的通俗化而被人們廣泛了解。當時將商業智能定義為一類由數據倉庫（或數據集市）、查詢報表、數據分析、數據挖掘、數據備份和恢復等部分組成的、以幫助企業決策為目的技術及其應用。

商務智能是20世紀90年代末首先在國外企業界出現的一個術語，其代表為提高企業運營性能而採用的一系列方法、技術和軟體。它把先進的信息技術應用到整個企業，不僅為企業提供信息獲取能力，而且通過對信息的開發，將其轉變為企業的競爭優勢，也有人稱之為混沌世界中的智能。因此，越來越多的企業提出他們對BI的需求，把BI作為一種幫助企業達到經營目標的一種有效手段。

目前，商業智能通常被理解為將企業中現有的數據轉化為知識，幫助企業做出明智的業務經營決策的工具。這里所談的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商資料及來自企業所處行業和競爭對手的數據，以及來自企業所處的其他外部環境中的各種數據。而商業智能能夠輔助的業務經營決策既可以是作業層的，也可以是管理層和策略層的決策。

為了將數據轉化為知識，需要利用數據倉庫、線上分析處理（OLAP）工具和數據挖掘等技術。因此，從技術層面上講，商業智能不是什麼新技術，它只是ETL、數據倉庫、OLAP、數據挖掘、數據展現等技術的綜合運用。

把商業智能看成是一種解決方案應該比較恰當。商業智能的關鍵是從許多來自不同的企業運作系統的數據中提取出有用的數據並進行清理，以保證數據的正確性，然後經過抽取（Extraction）、轉換（Transformation）和裝載（Load），即ETL過程，合並到一個企業級的數據倉庫里，從而得到企業數據的一個全局視圖，在此基礎上利用合適的查詢和分析工具、數據挖掘工具、OLAP工具等對其進行分析和處理（這時信息變為輔助決策的知識），最後將知識呈現給管理者，為管理者的決策過程提供支持。
企業導入BI的優點
1.隨機查詢動態報表

2.掌握指標管理

3.隨時線上分析處理

4.視覺化之企業儀表版

5.協助預測規劃

導入BI的目的
1.促進企業決策流程(Facilitate the Business Decision-Making Process)：BIS增進企業的資訊整合與資訊分析的能力，匯總公司內、外部的資料，整合成有效的決策資訊，讓企業經理人大幅增進決策效率與改善決策品質。

......>>

問題八：資料庫有哪幾種？ 常用的資料庫：oracle、sqlserver、mysql、access、sybase 2、特點。 -oracle： 1.資料庫安全性很高，很適合做大型資料庫。支持多種系統平台（HPUX、SUNOS、OSF/1、VMS、 WINDOWS、WINDOWS/NT、OS/2）。 2.支持客戶機/伺服器體系結構及混合的體系結構（集中式、分布式、 客戶機/伺服器）。 -sqlserver: 1.真正的客戶機/伺服器體系結構。 2.圖形化用戶界面，使系統管理和資料庫管理更加直觀、簡單。 3.具有很好的伸縮性，可跨越從運行Windows 95/98的膝上型電腦到運行Windows 2000的大型多處理器等多種平台使用。 -mysql: MySQL是一個開放源碼的小型關系型資料庫管理系統，開發者為瑞典MySQL AB公司，92HeZu網免費贈送MySQL。目前MySQL被廣泛地應用在Internet上的中小型網站中。提供由於其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站資料庫。 -access Access是一種桌面資料庫，只適合數據量少的應用，在處理少量數據和單機訪問的資料庫時是很好的，效率也很高。 但是它的同時訪問客戶端不能多於4個。 -

問題九：什麼是大數據 大數據是一個體量特別大，數據類別特別大的數據集，並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。 大數據首先是指數據體量(volumes)?大，指代大型數據集，一般在10TB?規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量；其次是指數據類別(variety)大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。接著是數據處理速度（Velocity）快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。最後一個特點是指數據真實性（Veracity）高，隨著社交數據、企業內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業愈發需要有效的信息之力以確保其真實性及安全性。
數據採集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
數據存取：關系資料庫、NOSQL、SQL等。
基礎架構：雲存儲、分布式文件存儲等。
數據處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機理解自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計算語言學(putational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。
統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
數據挖掘：分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
模型預測：預測模型、機器學習、建模模擬。
結果呈現：雲計算、標簽雲、關系圖等。
要理解大數據這一概念，首先要從大入手，大是指數據規模，大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別，其基本特徵可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價值密度低、速度快。
第一，數據體量巨大。從TB級別，躍升到PB級別。
第二，數據類型繁多，如前文提到的網路日誌、視頻、圖片、地理位置信息，等等。
第三，價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。
第四，處理速度快。1秒定律。最後這一點也是和傳統的......>>

問題十：國內真正的大數據分析產品有哪些 國內的大數據公司還是做前端可視化展現的偏多，BAT算是真正做了大數據的，行業有硬性需求，別的行業跟不上也沒辦法，需求決定市場。
說說更通用的數據分析吧。
大數據分析也屬於數據分析的一塊，在實際應用中可以把數據分析工具分成兩個維度：
第一維度：數據存儲層――數據報表層――數據分析層――數據展現層
第二維度：用戶級――部門級――企業級――BI級
1、數據存儲層
數據存儲設計到資料庫的概念和資料庫語言，這方面不一定要深鑽研，但至少要理解數據的存儲方式，數據的基本結構和數據類型。SQL查詢語言必不可少，精通最好。可從常用的selece查詢，update修改，delete刪除，insert插入的基本結構和讀取入手。
Access2003、Access07等，這是最基本的個人資料庫，經常用於個人或部分基本的數據存儲；MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
SQL Server2005或更高版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。
DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台。
BI級別，實際上這個不是資料庫，而是建立在前面資料庫基礎上的，企業級應用的數據倉庫。Data Warehouse，建立在DW機上的數據存儲基本上都是商業智能平台，整合了各種數據分析，報表、分析和展現！BI級別的數據倉庫結合BI產品也是近幾年的大趨勢。
2、報表層
企業存儲了數據需要讀取，需要展現，報表工具是最普遍應用的工具，尤其是在國內。傳統報表解決的是展現問題，目前國內的帆軟報表FineReport已經算在業內做到頂尖，是帶著數據分析思想的報表，因其優異的介面開放功能、填報、表單功能，能夠做到打通數據的進出，涵蓋了早期商業智能的功能。
Tableau、FineBI之類，可分在報表層也可分為數據展現層。FineBI和Tableau同屬於近年來非常棒的軟體，可作為可視化數據分析軟體，我常用FineBI從資料庫中取數進行報表和可視化分析。相對而言，可視化Tableau更優，但FineBI又有另一種身份――商業智能，所以在大數據處理方面的能力更勝一籌。
3、數據分析層
這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具；
Excel軟體，首先版本越高越好用這是肯定的；當然對excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作！但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體；
SPSS軟體：當前版本是18，名字也改成了PASW Statistics；我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體；
SAS軟體：SAS相對SPSS其實功能更強大，SAS是平台化的，EM挖掘模塊平台整合，相對來講，SAS比較難學些，但如果掌握了SAS會更有價值，比如離散選擇模型，抽樣問題，正交實驗設計等還是SAS比較好用，另外，SAS的學習材料比較多，也公開，會有收獲的！
JMP分析：SAS的一個分析分支
XLstat：Excel的插件，可以完......>>

⑹ 大數據之HDFS

在現代的企業環境中，單機容量往往無法存儲大量數據，需要跨機器存儲。統一管理分布在集群上的文件系統稱為 分布式文件系統 。

HDFS （Hadoop Distributed File System）是 Hadoop 的核心組件之一， 非常適於存儲大型數據 (比如 TB 和 PB)， HDFS 使用多台計算機存儲文件，並且提供統一的訪問介面，像是訪問一個普通文件系統一樣使用分布式文件系統。

HDFS是分布式計算中數據存儲管理的基礎，是基於流數據模式訪問和處理超大文件的需求而開發的，可以運行於廉價的商用伺服器上。它所具有的 高容錯、高可靠性、高可擴展性、高獲得性、高吞吐率 等特徵為海量數據提供了不怕故障的存儲，為超大數據集的應用處理帶來了很多便利。

HDFS 具有以下 優點 ：

當然 HDFS 也有它的 劣勢 ，並不適合以下場合：

HDFS 採用Master/Slave的架構來存儲數據，這種架構主要由四個部分組成，分別為HDFS Client、NameNode、DataNode和Secondary NameNode。

Namenode是整個文件系統的管理節點，負責接收用戶的操作請求。它維護著整個文件系統的目錄樹，文件的元數據信息以及文件到塊的對應關系和塊到節點的對應關系。

Namenode保存了兩個核心的數據結構：

在NameNode啟動的時候，先將fsimage中的文件系統元數據信息載入到內存，然後根據edits中的記錄將內存中的元數據同步到最新狀態；所以，這兩個文件一旦損壞或丟失，將導致整個HDFS文件系統不可用。

為了避免edits文件過大， SecondaryNameNode會按照時間閾值或者大小閾值，周期性的將fsimage和edits合並 ，然後將最新的fsimage推送給NameNode。

並非 NameNode 的熱備。當NameNode 掛掉的時候，它並不能馬上替換 NameNode 並提供服務。其主要任務是輔助 NameNode，定期合並 fsimage和fsedits。

Datanode是實際存儲數據塊的地方，負責執行數據塊的讀/寫操作。

一個數據塊在DataNode以文件存儲在磁碟上，包括兩個文件，一個是數據本身，一個是元數據，包括數據塊的長度，塊數據的校驗和，以及時間戳。

文件劃分成塊，默認大小128M，以快為單位，每個塊有多個副本（默認3個）存儲不同的機器上。

Hadoop2.X默認128M， 小於一個塊的文件，並不會占據整個塊的空間 。Block數據塊大小設置較大的原因：

文件上傳 HDFS 的時候，Client 將文件切分成 一個一個的Block，然後進行存儲。

Client 還提供一些命令來管理 HDFS，比如啟動或者關閉HDFS。

Namenode始終在內存中保存metedata，用於處理「讀請求」，到有「寫請求」到來時，namenode會首 先寫editlog到磁碟，即向edits文件中寫日誌，成功返回後，才會修改內存 ，並且向客戶端返回，Hadoop會維護一個fsimage文件，也就是namenode中metedata的鏡像，但是fsimage不會隨時與namenode內存中的metedata保持一致，而是每隔一段時間通過合並edits文件來更新內容。

HDFS HA（High Availability）是為了解決單點故障問題。

HA集群設置兩個名稱節點，「活躍（ Active ）」和「待命（ Standby ）」，兩種名稱節點的狀態同步，可以藉助於一個共享存儲系統來實現，一旦活躍名稱節點出現故障，就可以立即切換到待命名稱節點。

為了保證讀寫數據一致性，HDFS集群設計為只能有一個狀態為Active的NameNode，但這種設計存在單點故障問題，官方提供了兩種解決方案：

通過增加一個Secondary NameNode節點，處於Standby的狀態，與Active的NameNode同時運行。當Active的節點出現故障時，切換到Secondary節點。

為了保證Secondary節點能夠隨時頂替上去，Standby節點需要定時同步Active節點的事務日誌來更新本地的文件系統目錄樹信息，同時DataNode需要配置所有NameNode的位置，並向所有狀態的NameNode發送塊列表信息和心跳。

同步事務日誌來更新目錄樹由JournalNode的守護進程來完成，簡稱為QJM，一個NameNode對應一個QJM進程，當Active節點執行任何命名空間文件目錄樹修改時，它會將修改記錄持久化到大多數QJM中，Standby節點從QJM中監聽並讀取編輯事務日誌內容，並將編輯日誌應用到自己的命名空間。發生故障轉移時，Standby節點將確保在將自身提升為Active狀態之前，從QJM讀取所有編輯內容。

注意，QJM只是實現了數據的備份，當Active節點發送故障時，需要手工提升Standby節點為Active節點。如果要實現NameNode故障自動轉移，則需要配套ZKFC組件來實現，ZKFC也是獨立運行的一個守護進程，基於zookeeper來實現選舉和自動故障轉移。

雖然HDFS HA解決了「單點故障」問題，但是在系統擴展性、整體性能和隔離性方面仍然存在問題：

HDFS HA本質上還是單名稱節點。HDFS聯邦可以解決以上三個方面問題。

在HDFS聯邦中，設計了多個相互獨立的NN，使得HDFS的命名服務能夠水平擴展，這些NN分別進行各自命名空間和塊的管理，不需要彼此協調。每個DN要向集群中所有的NN注冊，並周期性的發送心跳信息和塊信息，報告自己的狀態。

HDFS聯邦擁有多個獨立的命名空間，其中，每一個命名空間管理屬於自己的一組塊，這些屬於同一個命名空間的塊組成一個「塊池」。每個DN會為多個塊池提供塊的存儲，塊池中的各個塊實際上是存儲在不同DN中的。

⑺ 文件系統都有什麼

以下這些是WINDOWS下的文件系統：
文件分配表（FAT）
一種供MS-DOS及其它Windows操作系統對文件進行組織與管理的文件系統。文件分配表（FAT）是當您使用FAT或FAT32文件系統對特定卷進行格式化時，由Windows所創建的一種數據結構。Windows將與文件相關的信息存儲在FAT中，以供日後獲取文件時使用。
FAT32
一種從文件分配表（FAT）文件系統派生而來的文件系統。與FAT相比，FAT32能夠支持更小的簇以及更大的容量，從而能夠在FAT32卷上更為高效的分配磁碟空間。
NTFS文件系統
一種能夠提供各種FAT版本所不具備的性能、安全性、可靠性與先進特性的高級文件系統。舉例來說，NTFS通過標准事務日誌功能與恢復技術確保卷的一致性。如果系統出現故障，NTFS能夠使用日誌文件與檢查點信息來恢復文件系統的一致性。在Windows 2000和Windows XP中，NTFS還能提供諸如文件與文件夾許可權、加密、磁碟配額以及壓縮之類的高級特性。
以下是NTFS的好處：
1. NTFS可以支持的分區(如果採用動態磁碟則稱為卷)大小可以達到2TB。而Win 2000中的FAT32支持分區的大小最大為32GB。

2. NTFS是一個可恢復的文件系統桐此羨。在NTFS分區上用戶很少需要運行磁碟修復程序。NTFS通過使用標準的事物處局拍理日誌和恢復技術來保證分區的一致性。發生系統失敗事件時，NTFS使用日誌文件和檢查點信息自動恢復文件系統的一致性。
3. NTFS支持對分區、文件夾和文件的壓縮。任何基於Windows的應用程序對NTFS分區上的壓縮文件進行讀寫時不需要事先由其他程序進行解壓縮，當對文件進行讀取時,文件將自動進行解壓縮；扒漏文件關閉或保存時會自動對文件進行壓縮。
以上希望可以幫助 到你

⑻ 常見的文件系統有哪些

FAT
在Win
9X下，FAT16支持的分區最大為2GB
同FAT16相比FAT32最大的優點是可以支持的磁碟大小達到2TB(2047GB)，但是不能支持小於512MB的分區。
基於FAT32的Win
2000可以支持分區最大為32GB，而基於
FAT16的Win
2000支持的分區最大為4GB
NTFS
NTFS文件系統是一個基於安全性的文件系統，是Windows
NT所採用的獨特的文件系統結構，它是建立在保護文件和目錄數據基礎上，同時照顧節省存儲資源、減少磁碟佔用量的一種先進的文件系統
CDFS
CDFS是大部分的光碟的文件系統，只有小部分光碟使用其他文件系統。這些文件系統只能在CD-R或CD-RW上讀取。
exFAT
是
擴展文件分配表主界面
Microsoft在Windows
Embeded
5.0以上(包括Windows
CE
5.0、6.0、Windows
Mobile5、6、6.1)中引入的一種適合於快閃記憶體的文件系統，為了解決FAT32等不支持4G及其更大的文件而推出。對於快閃記憶體，NTFS文件系統不適合使用，exFAT更為適用。
RAW
RAW文件系統是一種磁碟未經處理或者未經格式化產生的的文件系統，一般來說有這幾種可能造成正常文件系統變成RAW文件系統
Ext2
Ext2是
GNU/Linux
系統中標準的文件系統，其特點為存取文件的性能極好，對於中小型的文件更顯示出優勢，這主要得利於其簇快取層的優良設計。
Ext3
Ext3是一種日誌式文件系統,是對ext2系統的擴展,它兼容ext2。日誌式文件系統的優越性在於:由於文件系統都有快取層參與運作，如不使用時必須將文件系統卸下，以便將快取層的資料寫回磁碟中。因此每當系統要關機時，必須將其所有的文件系統全部shutdown後才能進行關機。
Ext4
Linux
kernel
自
2.6.28
開始正式支持新的文件系統
Ext4。
Ext4
是
Ext3
的改進版，修改了
Ext3
中部分重要的數據結構，而不僅僅像
Ext3
對
Ext2
那樣，只是增加了一個日誌功能而已
Btrfs
Btrfs(通常念成Butter
FS)，是由Oracle於2007年宣布並進行中的-on-write文件系統。目標是取代Linux目前的ext3文件系統，改善ext3的限制，特別是單個文件的大小，總文件系統大小或文件檢查和加入目前ext3未支持的功能，像是
writable
snapshots、snapshots
of
snapshots、內建磁碟陣列(RAID)支持，以及
subvolumes。Btrfs
也宣稱專注在「容錯、修復及易於管理」。
ZFS
ZFS
源自於Sun
Microsystems為Solaris操作系統開發的文件系統。ZFS是一個具有高存儲容量、文件系統與卷管理概念整合、嶄新的磁碟邏輯結構的輕量級文件系統，同時也是一個便捷的存儲池管理系統。ZFS是一個使用CDDL協議條款授權的開源項目。
以下不常見，詳情看網路
HFS
ReiserFS
JFS
VMFS
XFSUFS
VXFS

⑼ 大數據環境下分布式文件系統有哪些特點,相應的優化思路是什麼

分布式元數據管理：分布式元數據管理主要通過元數據服務分布式部署的方式，實現了元數據分布式管理，解決一般分布式文件系統的單元數據服務節點導致的響應用戶請求效率不高、存儲文件數目受限和單點故障等問題，具有降低用戶請求處理延遲，提高分布式文件系統的可擴展性和可用性的特性。一般包括完全分布式架構、元數據訪問負載均衡、元數據伺服器高效索引、元數據伺服器彈性伸縮等技術點。

多層級存儲管理：多層級存儲管理用於實現內存 / SSD/HDD 等異構存儲設備的池化管理，以及各類存儲設備的動態接入管理，通過設備抽象和提供統一命名空間，面向分布式文件系統提供統一的存儲資源池，支持熱點數據自動感知和智能化存儲調度，最大程度提升數據存儲與訪問的效能。一般包括異構存儲設備管理、多存儲系統適配、統一命名空間、基於熱度的存儲資源調度等技術點廳冊帶。

數據一致性保障：數據一致性保障主要解決分布式文件系統中多副本和緩存等在數據存儲與訪問過程中的一致性問題，通過構建數據一致性模型、進行數據一致性校驗等方式，保障數據在存儲和訪問過程中的一致性，在提升數據訪問性能的同時確保數據存儲和訪問的正確性。一般包括一致性協議優化、一致性檢驗等技術點。

高並行讀寫優化：高並行讀寫優化用於提高分布式文件讀寫的並行化水平，最大化提升分布式文件系統下的數據訪問效率。一般包括分布式數據訪問緩存管理和調度演算法優化、IO 演算法優化和合並 IO 等技術點。

分布式散列與動態均衡：分布式散列與動態均衡實現分布式文件系統下高性能的數據塊定位，提高數據訪問性能，以及數據塊的遷移和再平衡，提升分布式文件系統的穩定性和可持續服務能力。一般包扮蘆括基於一致性哈希的數據塊索引管理、動態數據再平衡等技術點。

存儲高可用：存儲高可用通過數據多副本技術、狀態自檢測和自修復、核心服務分布式部署等技術手段，實現自動檢測分布式文件系統中的各種錯誤和失效，並且在文件系統出現錯誤和失效時可自行進行多副本間的數據修復，最終持續向用戶提供正常的數據訪問服務。一般包括可配置數據多副本、數據自恢復及自維護等技術點。

海量小文件高性能存儲訪問：海量小文件高性能存儲訪問主要採用小文件匯集成大文件進姿睜行存儲、細粒度二級索引管理等技術，實現在現有分布式文件系統的基礎上，擴展對海量小文件的存儲與訪問的能力，同時解決小文件的隨機讀寫問題，大大提高分布式文件系統對海量小文件的存儲訪問效率。

⑽ 常見的文件系統有哪些

常見的文件系統有FAT、NTFS、ExtFAT、ext2、ext3、reiserFS、VFAT、APFS。

1、FAT文件系統。

FAT文件系統誕生於1977年，它最初是為軟盤設計的文件系統，但是後來隨著微軟推出dos和win 9x系統，FAT文件系統經過適配被逐漸用到了硬碟上，並且在那時的20年中，一直是主流的文件系統。

2、NTFS文件系統。

它是一種比FAT32功能更加強大的文件系統，從windows 2000之後的windows系統的默認文件系統都是NTFS，而且這些windows系統只能夠安裝在NTFS格式的磁碟上。NTFS系統是一個日誌性的文件系統，系統中對文件的操作都可以被記錄下來，當系統崩潰之後，利用日誌功能可以修復數據。

3、ExtFAT文件系統。

ExFAT也是微軟開發的文件系統，它是專門為快閃記憶體檔設計的文件系統，單個文件突破了4G的限制，而且分區的最大容量可達64ZB，建議512TB。 ExFAT在windows，Linux以及Mac系統上，都可以讀寫，作為U盤或者是移動硬碟的格式還是比較合適的。

4、ext2文件系統。

ext2是為解決ext文件系統的缺陷而設計的可擴展的、高性能的文件系統，又被稱為二級擴展文件系統。它是Linux文件系統中使用最多的類型，並且在速度和CPU利用率上較為突出。ext2存取文件的性能極好，並可以支持256位元組的長文件名，是GNU/Linux系統中標準的文件系統。

5、ext3文件系統。

ext3是ext2文件系統的日誌版本，它在ext2文件系統中增加了日誌的功能。ext3提供了3種日誌模式：日誌（journal）、順序（ordered）和回寫（writeback）。與ext2相比，ext3提供了更好的安全性以及向上向下的兼容性能。

6、reiserFS文件系統。

reiserFS是Linux環境下最穩定的日誌文件系統之一，使用快速的平衡二叉樹（binary tree）演算法來查找磁碟上的自由空間和已有的文件，其搜索速度高於ext2，reiserFS能夠像其他大多數文件系統一樣，可動態的分配索引節，而無須在文件系統中創建固定的索引節。

7、VFAT文件系統。

VFAT主要用於處理長文件的一種文件名系統，它運行在保護模式下並使用VCACHE進行緩存，並具有和Windows系列文件系統和Linux文件系統兼容的特性。因此VFAT可以作為Windows和Linux交換文件的分區。

8、APFS文件系統。

APFS是蘋果公司發布的新的文件格式，替代目前所使用的HFS+格式。這一全新文件系統專門針對快閃記憶體/SSD進行優化，提供了更強大的加密、寫入時復制元數據、空間分享、文件和目錄克隆、快照、目錄大小快速調整、原子級安全存儲基元，以及改進的文件系統底層技術。