大數據存儲平台

A. 有哪些好的數據來源或者大數據平台

基於相關產業市場運行實時數據，監測實際市場運行中實物商品、數字商品、數字化服務的實時交易狀況、全國各省市相關產業交易額實時排名，反映產業和經濟運行現狀——產業經濟監測、預測與政策模擬平台。

B. 大數據平台是什麼什麼時候需要大數據平台如何建立大數據平台

首先我們要了解java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

C. 大數據存儲管理系統主要包括

分布式文件存儲，NoSQL資料庫，NewSQL資料庫。
分布式文件存儲是一種數據存儲技術，通過網路使用企業中的每台機器上的磁碟空間，並將這些分散的存儲資源構成一個虛擬的存儲設備，數據分散存儲在企業的各個角落。分布式文件存儲採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
NoSQL泛指非關系型的資料庫，NoSQL資料庫的產生就是為了解決大規模數據集合多重數據種類帶來的挑戰，尤其是大數據應用難題。關系型資料庫已經無法滿足Web2.0的需求，主要表現為：無法滿足海量數據的管理需求、無法滿足數據高並發的需求、高可擴展性和高可用性的功能太低。
NewSQL是各種新的可擴展/高性能資料庫的簡稱，這類資料庫不僅具有NoSQL對海量數據的存儲管理能力，還保持了傳統資料庫支持ACID和SQL等特性。

D. 大數據技術平台有哪些

Java：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據。基礎

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

好說完基礎了，再說說還需要學習哪些大數據技術，可以按我寫的順序學下去。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的？排隊買票你知道不？數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰溜溜的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接收方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

E. 大數據對存儲平台有哪些特殊要求

伴隨著安防大數據時代的來臨，安防行業原有的存儲技術已經無法滿足行業發展新需求，尤其是公共安全視頻監控建設聯網應用工作對數據聯網共享提出了更高的要求，同時以「實戰」為根本的公安業務中，大數據深度挖掘極度依賴數據存儲系統對非結構化數據分析再處理。雲存儲技術的出現，在安防行業大數據發展時代無異於革命性的應用，不斷地解決了安防存儲難題，同時也為視頻監控的深度應用與發展提供強大的驅動力。

當今世界，每個人的一言一行都在產生著數據，並且被記錄著。各行各業爆炸式增長的數據，正推動人類進入大數據時代。根據相關統計，2017年全球的數據總量為21.6ZB，目前全球數據的增長速度在每年40%左右，預計到2020年全球的數據總量將達到40ZB。數據增長在安防行業表現得尤為明顯，在近兩年「平安城市」、「 智能交通」、「 雪亮工程」等不斷開展和深入的過程中，以視頻監控為核心代表的行業發展正朝著超高清、智能化和融合應用的方向邁進，系統性工程中現有視頻監控系統數據採集量正在呈線性增長。海量數據的出現對高效、及時的存儲和處理的要求不斷提升。  

從目前行業來看，大數據時代的到來，系統性工程中視頻監控系統對存儲主要有以下幾方面的需求：  

一是海量數據及時高效存儲，根據現行的技防法規及標准，一般應用領域視頻監控系統數據採集是7x24小時不間斷的，系統採集的音視頻信息資料留存時限不得少於30日，針對案(事)件信息以及一些特殊應用領域視音頻資料存放時間更長，甚至長期保留，數據量隨時間增加呈線性增長。  

二是監控數據存儲系統需要具備可擴展性，不但滿足海量數據持續增加，還需要滿足採集更高解析度或更多採集點的數據需要。  

三是對存儲系統的性能要求高。與其他領域不同，視頻監控主要是視頻碼流的存儲，在多路並發存儲的情況下，對帶寬、數據能力、緩存等都有很高的要求，需要有專門針對視頻性能的優化處理。  

四是大數據應用需要數據存儲的集中管理分析。但現實情況卻恰恰相反，一方面是系統性工程在分期建設的過程中，采購的設備並不能保證為同一品牌，實際項目中多種品牌、多種型號比比皆是，給視頻監控的存儲集中管理帶來很大難度。同時，在一些大型的項目中，例如特大城市「天網工程」，高速公路中道路監控所跨區域較大，集中存儲較為困難。另外，受網路帶寬及老舊設備影響，系統難以形成統一存儲、統一監控的中心體系架構，導致數據在應用中調取不及時。  

總體來看，隨著系統性安防項目的深入開展以及物聯網建設初露崢嶸，大規模聯網監控的建設和高清監控的逐步普及，海量視頻數據已經呈現井噴式地增長，並沖擊著傳統的存儲系統，遺憾的是原有的存儲系統無法滿足大數據時代提出的新要求，亟需新的存儲技術支撐現有業務模式，同時為人工智慧技術在安防領域施展拳腳拓展新的空間。

F. 大數據有哪些常用的平台

大數據平台：是指以處理海量數據存儲、計算和不間斷流數據實時計算等場景為主的一套基礎設施。
典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。

G. 大數據服務平台是什麼有什麼用

現今社會每來時每刻都在源產生數據，企業內部的經營交易信息、物聯網世界中的商品物流信息，互聯網世界中的人與人交互信息、位置信息等，我們身邊處處都有大數據。而大數據服務平台則是一個集數據接入、數據處理、數據存儲、查詢檢索、分析挖掘等、應用介面等為一體的平台，然後通過在線的方式來提供數據資源、數據能力等來驅動業務發展的服務，國外如Amazon ，Oracle，IBM，Microsoft...國內如華為，商理事等公司都是該服務的踐行者。