A. 什麼是大數據，看完這篇就明白了
什麼是大數據
如果從字面上解釋的話，大家很容易想到的可能就是大量的數據，海量的數據。這樣的解釋確實通俗易懂，但如果用專業知識來描述的話，就是指數據集的大小遠遠超過了現有普通資料庫軟體和工具的處理能力的數據。
大數據的特點
海量化
這里指的數據量是從TB到PB級別。在這里順帶給大家科普一下這是什麼概念。
MB，全稱MByte，計算機中的一種儲存單位，含義是「兆位元組」。
1MB可儲存1024×1024=1048576位元組（Byte）。
位元組（Byte）是存儲容量基本單位，1位元組（1Byte）由8個二進制位組成。
位（bit）是計算機存儲信息的最小單位，二進制的一個「0」或一個「1」叫一位。
通俗來講，1MB約等於一張網路通用圖片（非高清）的大小。
1GB=1024MB，約等於下載一部電影（非高清）的大小。
1TB=1024GB，約等於一個固態硬碟的容量大小，能存放一個不間斷的監控攝像頭錄像（200MB/個）長達半年左右。
1PB=1024TB，容量相當大，應用於大數據存儲設備，如伺服器等。
1EB=1024PB，目前還沒有單個存儲器達到這個容量。
多樣化
大數據含有的數據類型復雜，超過80%的數據是非結構化的。而數據類型又分成結構化數據，非結構化數據，半結構化數據。這里再對三種數據類型做一個分類科普。
①結構化數據
結構化的數據是指可以使用關系型資料庫(例如:MySQL,Oracle,DB2)表示和存儲，表現為二維形式的數據。一般特點是：數據以行為單位，一行數據表示一個實體的信息，每一行數據的屬性是相同的。所以，結構化的數據的存儲和排列是很有規律的，這對查詢和修改等操作很有幫助。
但是，它的擴展性不好。比如，如果欄位不固定，利用關系型資料庫也是比較困難的，有人會說，需要的時候加個欄位就可以了，這樣的方法也不是不可以，但在實際運用中每次都進行反復的表結構變更是非常痛苦的，這也容易導致後台介面從資料庫取數據出錯。你也可以預先設定大量的預備欄位，但這樣的話，時間一長很容易弄不清除欄位和數據的對應狀態，即哪個欄位保存有哪些數據。
②半結構化數據
半結構化數據是結構化數據的一種形式，它並不符合關系型資料庫或其他數據表的形式關聯起來的數據模型結構，但包含相關標記，用來分隔語義元素以及對記錄和欄位進行分層。因此，它也被稱為自描述的結構。半結構化數據，屬於同一類實體可以有不同的屬性，即使他們被組合在一起，這些屬性的順序並不重要。常見的半結構數據有XML和JSON。
③非結構化數據
非結構化數據是數據結構不規則或不完整，沒有預定義的數據模型，不方便用資料庫二維邏輯表來表現的數據。包括所有格式的辦公文檔、文本、圖片、各類報表、圖像和音頻/視頻信息等等。非結構化數據其格式非常多樣，標准也是多樣性的，而且在技術上非結構化信息比結構化信息更難標准化和理解。所以存儲、檢索、發布以及利用需要更加智能化的IT技術，比如海量存儲、智能檢索、知識挖掘、內容保護、信息的增值開發利用等。
快速化
隨著物聯網、電子商務、社會化網路的快速發展，全球大數據儲量迅猛增長，成為大數據產業發展的基礎。根據國際數據公司(IDC)的監測數據顯示，2013年全球大數據儲量為4.3ZB(相當於47.24億個1TB容量的移動硬碟)，2014年和2015年全球大數據儲量分別為6.6ZB和8.6ZB。近幾年全球大數據儲量的增速每年都保持在40%，2016年甚至達到了87.21%的增長率。2016年和2017年全球大數據儲量分別為16.1ZB和21.6ZB，2018年全球大數據儲量達到33.0ZB。預測未來幾年，全球大數據儲量規模也都會保持40%左右的增長率。在數據儲量不斷增長和應用驅動創新的推動下，大數據產業將會不斷豐富商業模式，構建出多層多樣的市場格局，具有廣闊的發展空間。
核心價值
大數據的核心價值，從業務角度出發，主要有如下的3點：
a.數據輔助決策：為企業提供基礎的數據統計報表分析服務。分析師能夠輕易獲取數據產出分析報告指導產品和運營，產品經理能夠通過統計數據完善產品功能和改善用戶體驗，運營人員可以通過數據發現運營問題並確定運營的策略和方向，管理層可以通過數據掌握公司業務運營狀況，從而進行一些戰略決策；
b.數據驅動業務：通過數據產品、數據挖掘模型實現企業產品和運營的智能化，從而極大的提高企業的整體效能產出。最常見的應用領域有基於個性化推薦技術的精準營銷服務、廣告服務、基於模型演算法的風控反欺詐服務徵信服務，等等。
c.數據對外變現：通過對數據進行精心的包裝，對外提供數據服務，從而獲得現金收入。市面上比較常見有各大數據公司利用自己掌握的大數據，提供風控查詢、驗證、反欺詐服務，提供導客、導流、精準營銷服務，提供數據開放平台服務，等等。
大數據能做什麼？
1、海量數據快速查詢(離線)
能夠在海量數據的基礎上進行快速計算，這里的「快速」是與傳統計算方案對比。海量數據背景下，使用傳統方案計算可能需要一星期時間。使用大數據 技術計算只需要30分鍾。
2.海量數據實時計算（實時）
在海量數據的背景下，對於實時生成的最新數據，需要立刻、馬上傳遞到大數據環境，並立刻、馬上進行相關業務指標的分析，並把分析完的結果立刻、馬上展示給用戶或者領導。
3.海量數據的存儲（數據量大，單個大文件）
大數據能夠存儲海量數據,大數據時代數據量巨大,1TB=1024*1G 約26萬首歌(一首歌4M),1PB=1024 * 1024 * 1G約2.68億首歌(一首歌4M)
大數據能夠存儲單個大文件。目前市面上最大的單個硬碟大小約為10T左右。若有一個文件20T,將 無法存儲。大數據可以存儲單個20T文件，甚至更大。
4.數據挖掘（挖掘以前沒有發現的有價值的數據）
挖掘前所未有的新的價值點。原始企業內數據無法計算出的結果，使用大數據能夠計算出。
挖掘（演算法）有價值的數據。在海量數據背景下，使用數據挖掘演算法，挖掘有價值的指標（不使用這些演算法無法算出）
大數據行業的應用？
1.常見領域
2.智慧城市
3.電信大數據
4.電商大數據
大數據行業前景(國家政策)？
2014年7月23日，國務院常務會議審議通過《企業信息公示暫行條例（草案）》
2015年6月19日，國家主席、總理同時就「大數據」發表意見：《國務院辦公廳關於運用大數據加強對市場主體服務和監管的若干意見》
2015年8月31日，國務院印發《促進大數據發展行動綱要》。國發〔2015〕50號
2016年12月18日，工業和信息化部關於印發《大數據產業發展規劃》
2018年1月23日。中央全面深化改革領導小組會議審議通過了《科學數據管理辦法》
2018年7月1日，國務院辦公廳印發《關於運用大數據加強對市場主體服務和監管的若干意見》
2019年政府工作報告中總理指出「深化大數據、人工智慧等研發應用，培育新一代信息技術、高端裝備、生物醫葯、新能源汽車、新材料等新興產業集群，壯大數字經濟。」
總結
我國著名的電商之父，阿里巴巴創始人馬雲先生曾說過，未來10年，乃至20年，將是人工智慧的時代，大數據的時代。對於現在正在學習大數據的我們來說，未來對於我們更是充滿了各種機遇與挑戰。
python學習網，大量的免費python視頻教程，歡迎在線學習！
B. 什麼是大數據,它有哪些特點
大數據是什麼？在很多人的眼裡大數據可能是一個很模糊的概念，但是，在日常生活中大數據有離我們很近，我們無時無刻不再享受著大數據所給我們帶來的便利，個性化，人性化。全面的了解大數據我們應該從四個方面簡單了解。
定義，結構特點，我們身邊有哪些大數據，大數據帶來了什麼，這四個方面了解。
那麼「大數據」到底是什麼呢？
在麥肯錫全球研究所給出的定義中指出：大數據即是一種規模大到在獲取，存儲，管理，分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合。簡單而言大數據是數據多到爆表。大數據的單位一般以PB衡量。那麼PB是多大呢？1GB=1024MB ，1PB=1024GB才足以稱為大數據。
大數據具有什麼樣的特點和結構呢？
大數據從整體上看分為四個特點，
第一，大量。
衡量單位PB級別，存儲內容多。
第二，高速。
大數據需要在獲取速度和分析速度上要及時迅速。保證在短時間內更多的人接收到信息。
第二，多樣。
數據的來源是各種渠道上獲取的，有文本數據，圖片數據，視頻數據等。因此數據是多種多樣的。
第三，價值。
大數據不僅僅擁有本身的信息價值，還擁有商業價值。大數據在結構上還分為：結構化，半結構化，非結構化。結構化簡單來講是資料庫，是由二維表來邏輯表達和實現的數據。非結構化即數據結構不規則或不完整，沒有預定義的數據模型。由人類產生的數據大部分是非結構化數據。
那我們身邊有哪些東西是大數據呢？
在生產生活中常見的有電信數據：通話數據、簡訊數據、手機瀏覽數據。銀行數據，微信聊天數據等。
最後，大數據能做什麼？
人們的生活離不開它，因為他在日常生活中發揮的作用逐漸加強。例如：用戶畫像，幫助人們制定個性化的需求，知識圖譜。人工智慧例如:谷歌的「阿爾法狗」在圍棋大賽中贏得、阿里巴巴的ET、網路的無人駕駛汽車等。數字貨幣，物聯網等。
C. 請問各位大神，大數據文件是什麼文件啊，條件是Jpg格式，大小30Mb。請解釋一下，謝謝大神。
單位有B、KB、MB、GB、TB，一B就是一個半形字元，所以一個中文就是2B，因為... 1024B等於專1KB,1024KB等於1MB,1024MB等於1GB,1024GB等於1TB。屬 最小的文件...
D. 大數據常用文件格式介紹
圖片看不見的話可以看我CSDN上的文章：
https://blog.csdn.net/u013332124/article/details/86423952
最近在做hdfs小文件合並的項目，涉及了一些文件格式的讀寫，比如avro、orc、parquet等。期間閱讀了一些資料，因此打算寫篇文章做個記錄。
這篇文章不會介紹如何對這些格式的文件進行讀寫，只會介紹一下它們各自的特點以及底層存儲的編碼格式 。
[圖片上傳失敗...(image-a5104a-1547368703623)]
使用sequencefile還可以將多個小文件合並到一個大文件中，通過key-value的形式組織起來，此時該sequencefile可以看做是一個小文件容器。
[圖片上傳失敗...(image-4d03a2-1547368703623)]
Parquet是一個基於列式存儲的文件格式，它將數據按列劃分進行存儲。Parquet官網上的文件格式介紹圖：
[圖片上傳失敗...(image-92770e-1547368703623)]
我們可以看出，parquet由幾個部分構成：
[圖片上傳失敗...(image-391e57-1547368703623)]
Orc也是一個列式存儲格式，產生自Apache Hive，用於降低Hadoop數據存儲空間和加速Hive查詢速度。
[圖片上傳失敗...(image-ba6160-1547368703623)]
目前列式存儲是大數據領域基本的優化項，無論是存儲還是查詢，列式存儲能做的優化都很多，看完上面對orc和parquet的文件結構介紹後，我們列式存儲的優化點做一個總結：
在壓縮方面 ：
在查詢方面 ：
就網上找到的一些數據來看，Orc的壓縮比會比Parquet的高一些，至於查詢性能，兩個應該不會差距太大。本人之前做過一個測試，在多數場景，hive on mr下，orc的查詢性能會更好一些。換成hive on spark後，parquet的性能更好一些
本文介紹的4種大數據存儲格式，2個是行式存儲，2個是列式存儲，但我們可以看到一個共同點：它們都是支持分割的。這是大數據文件結構體系中一個非常重要的特點， 因為可分割使一個文件可以被多個節點並發處理，提高數據的處理速度 。
另外，當前大數據的主要趨勢應該是使用列式存儲，目前我們公司已經逐步推進列式存儲的使用，本人也在hive上做過一些測試，在多個查詢場景下，無論是orc還是parquet的查詢速度都完爆text格式的， 差不多有4-8倍的性能提升 。另外，orc和parquet的壓縮比都能達到10比1的程度。因此，無論從節約資源和查詢性能考慮，在大多數情況下，選擇orc或者parquet作為文件存儲格式是更好的選擇。另外，spark sql的默認讀寫格式也是parquet。
當然，並不是說列式存儲已經一統天下了，大多時候我們還是要根據自己的使用場景來決定使用哪種存儲格式。
Sequencefile
https://blog.csdn.net/en_joker/article/details/79648861
https://stackoverflow.com/questions/11778681/advantages-of-sequence-file-over-hdfs-textfile
Avro和Sequencefile區別
https://stackoverflow.com/questions/24236803/difference-between-avrodata-file-and-sequence-file-with-respect-to-apache-sqoop
parquet
https://www.cnblogs.com/ITtangtang/p/7681019.html
Orc
https://www.cnblogs.com/ITtangtang/p/7677912.html
https://www.cnblogs.com/cxzdy/p/5910760.html
Orc和parquet的一些對比
https://blog.csdn.net/colorant/article/details/53699822
https://blog.csdn.net/yu616568/article/details/51188479
E. 什麼是大數據,通俗的講
有人說大數據技術是第四次技術革命，這個說法其實不為過。
很多人只是聽過大數據這個詞或者是簡單知道它是什麼，那麼它是什麼呢，在這里就通俗點來說一下個人對大數據的理解。
大數據，很明顯從字面上理解就是大量的數據，海量的數據。大，意思就是數據的量級很大，不上TB都不好意思說是大數據。數據，狹義上理解就是12345那麼些數據，畢竟計算機底層是二進制來存的，那麼在大數據領域，數據就不僅僅包括數字這些，它可以是所有格式的東西，比如日誌，音頻視頻，文件等等。
所以，大數據從字面上理解就是海量的數據，技術上它包括這些海量數據的採集，過濾，清洗，存儲，處理，查看等等部分，每一個部分包括一些大數據的相關技術框架來支持。
舉個例子，淘寶雙十一的總交易額的顯示，後面就是大數據技術的支持，全國那麼多淘寶用戶的交易記錄匯聚到一起，數據量很大，而且要做到實時的展現，就需要強有力的大數據技術來處理了。
數據量一大，那麼得找地方來存，一個伺服器硬碟可以掛多少，肯定滿足不了這么大的數據量存儲啊，所以，分布式的存儲系統應運而生，那就是HDFS分布式文件系統。簡單的說，就是把這么大的數據分開存在甚至幾百甚至幾千台伺服器上，那麼管理他們的系統就是HDFS文件系統，也是大數據技術的最基本的組件。
有地方存了，需要一些分布式的資料庫來管理查詢啊，那就有了Hbase等，還需要一些組件來計算分析這些數據啊，maprece是最基本的計算框架，其他的計算框架Spark和Storm可以完成實時的處理，其中HDFS和MapRece組成了Hadoop1.
總之，一切都是數據。我們的歷史，是不是都是大量的數據保存下來的，現在我們也是大數據的生活，天天有沒有接到騷擾電話還知道你姓什麼，你查話費什麼的從幾億人的數據中查到你的信息，大數據生活。未來，大數據將更深刻的滲透到生活中。
F. 通俗的講什麼叫大數據 是什麼文件
1、大數據，很明顯從字面上理解就是大量的數據，海量的數據。大，意思就是數據的量級很大，不上TB都不好意思說是大數據。數據，狹義上理解就是12345那麼些數據，畢竟計算機底層是二進制來存的，那麼在大數據領域，數據就不僅僅包括數字這些，它可以是所有格式的東西，比如日誌，音頻視頻，文件等等。
2、所以，大數據從字面上理解就是海量的數據，技術上它包括這些海量數據的採集，過濾，清洗，存儲，處理，查看等等部分，每一個部分包括一些大數據的相關技術框架來支持。
G. "大數據"的PDF文件格式是什麼意思
大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。
注意這里的多樣性，大數據的數據包含很多種格式，不限於PDF，MP4，word等。這里的PDF只是大數據的數據中的一種格式。大數據是數據量大，數據的種類復雜，有用信息少，通常來說是大海撈針的找有用信息。
H. 什麼是大數據，大數據的特徵和結構有那些
大數據呈現出「4v+1c」的特點：（1）variety，大數據種類繁多，在編碼方式、數據格式、應用特專征等多個方屬面存在差異性，多信息源並發形成大量的異構數據；（2）volume，通過各種設備產生的海量數據，其數據規模極為龐大，遠大於目前互聯網上的信息。
I. 大數據的數據格式是什麼
大數據沒有固定的數據格式
大數據其中的一個困難就是數據格式多樣，一般使用最原始的方式存儲數據
比如說，鍵值對，其中值可以是任意數據，也就是二進制的格式