㈠ 什麼是大數據
大數據是什麼?其實很簡單,大數據其實就是海量資料巨量資料,這些巨量資料來源於世界各地隨時產生的數據,在大數據時代,任何微小的數據都可能產生不可思議的價值。大數據有4個特點,為別為:Volume(大量)、Variety(多樣)、Velocity(高速)、Value(價值),一般我們稱之為4V。
所謂4V,具體指如下4點:
1.大量。大數據的特徵首先就體現為「大」,從先Map3時代,一個小小的MB級別的Map3就可以滿足很多人的需求,然而隨著時間的推移,存儲單位從過去的GB到TB,乃至現在的PB、EB級別。隨著信息技術的高速發展,數據開始爆發性增長。社交網路(微博、推特、臉書)、移動網路、各種智能工具,服務工具等,都成為數據的來源。淘寶網近4億的會員每天產生的商品交易數據約20TB;臉書約10億的用戶每天產生的日誌數據超過300TB。迫切需要智能的演算法、強大的數據處理平台和新的數據處理技術,來統計、分析、預測和實時處理如此大規模的數據。
2.多樣。廣泛的數據來源,決定了大數據形式的多樣性。任何形式的數據都可以產生作用,目前應用最廣泛的就是推薦系統,如淘寶,網易雲音樂、今日頭條等,這些平台都會通過對用戶的日誌數據進行分析,從而進一步推薦用戶喜歡的東西。日誌數據是結構化明顯的數據,還有一些數據結構化不明顯,例如圖片、音頻、視頻等,這些數據因果關系弱,就需要人工對其進行標注。
大數據
3.高速。大數據的產生非常迅速,主要通過互聯網傳輸。生活中每個人都離不開互聯網,也就是說每天個人每天都在向大數據提供大量的資料。並且這些數據是需要及時處理的,因為花費大量資本去存儲作用較小的歷史數據是非常不劃算的,對於一個平台而言,也許保存的數據只有過去幾天或者一個月之內,再遠的數據就要及時清理,不然代價太大。基於這種情況,大數據對處理速度有非常嚴格的要求,伺服器中大量的資源都用於處理和計算數據,很多平台都需要做到實時分析。數據無時無刻不在產生,誰的速度更快,誰就有優勢。