大數據初體驗

A. 大數據培訓需要多長時間難不難學

一般大數據的學習方式有兩種：

線下脫產學習，線上視頻教學。如果是版0基礎學員參加線下脫權產班學習的話，大多數培訓機構都是6個月左右的周期。

大數據的學習有一定難度，對於0基礎的小白來說，一定要細心、耐心，認真聽課，多多練習。大數據的薪資待遇是比較可觀的，目前大數據開發招聘還是以技術為主，大數據需要學習hadoop、spark、storm、超大集群調優、機器學習、並發編程等，加米穀的具體如下：

java，大數據基礎：Linux基礎、Maven基礎

HDFS分布式文件系統

MapRece分布式計算模型+Yarn分布式資源管理器+Zookeeper分布式協調服務

Hbase分布式數據 庫+Hive分布式數據倉庫

FlumeNG分布式數據採集系統+Sqoop大數據遷移系統

Scala大數據黃金語言+kafka分布式匯流排系統

SparkCore大數據計算基石+SparkSQL數據挖掘利器+SparkStreaming流式計算平台

SparkMllib機器學習平台+SparkGraphx圖計算平台

大數據項目實戰

B. 《大數據》讀後感字

《大數據》讀後感2000字

如今，我們正處於一個大數據時代，有時候數據給了我們有力的證明。以下是、《大數據》讀後感2000字，歡迎閱覽!

《大數據》讀後感2000字【1】

這兩年，大數據，雲計算的思想就像小蘋果的音樂一樣，傳的到處都是，每一個公司不管是互聯網公司還是傳統企業，都標榜自己的大數據。

1、實體物聯網與虛擬物聯網

曾幾何時，物聯網的概念鬧得風生水起，龐大的物聯網能夠讓世間大量的物體，都能夠被檢測 並聯網，包括了人、車、房等一切能夠被聯網的物體，這些物體都能夠以種方式被感知他的存在，並對其信息記錄在案，以供使用。在若干年前，這還是一種看似遙不可及的事物，要對每個物體都貼上一個所謂的RFID的標簽，顯得不切實際。如今，隨著手機的大量使用，人類本身也被加入了物聯網中。為什麼要物聯網?是為了獲取什麼?要知道物聯網獲取了什麼，只需要看看在一個物體在沒有加入物聯網與加入物聯網之後，我們多出了哪些東西便能夠知曉。那麼，很明顯，我們需要通過某種方式來獲取該物體的信息，這種存儲下來的信息，就叫做——數據。

物聯網產生的數據是實體的物品之間的信息，而現在的互聯網上，占最大數據量的，是虛擬物品，或者叫做網路虛擬物品。由於網路物體是直接寄生於網路，具有能夠方便的接入網路的特徵，因此，在獲取實體物體信息還有一定難度的時期，佔有很大優勢。但今後實體的物聯網產生的數據量一定會不斷增加，或許，能夠超越網路上的物物相連數據量。

網路的廣泛使用，使得信息的產生於傳遍變得容易，每個接入網路的人都以一定的角色存在，都是網路的信息的創造者。對於所產生的信息而言，每個接入網路的人又身兼多角，對於網路服務商，他是網路使用者的角色;對於門戶網站而言，他是使用的用戶;對於社交網站而言，我們則扮演一個虛擬或者真實的網路角色;對於瀏覽器而言，他是一系列的瀏覽網頁、一些列滑鼠動作的角色… 不同的角色取決於對方需要從我們的行為中獲取哪些信息。將網路上各種角色看成是虛擬的物體，那麼，這種虛擬物體構成的虛擬物聯網便產生了巨大的數據量。經歷過一直以來缺乏信息獲取渠道的日子，現在，既然信息獲取變得如此容易，那麼，必然迎來信息量暴增的時代——大數據時代。

2、思維的轉變

技術的改變，使得我們思維方式也要隨之發生變化。在過去的小數據時代，由於獲取信息、存儲信息、整理信息都是費時費力的活，我們只能精打細算，捉摸著如何以最小的代價、最快的方式來收集盡可能准確的信息。之所以會有抽樣統計的方式，是受技術所限，無法獲得全體的樣本，或者就算獲取了也無法在合理的時間內進行處理。由於信息獲取代價大，使得我們不得不在獲取信息前，就把一切都想清楚，才能夠著手處理。這就像在計算機出現的初期，使用紙袋來編碼的時期，一次出錯的代價太大，所以人們不得不在輸入前將代碼驗證過無數遍之後才敢輸入到機器中。而現代計算機讓編碼的效率大大提升，這才使得人們能夠創造出更加強大的軟體。人們不需要在著手編碼前就對代碼過分深思熟慮，因為機器會幫助你解決一些問題。因此，那些擔心由於獲取數據太方便，進行數據處理、分析代價太小而使人們變得懶惰或者做事欠考慮的傢伙，真是杞人憂天。歷史上，技術的進步都會提升人類的生產力，但卻沒有讓人們變得懶惰，因為與此同時，慾望也隨之增長。人類只會變得更偉大。

因此，大數據時代，這個數據更加全面的時代，我們可以涉足一些之前由於缺乏數據而無法涉及的領域，例如——預測。這是一個令人興奮的領域，但其實這個領域早有苗頭，而且大家都是受益者。我們平時使用的輸入法中的智能聯想功能，能夠根據我們之前輸入的文字，來預測我們接下來有可能輸入的文字，以節省我們的輸入時間。這種演算法里，沒有人工智慧，而只有人們大量的輸入習慣的統計，通過大量數據的統計來預測，是一個統計學的方式而非加入了特有的規則或者邏輯。這便引出了在大數據時代，對於信息處理的一種重要方式，基於統計，得出不同個體的相關關系，卻無需了解其因果關系，而我們則受益於相關關系。這種方式，看似有些投機取巧，卻能夠在關鍵時刻令我們處於優勢地位。我們已經習慣了先知道某些事物的因果邏輯，繼而推斷出相應的結果。但世間總會有一些令人無法用合理的邏輯進行解釋的現象，若通過大數據分析，我們能夠跳過邏輯階段直接享用某些一些結果(沃爾瑪的啤酒加尿布案例)，豈不樂哉。當然，嚴密的邏輯永遠是值得尊敬的。

3、互聯網的黏性

在經歷過了從廣度上通過新花樣來吸引用戶的時代，由於技術的提高，一個創業者在一個新的領域開辟的東西很容易被其他人所復制。在這個時候，深度很重要。特別是購物網站、微薄、門戶網站這類信息量大的網站，越是了解一個用戶，優勢就越大。所以，在技術已經不是最重要的因素的時代，如何增加用戶的黏性、忠誠度便是首要的。通過用戶之前的信息，來推測用戶的喜好，給用戶推薦相應的信息或物品。當你越了解一個用戶，而別人卻不了解時，這個用戶就越離不開你。微薄中有他的`智能排序功能、新聞門戶中有「今日頭條」應用，各類購物網站有他的推薦演算法(但這個純粹為了增加消費而非增加用戶黏性)，都能夠根據用戶之前的瀏覽、偏好來給出相應的推薦。這些的基礎，都是擁有用戶的行為記錄，否則，都無從談起。

各行各業，都在瘋狂的抓緊時機，獲取數據，擁有足量的數據，那一切就變得皆有可能。

《大數據》讀後感2000字【2】

凡是過去，皆為序曲是大數據業者最喜歡引用的語句。大數據是現在的潮流，大數據時代被認為是了解大數據的初級讀物。近期連續讀了兩遍，第二遍是為了寫這篇讀後感，總體而言，值得一看，但細節方面卻需要討論了。

維基網路對大數據的解釋：Big data，或稱巨量數據、海量數據、大資料，指的是所涉及的數據量規模巨大到無法通過人工，在合理時間內達到截取、管理、處理、並整理成為人類所能解讀的信息。

有人說現在是讀圖時代，除去小說、心靈雞湯以外，現在的暢銷書基本都有圖片，這本書是一個特例

首先嘗試解析一下作者的三大觀點，這三大觀點是大數據業者很喜歡引用的三句話：

1 不是隨機樣本，而是全體數據

我想所有人都能意識到對全體數據的分析優於對隨機樣本的分析，但在現實中我們經常拿不到全體數據：一是數據的收集方法，每一種方法都有適用的范圍，不太可能包羅萬象;二是數據分析的角度，戰斗機只能統計到飛回來的飛機上的彈孔，而墜毀的則無法統計，沃德通過分析飛回來的戰斗機得出來最易導致墜毀的薄弱點;三是處理能力跟不上，就像以前的天氣預報太離譜是因為來不及算那些數據。「采樣分析是信息缺乏時代和信息流通受限制的模擬數據時代的產物」，作者顯然只關注了一部分原因。

從語言的理解上看，什麼是全體數據，究竟是「我們需要的所有數據」，還是「我們能收集到的所有數據」，書中的很多商業案例中，處理的只是「我們能收集到的所有數據」，或者說是「我們認為的全體數據」。人對自然的認識總是有限的，存在主義認為世界沒有終極的目標。書中舉例「Farecast使用了每一條航線整整一年的價格數據來進行預測」，而「整整一年」就是一個采樣，或者是「我們需要的所有數據」。

從歷史的角度看，國外的托勒密建亞歷山大圖書館唯一的目的是「收集全世界的書」，實現「世界知識總匯」的夢想，國內的乾隆匯編四庫全書，每個收集的過程都有主觀因素在裡面，而他們當時都認為可以收集全部的書籍，到最後，我們也沒有得到那個夢中的全體。

2 不是精確性，而是混雜性

既然我們過去總是在抽樣，那本身就是在一個置信水平下，有明確的容錯度或者是偏差值。人類永遠知道我們是在精確性受限的條件下工作。同時，作者本身也承認 「錯誤並不是大數據固有的特性，而是一個亟需我們去處理的現實問題，並且有可能長期存在」。那大數據的特徵究竟是精確性還是混雜性?

由此衍生出一個問題，大數據的品質如何控制：一、本身就不要求精確，但是不精確到何種程度是需要定義的，否則就亂套了，換個角度，如果定義了容錯度，那符合條件的都是精確的(或者說我這句話還是停留在小數據時代?這里的邏輯我沒有理順)。就像品質管理大師克勞斯比提出過零缺陷理論，我一直覺得是一個偽命題，缺陷是一定存在的，就看如何界定了;二、大量非結構化數據的處理，譬如說對新聞的量化、情感的分析，目前對非SQL的應用還有巨大的進步空間。

「一個東西要出故障，不會是瞬間的，而是慢慢地出問題的」。「通過找出一個關聯物並監控它，我們就能預測未來」。這句話當然是很認同，但不意味著我們可以放棄精確性，只是說我們需要重新定義精確度。之於項目管理行業，如果一個項目出了嚴重的問題，我們相信，肯定是很多因素和過程環節中出了問題，我們也失去了很多次挽救的機會。而我們一味的容忍混雜性的話，結果顯然是不能接受的。

3 不是因果關系，而是相關關系

這是本書對大數據理論的最大的貢獻，也是最受爭議的地方。連譯者都有點看不下去了。

相關關系我實在是太熟了，打小就學的算命就是典型的「不是因果關系，而是相關關系」。算命其實是對趨向性的總結，在給定條件下，告訴你需要遠離什麼，接近什麼，但不會告訴你為什麼那樣做。

我們很多時候都在說科學，然而，什麼是科學，沒有人能講清楚。我對科學的認識是：一、有一個明確的范圍;二、在這個范圍內樹立一個強制正確的公理;三、有明確的推演過程;四 可以復制。科學的霸道體現在把一切不符合這四個條件的事物都斥為偽科學、封建迷信，而把自己的錯誤都用不符合前兩條來否決。從這個定義來看，大數據不符合科學。

混沌學理論中的蝴蝶效應主要關注相關關系。它是指對初始條件敏感性的一種依賴現象，輸入端微小的差別會迅速放大到輸出端，但能輸出什麼，誰也不知道。

人類一旦放棄了對因果關系的追求，也就放棄了自身最優秀的品質：意志力。很多人不願意相信算命是擔心一旦知道了命運，就無法再去奮斗。即使我相信算命，也在探求相關關系中的因果要素。我放棄第一份工作的原因之一是厭倦了如此確定的明天：一個任務發出去，大概能預測到哪些環節會出問題，只要不去 follow，這些環節十有八九會出問題。

解析完這三大觀點，下面是我對大數據理論的一些疑惑。大數據是目前風行的反饋經濟中的重要一環，在金融、互聯網行業的應用最為廣泛，而這些行業都是大家所認為的高薪領域。很多時候我就在想，所謂無形的手所產生的趨勢究竟是不是無形的。比如幾家公司強推一個概念，說這是趨勢，不久就真的變成趨勢了。我們身邊活生生的例子就是天貓的雙十一和京東的618，一個巨頭開路，無數人跟風，自然就生造出購物節，至於合理不合理，追究的意義也不大，因為很多事情是沒有可比性的。這和沒有強制控制中心的蜂群思維又不一樣。

看完這本書，總是覺得作者說的過於絕對，也許是我的認識太淺了吧，所以最後用法演四戒做總結：

勢不可以使盡，使盡則禍必至

福不可以受盡，受盡則緣必孤

話不可以說盡，說盡則人必易

規矩不可行盡，行盡則事必繁

C. 大數據常用同步工具

一、離線數據同步

DataX

阿里的Datax是比較優秀的產品，基於python，提供各種數據村塾的讀寫插件，多線程執行，使用起來也很簡單，操作簡單通常只需要兩步；

創建作業的配置文件（json格式配置reader,writer）；

啟動執行配置作業。

非常適合離線數據，增量數據可以使用一些編碼的方式實現，

缺點：僅僅針對insert數據比較有效，update數據就不適合。缺乏對增量更新的內置支持，因為DataX的靈活架構，可以通過shell腳本等方式方便實現增量同步。

參考資料：

github地址：https://github.com/alibaba/DataX

dataX3.0介紹：https://www.jianshu.com/p/65c440f9bce1

datax初體驗：https://www.imooc.com/article/15640

文檔：https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md

Sqoop

Sqoop(發音：skup)是一款開源的工具，主要用於在Hadoop(Hive)與傳統的資料庫(mysql、postgresql…)間進行數據的傳遞，可以將一個關系型資料庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也可以將HDFS的數據導進到關系型資料庫中。

地址：http://sqoop.apache.org/

Sqoop導入：導入工具從RDBMS到HDFS導入單個表。表中的每一行被視為HDFS的記錄。所有記錄被存儲在文本文件的文本數據或者在Avro和序列文件的二進制數據。

Sqoop導出：導出工具從HDFS導出一組文件到一個RDBMS。作為輸入到Sqoop文件包含記錄，這被稱為在表中的行。那些被讀取並解析成一組記錄和分隔使用用戶指定的分隔符。

Sqoop支持全量數據導入和增量數據導入（增量數據導入分兩種，一是基於遞增列的增量數據導入（Append方式）。二是基於時間列的增量數據導入（LastModified方式）），同時可以指定數據是否以並發形式導入。

Kettle

Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，數據抽取高效穩定。

Kettle的Spoon有豐富的Steps可以組裝開發出滿足多種復雜應用場景的數據集成作業，方便實現全量、增量數據同步。缺點是通過定時運行，實時性相對較差。

NiFi

Apache NiFi 是一個易於使用、功能強大而且可靠的數據拉取、數據處理和分發系統，用於自動化管理系統間的數據流。它支持高度可配置的指示圖的數據路由、轉換和系統中介邏輯，支持從多種數據源動態拉取數據。

NiFi基於Web方式工作，後台在伺服器上進行調度。 用戶可以為數據處理定義為一個流程，然後進行處理，後台具有數據處理引擎、任務調度等組件。

幾個核心概念：

Nifi 的設計理念接近於基於流的編程 Flow Based Programming。

FlowFile：表示通過系統移動的每個對象，包含數據流的基本屬性

FlowFile Processor（處理器）：負責實際對數據流執行工作

Connection（連接線）：負責不同處理器之間的連接，是數據的有界緩沖區

Flow Controller（流量控制器）：管理進程使用的線程及其分配

Process Group（過程組）：進程組是一組特定的進程及其連接，允許組合其他組件創建新組件

參考資料

Nifi簡介及核心概念整理

官方網站：http://nifi.apache.org/index.html

二、實時數據同步

實時同步最靈活的還是用kafka做中間轉發，當數據發生變化時，記錄變化到kafka，需要同步數據的程序訂閱消息即可，需要研發編碼支持。這里說個mysql資料庫的同步組件，阿里的canal和otter

canal

https://github.com/alibaba/canal

數據抽取簡單的來說，就是將一個表的數據提取到另一個表中。有很多的ETL工具可以幫助我們來進行數據的抽取和轉換，ETL工具能進行一次性或者定時作業抽取數據，不過canal作為阿里巴巴提供的開源的數據抽取項目，能夠做到實時抽取，原理就是偽裝成mysql從節點，讀取mysql的binlog，生成消息，客戶端訂閱這些數據變更消息，處理並存儲。下面我們來一起搭建一下canal服務

早期，阿里巴巴B2B公司因為存在杭州和美國雙機房部署，存在跨機房同步的業務需求。不過早期的資料庫同步業務，主要是基於trigger的方式獲取增量變更，不過從2010年開始，阿里系公司開始逐步的嘗試基於資料庫的日誌解析，獲取增量變更進行同步，由此衍生出了增量訂閱&消費的業務，從此開啟了一段新紀元。

ps. 目前內部版本已經支持mysql和oracle部分版本的日誌解析，當前的canal開源版本支持5.7及以下的版本(阿里內部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)

基於日誌增量訂閱&消費支持的業務：

資料庫鏡像

資料庫實時備份

多級索引 (賣家和買家各自分庫索引)

search build

業務cache刷新

價格變化等重要業務消息

otter

https://github.com/alibaba/otter

otter是在canal基礎上又重新實現了可配置的消費者，使用otter的話，剛才說過的消費者就不需要寫了，而otter提供了一個web界面，可以自定義同步任務及map表。非常適合mysql庫之間的同步。

另外：otter已在阿里雲推出商業化版本 數據傳輸服務DTS， 開通即用，免去部署維護的昂貴使用成本。DTS針對阿里雲RDS、DRDS等產品進行了適配，解決了Binlog日誌回收，主備切換、VPC網路切換等場景下的同步高可用問題。同時，針對RDS進行了針對性的性能優化。出於穩定性、性能及成本的考慮，強烈推薦阿里雲用戶使用DTS產品。

D. 大數據的優勢

毫無疑問，各行各業因為大幅爆發的數據而正變得蒸蒸日上。在這10年中，幾乎所有行業都或多或少的受到這 巨變的影響。科技滲透到各個領域，並且已經成為每個處理單元的必要元素。談到IT行業，具體來說，軟體和自動化是較基本的術語，並且用於處理循環的每個階段。

大數據時代」帶來對人們的關鍵性的考驗是如何在爆炸的信息中處理數據，新的數據產生是個很自然的過程，但「處理」是很關鍵的。目前大數據解決信息量爆炸的情況下很多一是數據量大，二是非結構性比較多，像微博、微信是非結構性的。

相較於穩定性而言，企業更關心的是敏捷性和創新性，通過大數據技術，可以幫助公司及時實現這 願望。大數據分析不僅使企業能夠跟隨瞬息萬變的潮流而不斷更新，而且還具有預測未來發展趨勢的能力，使企業占據有競爭力的優勢。

大數據席捲了 ，並帶來了驚人的利益，這 力量無需多說。大數據使IBM、亞馬遜等 公司受益，這些公司通過利用大數據開發 些前沿的技術，為客戶提供高端服務。

「採用大數據，雲計算和移動戰略的企業發展狀況超過沒有採用這些技術的同行53%。」——《福布斯》

在戴爾開展的 項調查中顯示，採用大數據、雲計算以及移動戰略的企業中，優勢更加明顯，也就是，這些企業中有53%採用大數據起步較晚或者尚未採用，在這 結果令人驚訝不已。

雖然大數據尚處於初 階段，但通過在處理過程中，融合這 理念，將為企業贏得50%的利潤。顯然，在如今的商業中，大數據顯現的驚人優勢並不亞於石油或煤炭帶來的利益。 

掌握數據能力，開采「暗數據」

著名的咨詢公司Gartner公司對暗數據的定義是「組織在正常業務活動過程中收集、處理和存儲的信息資產，通常不能用於其他目的」。

然而，大數據系統的出現使得這些公司能夠將尚未開拓的數據投入使用，並從中提取有意義的信息。過去沒有被認可或認為毫無用處的數據突然成為公司的財富，這 點令人驚訝不已。通過大數據分析，這些公司可以加快流程，從而降低運營成本。 

軟體正在吞噬整個 數據爭奪戰正在打響

我們目前處於數據驅動型經濟中，如果無法分析當前或未來的趨勢，任何組織都無法生存下去。搶奪數據已經成為決定下 步行動方案的關鍵。

客戶逐漸成為所有組織的焦點，對於及時滿足客戶的需求這 任務非常迫切。只有在強大的軟體支持下，業務戰略才有可能會支撐和加速業務運營。這較終促成了強大的大數據技術的需求，可以以許多方式使組織受益。

決策指導 更智能更快速更精準

在這個激烈的競爭時代，人人都想脫穎而出。但問題是如何實現這 期望 雖然公司與競爭對手持有相同的運營模式，但公司應當如何展現其獨 無二 答案在於公司採用的策略。為了表現優於競爭對手，做出良好和智慧決策的能力在每 步中發揮關鍵作用。這些決定不僅應該是好的決定，而且應該盡可能做出又快又明智的決定，使公司能夠在積好的主動出擊。

將大數據分析納入流程的做法揭示了非結構化數據，從而有助於管理者以系統的方式分析其決策，並在需要時採取替代方法。 

以用戶為 用戶行為數據是營銷關鍵

現在客戶有機會隨時隨地購物，在相關信息幫助下，對於公司需要做出比之前更敏捷的反應這 要求而言具有更大的挑戰。但是公司將如何不斷地實現這 點呢 答案是藉助「大數據」。客戶動向是不斷變化的，因此營銷人員的策略也應該做出相應調整。通過整合過去和實時數據來評估客戶的品味和喜好，這樣可以使公司採取更快捷的應對措施。

例如，亞馬遜通過利用強大的大數據引擎的能力，從 個以產品為基礎的公司發展成為囊括1.52億客戶在內的大型市場參與者。亞馬遜旨在通過跟蹤客戶的購買趨勢，並為營銷人員提供他們即時需要的所有相關信息，從而來為客戶服務。此外，亞馬遜通過實時監控 15億種產品，成功滿足了客戶的需求。

通過數據倉庫使數據資產變現

這些公司越來越大，因此不同的流程產生不同的數據。資料倉儲中的許多重要信息仍然無法訪問。然而，公司已經能夠使用大數據分析這 武器來挖掘這座大山，讓分析師和工程師深入研究，並提供新穎而又有意義的見解。

經過這番分析，有 件事值得肯定的是，這是 個高度數字化和技術驅動時代的開端，並伴隨著強大的實時大數據分析能力。

更多營銷方式

E. 前端學什麼

HTML，抄CSS，Java這三樣真的很重要！HTML寫出基礎頁面，CSS將HTML靜態頁面從黑白色過渡到五顏六色，然後java可以讓枯燥的靜態文字變成可以交互的內容。框架再怎麼更新迭代，最基礎的東西還是這三樣.

掌握了HTML+CSS+Java後，成功打開了前端的大門。接下來就是進階部分，從js進階到jquery-，jQuery就是java的一個庫，把常用的一些功能進行了封裝，方便來調用，提高開發效率，同時極大地簡化了 Java 編程。

(5)大數據初體驗擴展閱讀：

前端的開發中，在頁面的布局時，HTML將元素進行定義，CSS對展示的元素進行定位，再通過JavaScript實現相應的效果和交互。

然後再到angular-一種更加靈活、強大的數據綁定、html擴展的js庫；然後到ajax、json、xml，可以和後台進行協同開發的技能。

學會這些東西之後，就能完成時下流行的各種PC端網頁特效、前後端交互，在通往前端的路上往前邁上了堅實的一大步。