A. Kafka在大數據環境中如何應用呢
我們生活在一個數據爆炸的時代，數據的巨量增長給我們的業務處理帶來了壓力，同時巨量的數據也給我們帶來了十分可觀的財富。隨著大數據將各個行業用戶、運營商、服務商的數據整合進大數據環境，或用戶取用大數據環境中海量的數據，業務平台間的消息處理將變得尤為復雜。如何高效地採集、使用數據，如何減輕各業務系統的壓力，也變得越來越突出。在早期的系統實現時，業務比較簡單。即便是數據量、業務量比較大，大數據環境也能做出處理。但是隨著接入的系統增多，數據量、業務量增大，大數據環境、業務系統都可出現一定的瓶頸。下面我們看幾個場景。
場景一：我們開發過一個設備信息挖掘平台。這個平台需要實時將採集互聯網關採集到的路由節點的狀態信息存入數據中心。通常一個網關一次需要上報幾十甚至幾百個變化的路由信息。全區有幾萬個這種互聯網關。當信息採集平台將這些變化的數據信息寫入或更新到資料庫時候，會給資料庫代理非常大的壓力，甚至可以直接將資料庫搞掛掉。這就對我們的數據採集系統提出了很高的要求。如何穩定高效地把消息更新到資料庫這一要求擺了出來。
場景二：數據中心處理過的數據需要實時共享給幾個不同的機構。我們常採用的方法是將數據批量存放在數據採集機，分支機構定時來採集；或是分支機構通過JDBC、RPC、http或其他機制實時從數據中心獲取數據。這兩種方式都存在一定的問題，前者在於實時性不足，還牽涉到數據完整性問題；後者在於，當數據量很大的時候，多個分支機構同時讀取數據，會對數據中心的造成很大的壓力，也造成很大的資源浪費。
為了解決以上場景提出的問題，我們需要這樣一個消息系統：
緩沖能力，系統可以提供一個緩沖區，當有大量數據來臨時，系統可以將數據可靠的緩沖起來，供後續模塊處理；
訂閱、分發能力，系統可以接收消息可靠的緩存下來，也可以將可靠緩存的數據發布給使用者。
這就要我們找一個高吞吐的、能滿足訂閱發布需求的系統。
Kafka是一個分布式的、高吞吐的、基於發布/訂閱的消息系統。利用kafka技術可以在廉價PC Server上搭建起大規模的消息系統。Kafka具有消息持久化、高吞吐、分布式、實時、低耦合、多客戶端支持、數據可靠等諸多特點，適合在線和離線的消息處理。
互聯網關採集到變化的路由信息，通過kafka的procer將歸集後的信息批量傳入kafka。Kafka按照接收順序對歸集的信息進行緩存，並加入待消費隊列。Kafka的consumer讀取隊列信息，並一定的處理策略，將獲取的信息更新到資料庫。完成數據到數據中心的存儲。
數據中心的數據需要共享時，kafka的procer先從數據中心讀取數據，然後傳入kafka緩存並加入待消費隊列。各分支結構作為數據消費者，啟動消費動作，從kafka隊列讀取數據，並對獲取的數據進行處理。
消息生產者根據需求，靈活定義proceInfoProcess()方法，對相關數據進行處理。並依據數據發布到kafka的情況，處理回調機制。在數據發送失敗時，定義failedSend()方法；當數據發送成功時，定義successedSend()方法。
B. 大數據怎麼採集數據
數據採集是所有數據系統必不可少的，隨著大數據越來越被重視，數據採集的挑戰也變的尤為突出。我們今天就來看看大數據技術在數據採集方面採用了哪些方法：
1、離線採集：工具：ETL；在數據倉庫的語境下，ETL基本上就是數據採集的代表，包括數據的提取（Extract)、轉換(Transform)和載入(Load)。在轉換的過程中，需要針對具體的業務場景對數據進行治理，例如進行非法數據監測與過濾、格式轉換與數據規范化、數據替換、保證數據完整性等。
2、實時採集：工具：Flume/Kafka；實時採集主要用在考慮流處理的業務場景，比如，用於記錄數據源的執行的各種操作活動，比如網路監控的流量管理、金融應用的股票記賬和 web 伺服器記錄的用戶訪問行為。在流處理場景，數據採集會成為Kafka的消費者，就像一個水壩一般將上游源源不斷的數據攔截住，然後根據業務場景做對應的處理（例如去重、去噪、中間計算等），之後再寫入到對應的數據存儲中。這個過程類似傳統的ETL，但它是流式的處理方式，而非定時的批處理Job，些工具均採用分布式架構，能滿足每秒數百MB的日誌數據採集和傳輸需求。
3、互聯網採集：工具：Crawler, DPI等；Scribe是Facebook開發的數據(日誌)收集系統。又被稱為網頁蜘蛛，網路機器人，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本，它支持圖片、音頻、視頻等文件或附件的採集。爬蟲除了網路中包含的內容之外，對於網路流量的採集可以使用DPI或DFI等帶寬管理技術進行處理。
4、其他數據採集方法對於企業生產經營數據上的客戶數據，財務數據等保密性要求較高的數據，可以通過與數據技術服務商合作，使用特定系統介面等相關方式採集數據。比如八度雲計算的數企BDSaaS，無論是數據採集技術、BI數據分析，還是數據的安全性和保密性，都做得很好。數據的採集是挖掘數據價值的第一步，當數據量越來越大時，可提取出來的有用數據必然也就更多。只要善用數據化處理平台，便能夠保證數據分析結果的有效性，助力企業實現數據驅動。