A. Kafka在大数据环境中如何应用呢
我们生活在一个数据爆炸的时代，数据的巨量增长给我们的业务处理带来了压力，同时巨量的数据也给我们带来了十分可观的财富。随着大数据将各个行业用户、运营商、服务商的数据整合进大数据环境，或用户取用大数据环境中海量的数据，业务平台间的消息处理将变得尤为复杂。如何高效地采集、使用数据，如何减轻各业务系统的压力，也变得越来越突出。在早期的系统实现时，业务比较简单。即便是数据量、业务量比较大，大数据环境也能做出处理。但是随着接入的系统增多，数据量、业务量增大，大数据环境、业务系统都可出现一定的瓶颈。下面我们看几个场景。
场景一：我们开发过一个设备信息挖掘平台。这个平台需要实时将采集互联网关采集到的路由节点的状态信息存入数据中心。通常一个网关一次需要上报几十甚至几百个变化的路由信息。全区有几万个这种互联网关。当信息采集平台将这些变化的数据信息写入或更新到数据库时候，会给数据库代理非常大的压力，甚至可以直接将数据库搞挂掉。这就对我们的数据采集系统提出了很高的要求。如何稳定高效地把消息更新到数据库这一要求摆了出来。
场景二：数据中心处理过的数据需要实时共享给几个不同的机构。我们常采用的方法是将数据批量存放在数据采集机，分支机构定时来采集；或是分支机构通过JDBC、RPC、http或其他机制实时从数据中心获取数据。这两种方式都存在一定的问题，前者在于实时性不足，还牵涉到数据完整性问题；后者在于，当数据量很大的时候，多个分支机构同时读取数据，会对数据中心的造成很大的压力，也造成很大的资源浪费。
为了解决以上场景提出的问题，我们需要这样一个消息系统：
缓冲能力，系统可以提供一个缓冲区，当有大量数据来临时，系统可以将数据可靠的缓冲起来，供后续模块处理；
订阅、分发能力，系统可以接收消息可靠的缓存下来，也可以将可靠缓存的数据发布给使用者。
这就要我们找一个高吞吐的、能满足订阅发布需求的系统。
Kafka是一个分布式的、高吞吐的、基于发布/订阅的消息系统。利用kafka技术可以在廉价PC Server上搭建起大规模的消息系统。Kafka具有消息持久化、高吞吐、分布式、实时、低耦合、多客户端支持、数据可靠等诸多特点，适合在线和离线的消息处理。
互联网关采集到变化的路由信息，通过kafka的procer将归集后的信息批量传入kafka。Kafka按照接收顺序对归集的信息进行缓存，并加入待消费队列。Kafka的consumer读取队列信息，并一定的处理策略，将获取的信息更新到数据库。完成数据到数据中心的存储。
数据中心的数据需要共享时，kafka的procer先从数据中心读取数据，然后传入kafka缓存并加入待消费队列。各分支结构作为数据消费者，启动消费动作，从kafka队列读取数据，并对获取的数据进行处理。
消息生产者根据需求，灵活定义proceInfoProcess()方法，对相关数据进行处理。并依据数据发布到kafka的情况，处理回调机制。在数据发送失败时，定义failedSend()方法；当数据发送成功时，定义successedSend()方法。
B. 大数据怎么采集数据
数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。我们今天就来看看大数据技术在数据采集方面采用了哪些方法：
1、离线采集：工具：ETL；在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中，需要针对具体的业务场景对数据进行治理，例如进行非法数据监测与过滤、格式转换与数据规范化、数据替换、保证数据完整性等。
2、实时采集：工具：Flume/Kafka；实时采集主要用在考虑流处理的业务场景，比如，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据采集会成为Kafka的消费者，就像一个水坝一般将上游源源不断的数据拦截住，然后根据业务场景做对应的处理（例如去重、去噪、中间计算等），之后再写入到对应的数据存储中。这个过程类似传统的ETL，但它是流式的处理方式，而非定时的批处理Job，些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。
3、互联网采集：工具：Crawler, DPI等；Scribe是Facebook开发的数据(日志)收集系统。又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的采集。爬虫除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。
4、其他数据采集方法对于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，可以通过与数据技术服务商合作，使用特定系统接口等相关方式采集数据。比如八度云计算的数企BDSaaS，无论是数据采集技术、BI数据分析，还是数据的安全性和保密性，都做得很好。数据的采集是挖掘数据价值的第一步，当数据量越来越大时，可提取出来的有用数据必然也就更多。只要善用数据化处理平台，便能够保证数据分析结果的有效性，助力企业实现数据驱动。