非流式数据有哪些

① 流式计算与批量计算有什么区别

大数据的计算模式主要分为批量计算(batch computing)、流式计算(stream computing)、交互计算(interactive computing)、图计算(graph computing)等。其中，流式计算和批量计算是两种主要的大数据计算模式，分别适用于不同的大数据应用场景。

流数据（或数据流）是指在时间分布和数量上无限的一系列动态数据集合体，数据的价值随着时间的流逝而降低，因此必须实时计算给出秒级响应。流式计算，顾名思义，就是对数据流进行处理，是实时计算。

批量计算则统一收集数据，存储到数据库中，然后对数据进行批量处理的数据计算方式。主要体现在以下几个方面：

1、数据时效性不同：流式计算实时、低延迟， 批量计算非实时、高延迟。

2、数据特征不同：流式计算的数据一般是动态的、没有边界的，而批处理的数据一般则是静态数据。

3、应用场景不同：流式计算应用在实时场景，时效性要求比较高的场景，如实时推荐、业务监控...批量计算一般说批处理，应用在实时性要求不高、离线计算的场景下，数据分析、离线报表等。

4、运行方式不同，流式计算的任务持续进行的，批量计算的任务则一次性完成。

② PHP流（Stream）的概述与使用详解

在现代 PHP 特性中，流或许是最出色但使用率最低的。虽然 PHP 4.3 就引入了流，但是很多开发者并不知道流的存在，因为人们很少提及流，而且流的文档也很匮乏。PHP 官方文档对流的解释如下：

可能看完这段解释后还是云里雾里，我们简化一下，流的作用是在出发地和目的地之间传输数据。出发地和目的地可以是文件、命令行进程、网络连接、ZIP 或 TAR 压缩文件、临时内存、标准输入或输出，或者是通过 PHP 流封装协议实现的任何其他资源。

如果你读写过文件，就用过流；如果你从 php://stdin 读取过数据，或者把输入写入 php://stdout ，也用过流。流为 PHP 的很多 IO 函数提供了底层实现，如 file_get_contents、fopn、fread 和 fwrite 等。PHP 的流函数提供了不同资源的统一接口。

我们可以把流比作管道，把水（资源数据）从一个地方引到另一个地方。在水从出发地到目的地的过程中，我们可以过滤水，可以改变水质，可以添加水，也可以排出水。

流式数据的种类各异，每种类型需要独特的协议，以便读写数据，我们称这些协议为 流封装协议 。例如，我们可以读写文件系统，可以通过 HTTP、HTTPS 或 SSH 与远程 Web 服务器通信，还可以打开并读写 ZIP、RAR 或 PHAR 压缩文件。这些通信方式都包含下述相同的过程：

1.开始通信
2.读取数据
3.写入数据
4.结束通信

虽然过程是一样的，但是读写文件系统中文件的方式与收发 HTTP 消息的方式有所不同，流封装协议的作用是使用通用的接口封装这种差异。

每个流都有一个协议和一个目标。指定协议和目标的方法是使用流标识符：<scheme>://<target>，其中 <scheme> 是流的封装协议，<target> 是流的数据源。

http://流封装协议

下面使用 HTTP 流封装协议创建了一个与 Flicker API 通信的 PHP 流：

不要以为这是普通的网页 URL，file_get_contents() 函数的字符串参数其实是一个流标识符。http 协议会让 PHP 使用 HTTP 流封装协议，在这个参数中，http 之后是流的目标。

我们通常使用 file_get_contents()、fopen()、fwrite() 和 fclose() 等函数读写文件系统，因为 PHP 默认使用的流封装协议是 file://，所以我们很少认为这些函数使用的是 PHP 流。下面的示例演示了使用 file:// 流封装协议创建一个读写 /etc/hosts 文件的流：

我们通常会省略掉 file:// 协议，因为这是 PHP 使用的默认值。

php://流封装协议

编写命令行脚本的 PHP 开发者会感激 php:// 流封装协议，这个流封装协议的作用是与 PHP 脚本的标准输入、标准输出和标准错误文件描述符通信。我们可以使用 PHP 提供的文件系统函数打开、读取或写入下面四个流：

1. php://stdin ：这是个只读 PHP 流，其中的数据来自标准输入。PHP 脚本可以使用这个流接收命令行传入脚本的信息；
2. php://stdout ：把数据写入当前的输出缓冲区，这个流只能写，无法读或寻址；
3. php://memory ：从系统内存中读取数据，或者把数据写入系统内存。缺点是系统内存有限，所有使用 php://temp 更安全；
4. php://temp ：和 php://memory 类似，不过，没有可用内存时，PHP 会把数据写入这个临时文件。

其他流封装协议

PHP 和 PHP 扩展还提供了很多其他流封装协议，例如，与 ZIP 和 TAR 压缩文件、FTP 服务器、数据压缩库、Amazon API、Dropbox API 等通信的流封装协议。需要注意的是，PHP 中的 fopen()、fgets()、fputs()、feof() 以及 fclose() 等函数不仅可以用来处理文件系统中的文件，还可以在所有支持这些函数的流封装协议中使用。

自定义流封装协议

我们还可以自己编写 PHP 流封装协议。PHP 提供了一个示例 StreamWrapper 类，演示如何编写自定义的流封装协议，支持部分或全部 PHP 文件系统函数。关于如何编写，具体请参考以下文档：

http://php.net/manual/zh/class.streamwrapper.php
http://php.net/manual/zh/stream.streamwrapper.example-1.php

有些 PHP 流能够接受一系列可选的参数，这些参数叫流上下文，用于定制流的行为。不同的流封装协议使用的流上下文有所不同，流上下文使用 stream_context_create() 函数创建，这个函数返回的上下文对象可以传入大多数文件系统函数。

例如，你知道可以使用 file_get_contents() 发送 HTTP POST 请求吗？使用一个流上下文对象即可实现：

流过滤器
目前为止我们讨论了如何打开流，读取流中的数据，以及把数据写入流。不过，PHP 流真正强大的地方在于过滤、转换、添加或删除流中传输的数据，例如，我们可以打开一个流处理 Markdown 文件，在把文件内容读入内存的过程中自动将其转化为 HTML。

运行该脚本，输出的都是大写字母：

我们还可以使用 php://filter 流封装协议把过滤器附加到流上，不过，使用这种方式之前必须先打开 PHP 流：

这个方式实现效果和 stream_filter_append() 函数一样，但是相比之下更为繁琐。不过，PHP 的某些文件系统函数在调用后无法附加过滤器，例如 file() 和 fpassthru()，使用这些函数时只能使用 php://filter 流封装协议附加流过滤器。

自定义流过滤器
我们还可以编写自定义的流过滤器。其实，大多数情况下都要使用自定义的流过滤器，自定义的流过滤器是个 PHP 类，继承内置的 php_user_filter 类（ http://php.net/manual/zh/class.php-user-filter.php ），且必须实现 filter()、onCreate() 和 onClose() 方法，最后，必须使用 stream_filter_register() 函数注册自定义的流过滤器。

然后，我们必须使用 stream_filter_register() 函数注册这个自定义的 DirtyWordsFilter 流过滤器：

第一个参数用于标识这个自定义过滤器的过滤器名，第二个参数是这个自定义过滤器的类名。接下来就可以使用这个自定义的流过滤器了：

修改 test.txt 内容如下：

运行上面的自定义过滤器脚本，结果如下：

stream_bucket_append函数：为队列添加数据
stream_bucket_make_writeable函数：从操作的队列中返回一个数据对象
stream_bucket_new函数：为当前队列创建一个新的数据
stream_bucket_prepend函数：预备数据到队列
stream_context_create函数：创建数据流上下文
stream_context_get_default函数：获取默认的数据流上下文
stream_context_get_options函数：获取数据流的设置
stream_context_set_option函数：对数据流、数据包或者上下文进行设置
stream_context_set_params函数：为数据流、数据包或者上下文设置参数
stream__to_stream函数：在数据流之间进行复制操作
stream_filter_append函数：为数据流添加过滤器
stream_filter_prepend函数：为数据流预备添加过滤器
stream_filter_register函数：注册一个数据流的过滤器并作为PHP类执行
stream_filter_remove函数：从一个数据流中移除过滤器
stream_get_contents函数：读取数据流中的剩余数据到字符串
stream_get_filters函数：返回已经注册的数据流过滤器列表
stream_get_line函数：按照给定的定界符从数据流资源中获取行
stream_get_meta_data函数：从封装协议文件指针中获取报头/元数据
stream_get_transports函数：返回注册的Socket传输列表
stream_get_wrappers函数：返回注册的数据流列表
stream_register_wrapper函数：注册一个用PHP类实现的URL封装协议
stream_select函数：接收数据流数组并等待它们状态的改变
stream_set_blocking函数：将一个数据流设置为堵塞或者非堵塞状态
stream_set_timeout函数：对数据流进行超时设置
stream_set_write_buffer函数：为数据流设置缓冲区
stream_socket_accept函数：接受由函数stream_ socket_server()创建的Socket连接
stream_socket_client函数：打开网络或者UNIX主机的Socket连接
stream_socket_enable_crypto函数：为一个已经连接的Socket打开或者关闭数据加密
stream_socket_get_name函数：获取本地或者网络Socket的名称
stream_socket_pair函数：创建两个无区别的Socket数据流连接
stream_socket_recvfrom函数：从Socket获取数据，不管其连接与否
stream_socket_sendto函数：向Socket发送数据，不管其连接与否
stream_socket_server函数：创建一个网络或者UNIX Socket服务端
stream_wrapper_restore函数：恢复一个事先注销的数据包
stream_wrapper_unregister函数：注销一个URL地址包

整合资料
本文整合于以下两篇文章

https://blog.csdn.net/qq756684177/article/details/81518647

https://xueyuanjun.com/post/7459.html

③ 大数据包括哪些

大数据技术庞大复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据内库、容数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
大数据主要技术组件：Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark 、Storm、Flink等。
大数据技术包括数据采集，数据管理，数据分析，数据可视化，数据安全等内容。数据的采集包括传感器采集，系统日志采集以及网络爬虫等。数据管理包括传统的数据库技术，nosql技术，以及对于针对大规模数据的大数据平台，例如hadoop，spark，storm等。数据分析的核心是机器学习，当然也包括深度学习和强化学习，以及自然语言处理，图与网络分析等。

④ Hadoop与分布式数据处理 Spark VS Hadoop有哪些异同点

1、 Spark VSHadoop有哪些异同点？

Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析

Spark:是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速, Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为Mesos的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms,Machines,and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

虽然 Spark 与 Hadoop 有相似之处，但它提供了具有有用差异的一个新的集群计算框架。首先，Spark 是为集群计算中的特定类型的工作负载而设计，即那些在并行操作之间重用工作数据集（比如机器学习算法）的工作负载。为了优化这些类型的工作负载，Spark 引进了内存集群计算的概念，可在内存集群计算中将数据集缓存在内存中，以缩短访问延迟.

在大数据处理方面相信大家对hadoop已经耳熟能详，基于GoogleMap/Rece来实现的Hadoop为开发者提供了map、rece原语，使并行批处理程序变得非常地简单和优美。Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Rece两种操作。比如map,filter, flatMap,sample, groupByKey, receByKey, union,join, cogroup,mapValues, sort,partionBy等多种操作类型，他们把这些操作称为Transformations。同时还提供Count,collect, rece, lookup, save等多种actions。这些多种多样的数据集操作类型，给上层应用者提供了方便。各个处理节点之间的通信模型不再像Hadoop那样就是唯一的Data Shuffle一种模式。用户可以命名，物化，控制中间结果的分区等。可以说编程模型比Hadoop更灵活.

2、Spark在容错性方面是否比其他工具更有优越性？

从Spark的论文《Resilient Distributed Datasets: AFault-TolerantAbstraction for In-Memory Cluster Computing》中没看出容错性做的有多好。倒是提到了分布式数据集计算，做checkpoint的两种方式，一个是checkpoint data，一个是loggingthe updates。貌似Spark采用了后者。但是文中后来又提到，虽然后者看似节省存储空间。但是由于数据处理模型是类似DAG的操作过程，由于图中的某个节点出错，由于lineage chains的依赖复杂性，可能会引起全部计算节点的重新计算，这样成本也不低。他们后来说，是存数据，还是存更新日志，做checkpoint还是由用户说了算吧。相当于什么都没说，又把这个皮球踢给了用户。所以我看就是由用户根据业务类型，衡量是存储数据IO和磁盘空间的代价和重新计算的代价，选择代价较小的一种策略。取代给中间结果进行持久化或建立检查点，Spark会记住产生某些数据集的操作序列。因此，当一个节点出现故障时，Spark会根据存储信息重新构造数据集。他们认为这样也不错，因为其他节点将会帮助重建。

3、Spark对于数据处理能力和效率有哪些特色？

Spark提供了高的性能和大数据处理能力，使得用户可以快速得到反馈体验更好。另一类应用是做数据挖掘，因为Spark充分利用内存进行缓存，利用DAG消除不必要的步骤，所以比较合适做迭代式的运算。而有相当一部分机器学习算法是通过多次迭代收敛的算法，所以适合用Spark来实现。我们把一些常用的算法并行化用Spark实现，可以从R语言中方便地调用，降低了用户进行数据挖掘的学习成本。

Spark配有一个流数据处理模型，与Twitter的 Storm框架相比，Spark采用了一种有趣而且独特的办法。Storm基本上是像是放入独立事务的管道，在其中事务会得到分布式的处理。相反，Spark采用一个模型收集事务，然后在短时间内（我们假设是5秒）以批处理的方式处理事件。所收集的数据成为他们自己的RDD，然后使用Spark应用程序中常用的一组进行处理。作者声称这种模式是在缓慢节点和故障情况下会更加稳健，而且5秒的时间间隔通常对于大多数应用已经足够快了。这种方法也很好地统一了流式处理与非流式处理部分。

总结
这几天在看Hadoop权威指南、hbase权威指南、hive权威指南、大规模分布式存储系统、zoopkeeper、大数据互联网大规模数据挖掘与分布式处理等书同时补充，能静下心来好好的完整的看完一本书，是相当不错的。