什么是流内数据集

❶ 大数据分析,大数据开发,数据挖掘 所用到技术和工具

大数据分析是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据分析产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。

大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。

一、Hadoop

Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，即使计算元素和存储会失败，它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，它采用并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

Hadoop是轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

3、高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

4、高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

Hadoop带有用 java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了"重大挑战项目：高性能计算与通信"的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。

十、Tableau Public

1、什么是Tableau Public -大数据分析工具

这是一个简单直观的工具。因为它通过数据可视化提供了有趣的见解。Tableau Public的百万行限制。因为它比数据分析市场中的大多数其他玩家更容易使用票价。使用Tableau的视觉效果，您可以调查一个假设。此外，浏览数据，并交叉核对您的见解。

2、Tableau Public的使用

您可以免费将交互式数据可视化发布到Web;无需编程技能;发布到Tableau Public的可视化可以嵌入到博客中。此外，还可以通过电子邮件或社交媒体分享网页。共享的内容可以进行有效硫的下载。这使其成为最佳的大数据分析工具。

3、Tableau Public的限制

所有数据都是公开的，并且限制访问的范围很小;数据大小限制;无法连接到[R ;读取的唯一方法是通过OData源，是Excel或txt。

十一、OpenRefine

1、什么是OpenRefine - 数据分析工具

以前称为GoogleRefine的数据清理软件。因为它可以帮助您清理数据以进行分析。它对一行数据进行操作。此外，将列放在列下，与关系数据库表非常相似。

2、OpenRefine的使用

清理凌乱的数据;数据转换;从网站解析数据;通过从Web服务获取数据将数据添加到数据集。例如，OpenRefine可用于将地址地理编码到地理坐标。

3、OpenRefine的局限性

Open Refine不适用于大型数据集;精炼对大数据不起作用

十二、KNIME

1、什么是KNIME - 数据分析工具

KNIME通过可视化编程帮助您操作，分析和建模数据。它用于集成各种组件，用于数据挖掘和机器学习。

2、KNIME的用途

不要写代码块。相反，您必须在活动之间删除和拖动连接点;该数据分析工具支持编程语言;事实上，分析工具，例如可扩展运行化学数据，文本挖掘，蟒蛇，和[R 。

3、KNIME的限制

数据可视化不佳

十三、Google Fusion Tables

1、什么是Google Fusion Tables

对于数据工具，我们有更酷，更大版本的Google Spreadsheets。一个令人难以置信的数据分析，映射和大型数据集可视化工具。此外，Google Fusion Tables可以添加到业务分析工具列表中。这也是最好的大数据分析工具之一，大数据分析十八般工具。

2、使用Google Fusion Tables

在线可视化更大的表格数据;跨越数十万行进行过滤和总结;将表与Web上的其他数据组合在一起；您可以合并两个或三个表以生成包含数据集的单个可视化;

3、Google Fusion Tables的限制

表中只有前100,000行数据包含在查询结果中或已映射;在一次API调用中发送的数据总大小不能超过1MB。

十四、NodeXL

1、什么是NodeXL

它是关系和网络的可视化和分析软件。NodeXL提供精确的计算。它是一个免费的(不是专业的)和开源网络分析和可视化软件。NodeXL是用于数据分析的最佳统计工具之一。其中包括高级网络指标。此外，访问社交媒体网络数据导入程序和自动化。

2、NodeXL的用途

这是Excel中的一种数据分析工具，可帮助实现以下方面：

数据导入;图形可视化;图形分析;数据表示;该软件集成到Microsoft Excel 2007,2010,2013和2016中。它作为工作簿打开，包含各种包含图形结构元素的工作表。这就像节点和边缘;该软件可以导入各种图形格式。这种邻接矩阵，Pajek .net，UCINet .dl，GraphML和边缘列表。

3、NodeXL的局限性

您需要为特定问题使用多个种子术语;在稍微不同的时间运行数据提取。

十五、Wolfram Alpha

1、什么是Wolfram Alpha

它是Stephen Wolfram创建的计算知识引擎或应答引擎。

2、Wolfram Alpha的使用

是Apple的Siri的附加组件;提供技术搜索的详细响应并解决微积分问题;帮助业务用户获取信息图表和图形。并有助于创建主题概述，商品信息和高级定价历史记录。

3、Wolfram Alpha的局限性

Wolfram Alpha只能处理公开数字和事实，而不能处理观点;它限制了每个查询的计算时间;这些数据分析统计工具有何疑问?

十六、Google搜索运营商

1、什么是Google搜索运营商

它是一种强大的资源，可帮助您过滤Google结果。这立即得到最相关和有用的信息。

2、Google搜索运算符的使用

更快速地过滤Google搜索结果;Google强大的数据分析工具可以帮助发现新信息。

十七、Excel解算器

1、什么是Excel解算器

Solver加载项是Microsoft Office Excel加载项程序。此外，它在您安装Microsoft Excel或Office时可用。它是excel中的线性编程和优化工具。这允许您设置约束。它是一种先进的优化工具，有助于快速解决问题。

2、求解器的使用

Solver找到的最终值是相互关系和决策的解决方案;它采用了多种方法，来自非线性优化。还有线性规划到进化算法和遗传算法，以找到解决方案。

3、求解器的局限性

不良扩展是Excel Solver缺乏的领域之一;它会影响解决方案的时间和质量;求解器会影响模型的内在可解性;

十八、Dataiku DSS

1、什么是Dataiku DSS

这是一个协作数据科学软件平台。此外，它还有助于团队构建，原型和探索。虽然，它可以更有效地提供自己的数据产品。

2、Dataiku DSS的使用

Dataiku DSS - 数据分析工具提供交互式可视化界面。因此，他们可以构建，单击，指向或使用SQL等语言。

3、Dataiku DSS的局限性

有限的可视化功能;UI障碍：重新加载代码/数据集;无法轻松地将整个代码编译到单个文档/笔记本中;仍然需要与SPARK集成

以上的工具只是大数据分析所用的部分工具，小编就不一一列举了，下面把部分工具的用途进行分类：

1、前端展现

用于展现分析的前端开源工具有JasperSoft，Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau 。

国内的有BDP，国云数据(大数据分析魔镜)，思迈特，FineBI等等。

2、数据仓库

有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

3、数据集市

有QlikView、 Tableau 、Style Intelligence等等。

当然学大数据分析也有很多坑：

《转行大数据分析师后悔了》、《零基础学大数据分析现实吗》、《大数据分析培训好就业吗》、《转行大数据分析必知技能》

❷ 数据处理框架分类都有哪些

就目前而言，不管是系统中的历史数据，还是持续不断接入系统中的实时数据，只要数据是可访问的，我们就能够处理这些数据。按照处理的数据形式和得到结果的时效性进行分类，数据处理框架就可以分为两类：批处理系统和流处理系统。
数据处理框架中的批处理就是一种用来计算大规模数据集的方法。批处理的过程包括将任务分解为较小的任务，分别在每个计算机上进行计算运行，根据数据分析的结果对数据的重新组合，然后通过计算机的计算出组合数据的最终结果。当处理非常巨大的数据集时，批处理系统是最有效的。而流处理就是对由连续不断的单条数据项组成的数据流进行计算，注重数据处理结果的时效性。
一、批处理系统
批处理系统在大数据中有很长的历史。批处理系统主要操作大量静态的数据，并且等到全部处理完成后才能得到返回的结果。批处理系统中的数据集一般符合以下特征：
1、有限： 数据集中的数据必须是有限的。
2、持久： 批处理系统处理的数据一般存储在某个储存器上。
3、海量： 一般来说只有海量的数据才能用批处理系统进行分析，并且海量的数据通常只能使用批处理系统来处理。

由于批处理系统在处理海量的持久数据方面表现出色，而历史数据的数量是很多的，所以它通常被用来处理历史数据，但是由于海量数据的处理需要耗费很多时间，所以批处理系统一般不用于即时性场景需求以及对延时要求较高的场景。
二、流处理系统
批处理系统好理解，那什么是流处理系统呢？流处理系统与批处理系统所处理的数据不同之处在于，流处理系统并不是针对已经存在的数据集进行操作，而是处理对从外部系统接入的的数据。流处理系统一般分为两种：
1、逐项处理： 每次处理一条数据，是真正意义上的流处理。
2、微批处理： 这种处理方式把一小段时间内的数据当作一个微批次，对这个微批次内的数据进行处理。
不论是哪种处理方式，其实时性都要远远好于批处理系统。因此，流处理系统非常适合应用于对实时性要求较高的场景，由于很多情况下，我们想要尽快看到计算结果，所以近些年流处理系统的应用越来越广泛。
相信大家看了这篇文章以后已经知道了数据处理框架上面的相关情况了吧，一般来说，数据的处理里不来批处理和流处理，批处理适用于历史数据的分析，而流处理适用于即时数据的分析，两者都有各自的优缺点。希望本文能够帮到大家。

❸ java是做数据分析最好的方法吗

不算是。只要是计算机语言都可以做数据分析，但是因为python的特性，加上python的扩展生态，（有很多扩展包）更多的人选择用python，尤其是panda库。
资料补充：
做数据分析的人都知道，开展项目第一步就是建立工程并导入数据，所以数据分析师如何进阶，更好的学会使用数据集是非常重要的，为此，小编为大家精心整理了九个公开的数据科学项目的数据集，可供大家创建项目。
什么是数据集？
很多小伙伴们不知道什么是数据集。数据集实际上就是一种由数据组合的集合，又称为数据集合、资料集或资料集合。例如：
l 小米10 8+128G 冰海蓝 SA\NSA双模5G手机 ￥3799.00
l 小米10 8+128G 蜜桃金 SA\NSA双模5G手机 ￥3799.00
l 小米10 8+128G 钛银黑 SA\NSA双模5G手机 ￥3799.00
l 小米10 8+256G 冰海蓝 SA\NSA双模5G手机 ￥3999.00
l 小米10 8+256G 蜜桃金 SA\NSA双模5G手机 ￥3999.00
l 小米10 8+256G 钛银黑 SA\NSA双模5G手机 ￥3999.00
这就是一组数据集。它涵盖了某一特定商品的某些信息，每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。每个数值被称为数据资料。对应于行数，该数据集的数据可能包括一个或多个成员。这些特定的信息将对我们的需要做的数据报告起着关键性作用。
利用这些数据集进行分析，对数据分析师进阶是非常有帮助的。
有哪些公开的数据集可供练习？
1.ImageNet数据集：
ImageNet数据集主要用于机器学习以及计算机视觉研究领域。每条记录都包含边界框和相应的类标签。ImageNet为每个同义词集都提供了1000张图像，而且，你可以直接在ImageNet中查看图片网址。
2.COCO数据集：
COCO数据集是大规模的对象检测、分割和字幕的数据集，通过大量使用Amazon Mechanical Turk来收集数据。该数据集具有针对80个对象类别的150万个对象实例。
3.鸢尾花数据集：
鸢尾花数据集是专门为初学者设计的数据集。借助这些数据，小白可以使用机器学习算法构建简单的项目。值得一提的是，该数据集中的所有属性都是真实的。鸢尾花数据集的大小很小，因此小白不需要对数据进行预处理。
所谓预处理，就是在处理数据之前，将数据进行整理和清除。比如，你现在正在做饭，你想找到胡椒粉，并把它洒到锅里。但是所有的作料都被你放到了一起，运气不好的话你要花很长时间才能找到胡椒粉。找到后，你准备撒到锅里，发现菜已经糊了。因此，我们事先要将作料摆放整齐，等做饭的时候才会更方便。
4.乳腺癌威斯康星州（诊断）数据集：
乳腺癌威斯康星州（诊断）数据集是机器学习中最流行的数据集之一。此数据集基于对乳腺癌的分析。
5.Twitter情绪分析数据集：
情绪分析是自然语言处理（NLP）中最常见的应用程序之一。你可以使用Twitter情绪分析数据集建立基于情绪分析的模型。众所周知，我们的川普同志可以说是Twitter的常驻“相声演员”，没准你还能浏览到他发表过的言论呢~
6.MNIST数据集：
MNIST数据集建立在手写数据上。该数据集易于初学者使用，有助于了解实际数据上的技术和深度学习识别模式。你无需花费太多时间对数据进行预处理。对于热衷于深度学习或机器学习的初学者来说，MINIST数据集是一个很好的选择。
7.Fashion MNIST数据集：
Fashion MNIST数据集建立在衣服数据上，可用于深度学习图像分类问题以及机器学习。该数据集易于初学者使用，你不需要花费太多时间在数据预处理上。同时，FashionMNIST数据集可以帮助你了解和学习实际数据上的技术和深度学习中的ML技术以及模式识别方法。
8.亚马逊评论数据集：
亚马逊评论数据集也是用于NLP（自然语言处理）的数据集。借助亚马逊评论数据集，你不仅可以了解到业务会出现的实质性问题，而且还能从中了解到近几年各种商品的销售趋势。没准研究着研究着，你也能开一家网店了。
9.垃圾短信分类器数据集：
垃圾短信分类数据集可以帮助你预测垃圾邮件。借助垃圾短信分类数据集，小白可以使用机器学习分类算法构建简单的项目。不仅如此，你还能学习到为什么你的手机能够自动识别出垃圾短信，想想就有些神奇呢~

❹ 数据流详细资料大全

数据流（data stream）是一组有序，有起点和终点的位元组的数据序列。包括输入流和输出流。

数据流最初是通信领域使用的概念，代表传输中所使用的信息的数字编码信号序列。这个概念最初在1998年由Henzinger在文献87中提出，他将数据流定义为“只能以事先规定好的顺序被读取一次的数据的一个序列”。

基本介绍

• 中文名 ：数据流
• 外文名 ：data stream
• 概念提出人 ：Henzinger
• 提出时间 ：1998年
• 释义 ：以规定顺序被读取一次的数据序列
• 发展原因 ：2个
• 数据模式 ：4个
• 计算类型 ：可分为两类：基本计算和复杂计算

产生背景,细节数据,复杂分析,区别特征,分类,输入流与输出流,缓冲流,模型描述,形式化,数据集合,数据属性,计算类型,相关思路,简介,随机采样,构造略图,直方图,小波变换,新动向,小说流派,

产生背景

数据流套用的产生的发展是以下两个因素的结果：

细节数据

已经能够持续自动产生大量的细节数据。这类数据最早出现于传统的银行和股票交易领域，后来则也出现为地质测量、气象首悉尺、天文观测等方面。尤其是网际网路(网路流量监控，点击流)和无线通信网（通话记录）的出现，产生了大量的数据流类型的数据。我们注意到这类数据大都与地理信息有一定关联，这主要是因为地理信息的维度较大，容易产生这类大量的细节数据。

复杂分析

需要以近实时的方式对更新流进行复杂分析。对以上领域的数据进行复杂分析（如趋势分析，预测）以前往往是（在数据仓库中）脱机进行的，然而一些新的套用（尤其是在网路安全和国家安全领域）对时间都非常敏感，如检测网际网路上的极端事件、欺诈、入侵、异常，复杂人群监控，趋势监控(track trend)，探查性分析（exploratory *** yses），和谐度分析(harmonic *** ysis)等，都需要进行在线上的分析。 在此之后，学术界基本认可了这个定义，有的文章也在此基础上对定义稍微进行了修改。例如，S. Guha等[88]认为，数据流是“只能被读取一次或少数几次的点的有序序列”，这里放宽了前述定义中的“一遍”限制。 为什么在数据流的处理中，强调对数据读取次数的限制呢？S. Muthukrishnan[89]指出数据流是指“以非常高的速者高度到来的输入数据”，因此对数据流数据的传输、计算和存储都将变得很困难。在这种情况下，只有在数据最初到达时有机会对其进行一次处理，其他时候很难再存取到这些数据（因为没有也无法保存这些数据）。

区别特征

与传统的关系数据模式区别 B.Babcock等[90]认为数据流模式在以下几个方面不同于传统的关系数据模式： 1. 数据在线上到达； 2. 处理系统无法控制所处理的数据的到达顺序； 3. 数据可能是无限多的； 4. 由于数据量的庞大，数据流中的元素被处理后将被抛弃或存档（archive）。以后再想获取这些数据将会很困难，除非将数据存储在记忆体中，但由于记忆体大小通常远远小于数据流数据的数量，因此实际上通常只能在数据第一次到达时获取数据。 三个 特点 我们认为，当前所研究的数据流计算之所以不同于传统的计算模式，关键在于这些数据流数据本身具有如下三个陆袭特点： 数据的到达—快速 这意味着短时间内可能会有大量的输入数据需要处理。这对处理器和输入输出设备来说都是一个较大的负担，因此对数据流的处理应尽可能简单。 酷睿2处理器 数据的范围—广域 这是指数据属性（维）的取值范围非常大，可能取的值非常多，如地域、手机号码、人、网路节点等。这才是导致数据流无法在记忆体或硬碟中存储的主要原因。如果维度小，即使到来的数据量很大，也可以在较小的存储器中保存这些数据。例如，对于无线通信网来说，同样的100万条通话记录，如果只有1000个用户，那么使用1000个存储单位就可以保存足够多和足够精确的数据来回答“某一用户的累计通话时间有多长”的问题；而如果共有100000个用户，要保存这些信息，就需要100000个存储单位。数据流数据的属性大多与地理信息、IP位址、手机号码等有关，而且往往与时间联系在一起。这时，数据的维度远远超过了记忆体和硬碟容量，这意味着系统无法完整保存这些信息，通常只能在数据到达的时候存取数据一次。 数据到达的时间—持续 数据的持续到达意味着数据量可能是无限的。而且，对数据进行处理的结果不会是最终的结果，因为数据还会不断地到达。因此，对数据流的查询的结果往往不是一次性而是持续的，即随着底层数据的到达而不断返回最新的结果。 以上数据流的特点决定了数据流处理的特点一次存取，持续处理，有限存储， 近似结果，快速回响。 近似结果是在前三个条件限制下产生的必然结果。由于只能存取数据一次，而且只有相对较小的有限空间存储数据，因此产生精确的计算结果通常是不可能的。而将对结果的要求从过去的“精确”改为“近似”后，实现数据流查询的快速回响也就成为了可能。

分类

数据的性质、格式不同，则对流的处理方法也不同，因此，在Java的输入/输出类库中，有不同的流类来对应不同性质的输入/输出流。在java．io包中，基本输入/输出流类可按其读写数据的类型之不同分为两种：位元组流和字元流。

输入流与输出流

数据流分为输入流(InputStream)和输出流(OutputStream)两类。输入流只能读不能写，而输出流只能写不能读。通常程式中使用输入流读出数据，输出流写入数据，就好像数据流入到程式并从程式中流出。采用数据流使程式的输入输出操作独立与相关设备。 输入流可从键盘或档案中获得数据，输出流可向显示器、印表机或档案中传输数据。

缓冲流

为了提高数据的传输效率，通常使用缓冲流(Buffered Stream)，即为一个流配有一个缓冲区(buffer)，一个缓冲区就是专门用于传输数据的记忆体块。当向一个缓冲流写入数据时，系统不直接传送到外部设备，而是将数据传送到缓冲区。缓冲区自动记录数据，当缓冲区满时，系统将数据全部传送到相应的设备。 当从一个缓冲流中读取数据时，系统实际是从缓冲区中读取数据。当缓冲区空时，系统就会从相关设备自动读取数据，并读取尽可能多的数据充满缓冲区。

模型描述

我们试图从数据集合、数据属性和计算类型三个不同方面对数据流的模型进行归纳和描述。实际上，很多文章提出了各种各样的数据流模型，我们并没有包括所有这些模型，只是将其中比较重要的和常见的进行了归纳和分类。

形式化

以下是对数据流的一个形式化描述。 考虑向量α，其属性的域为[1..n](秩为n)，而且向量α在时间t的状态 α(t)=<α1(t), ...αi(t), ...αn(t) > 在时刻s，α是0向量，即对于所有i，αi(s)=0。对向量的各个分量的更新是以二元组流的形式出现的。即，第t个更新为(i, ct)，意味着αi(t)= αi(t . 1) + ct，且对于i. =.i，αi. (t)= αi. (t . 1)。在时刻t发生的查询是针对α(t)的。

数据集合

我们首先考虑在进行数据流计算时，有哪些数据被包含在计算范围之内。关于这个问题，主要有三种不同的模型：分别是数据流模型（data stream model）、滑动视窗模型（sliding window model）和n-of-N模型。 数据流模型（data stream model）在数据流模型中，从某个特定时间开始的所有数据都要被纳入计算范围。此时，s=0，即在时刻0，α是0向量。即这是数据流最初和最普遍的模型。 滑动视窗模型（sliding window model ，计算最近的N个数据）滑动视窗模型是指，从计算时算起，向前追溯的N个数据要被纳入计算范围。此时，s = t . N，即在时刻t . N，α是0向量。换句话说，要计算最近的N个数据。由于数据流的数据是不断涌现的，所以直观的看，这种模式就像用一个不变的视窗，数据随时间的推移经过视窗，出现视窗内的数据就是被计算的数据集合。M. Datar等[91]首先提出这一模式，随后得到了广泛回响[92]。 n-of-N模型(计算最近的n个数据，其中0 <n ≤ N) 文献[93] 提出的这种模型建立在滑动视窗模型的基础之上，比滑动视窗模型更为灵活：被纳入计算范围的是从计算时算起，向前追溯的n个数据。此时，s = t . n，即在时刻t . n，α是0向量。注意，其中n ≤ N，而且是可以随查询要求变化的。而在滑动视窗模型中，n = N而且是固定不变的。对于数据流处理系统来说，要能够回答所有长度小于等于N的滑动视窗问题。

数据属性

数据本身的特征： 时间序列（time series model） 数据按照其属性(实际上就是时间)的顺序前来。在这种情况下，i = t，即一个t时刻的更新为(t, ct)。此时对α的更新操作为αt(t)= ct， 且对于i. =.t，αi. (t)= αi. (t . 1)。这种模型适用于时序数据，如某特定IP的传出的数据，或股票的定期更新数据等。 收款机模型（cash register model） 同一属性的数据相加，数据为正。在这种模型中，ct >=0。这意味着对于所有的i和t来说，αi(t)总是不小于零，而且是递增的。实际上，这种模型被认为是最常用的，例如可以用于对收款机（收款机模型由此得名），各个IP的网路传输量，手机用户的通话时长的监控等等。 十字转门模型（turnstile model） 同一属性的数据相加，数据为正或负。在这种模型中，ct可以大于0也可以小于0。这是最通用的模型。S. Muthukrishnan[89]称其为十字转门模型起因于这种模型的功能就象捷运站的十字转门，可以用来计算有多少人到达和离开，从而得出捷运中的人数。

计算类型

对数据流数据的计算可以分为两类：基本计算和复杂计算。基本计算主要包括对点查询、范围查询和内积查询这三种查询的计算。复杂计算包括对分位数的计算、频繁项的计算以及数据挖掘等。 点查询（Point query） 返回αi(t)的值。 范围查询（Range query） 对于范围查询Q(f, t)，返回 t . αi(t) i=f 内积（Inner proct） 对于向量β，α与β的内积 α . β =Σni=1αi(t)βi 分位数（Quantile） 给定一个序号r，返回值v，并确保v在α中的真实排序r.符合以下要求： r . εN ≤ r. ≤ r + εN 其中，ε是精度，N =Σni=1αi(t)。 G. S. Manku等[94]提供了对分位数进行一遍扫描进行近似估计的框架结构，将数据集合看成树的节点，这些节点拥有不同的权重（如节点中包含的数据个数）。认为所有的分位数的估计算法都可以被认为由三个对节点的操作组成产生新节点（NEW） 、合并（COLLAPSE）和输出（OUTPUT）。不同的策略构成了不同类型的树。这个框架结构成为后来很多分位数估计算法的基础。 频繁项（Frequent items）有时也称Heavy hitters，即找出在数据流中频繁出现的项。在这种计算中，实际上令ct =1。这样，αi(t)中保存了截至t时刻，维值等于i的数据到达的频率。对这些数据的查询又可分为两种： 找出头k个最频繁出现的项 找出所有出现频率大于1/k的项 对频率项的研究主要集中在后一种计算[95]。 挖掘对数据流数据进行挖掘涉及更复杂的计算。对这方面的研究包括：多维分析[96]，分类分析[97, 98]，聚类分析[99–102]，以及其他one-pass算法[103]。

相关思路

简介

数据流处理过程中的主要难点在于如何将存储数据所花费的空间控制在一定范围之内。查询回响时间问题虽然也很重要，但相对容易解决。作为研究领域的一个热点，数据流处理问题得到了广泛的研究，出现了很多算法。 解决数据流庞大的数据量与有限的存储空间之间的矛盾的一个思路是使用采样，另一个思路是，构造一个小的、能提供近似结果的数据结构存放压缩的数据流数据，这个结构能存放在存储器中。略图（Sketch）、直方图（histogram）和小波（wavelet）实际上就都是这样的数据结构中最重要的三种。 以上方法实际上大都已用于传统资料库领域，问题在于如何将它们套用于数据流的特殊环境。

随机采样

随机采样（Random sampling）可以通过抽取少量样本来捕捉数据集合的基本特性。一个很常见的简单方法就是一致性采样（uniform sample）。作为一个备选的采样方法分层采样（strati.ed sampling）可以减少数据的不均匀分布所带来的误差。不过，对于复杂的分析，普通的采样算法还是需要太大的空间。 对于数据流的一些特殊计算，已经出现了一些有趣的采样算法。粘采样（Sticky sampling）[95]用于频繁项（frequent items）的计算。粘采样使用的方法是，在记忆体中存放二元组(i,f)所构成的集合S，对于每到来的一个数据，如果其键i已经存在于S,则对应的f加1；否则，以1 r 的机率进行采样，如果该项被选中，在S中增加一组（i,1）；每过一段时间，对S中的组进行一遍扫描，对其中的值进行更新。然后增加r的值；结束（或用户要求结果）时，输出所有f.(s-e)N的组。 P. Gibbons提出的distinct sampling[104]用于distinct counting ，即找出数据流中不同值的个数。它使用哈希（hash ）函式对每一个到来的不同值以2.(i+1)的机率映射到级别i上；如果i ≥记忆体级别L（L的初始值为0），将其加入记忆体，否则抛弃；记忆体满时，将记忆体中级别为L的值删除，并将L加1；最终对distinct count的估计为记忆体中不同的值乘以2L。distinct counting是资料库处理中的一个老问题，这种算法的优点是，通过设定合适的参数，可套用于带谓词的查询（即对数据流的一个子集进行distinct counting）。 采样算法的缺点是：它们对异常数据不够敏感。而且，即使它们可以很好的套用于普通的数据流模型，但如果要用于滑动视窗模型（sliding window model）[91] 或n-of-N模型[93]，还需要进行较大的修改。

构造略图

构造略图（sketching）是指使用随机映射（Random projections）将数据流投射在一个小的存储空间内作为整个数据流的概要，这个小空间存储的概要数据称为略图，可用于近似回答特定的查询。不同的略图可用于对数据流的不同Lp范数的估算，进而这些Lp范数可用于回答其它类型的查询。如L0范数可用于估算数据流的不同值(distinct count)；L1范数可用于计算分位数（quantile）和频繁项（frequent items）；L2范数可用于估算自连线的长度等等。 略图的概念最早由N. Alon在[105]中提出，从此不断涌现出各种略图及其构造算法。 N. Alon 在[105]中提出的随机略图构造（randomized steching）可以用于对不同Lp范数的估算，最多需要O(n 1. lg n)的空间。该文更重要的贡献在于，它还可以以O(log n + log t)的空间需求估算L2。它的主要思路是，使用哈希函式，将数据属性的域D中的每一个元素一致地随机映射到zi ∈ {.1+ 1}上，令随机变数X = .i αizi，X2就可作为对L2范数的估计。 p1 S. Guha 等[88]提出的分位数略图(quantile sketch) 保持一组形如（vi,gi, Δi）的数据结构，rmax(vi) 和rmin(vi)分别是vi可能的排位的最大和最小值。对于i>j 满足： vi >vj gi = rmin(vi) . rmin(vi . 1) Δi = rmax(vi) . rmin(vi) 随着数据的到来，对此略图进行相应的更新操作，使估算保持在一定的精度之内。X. Lin等[93]对于这个问题做出了更形式化的描述。 若令AS为一个从[1..n]中提取的随机集合，每一个元素被提取的机率为1/2。A. Gilbert 等[106]构造若干个AS，将每个集合中元素值的和称为随机和（random sum）。多个随机和构成一个略图。对αi的估算为 2E(||AS|| |αi ∈ AS) . ||A||， 其中||A||为数据流中所有数的和。因此，这种略图可用于估算点查询的结果。使用多个这样的略图，可用于估算范围查询、分位数查询等。略图技术实际上是空间和精度相权衡的结果。为保证点查询结果的误差小于εN， 上述略图需要的空间通常是以ε.2作为系数的。与此相比较，G. Cormode 等提出的计数-最小略图（Count-Min Sketch ）[19]只需要ε.1系数的空间。其思路也比较简单，使用若干个哈希函式将分别数据流投射到多个小的略图上，回答点查询时，每个略图分别作答，并选择值最小的作为答案。以点查询为基础，计数-最小略图可以用于其它各种查询和复杂计算。计数-最小略图并不计算Lp范数，而是直接计算出点查询的结果，这是它的时空效率比其它略图高的原因之一。

直方图

直方图（histogram）有两个含义：一个是普通意义上的直方图，是一种用于显示近似统计的视觉手段；另外，它还是一种捕捉数据的近似分布的数据结构/方法。作为后者出现时时，直方图是这样构造的：将数据按其属性分到多个不相交的子集(称为桶)并用某种统一的方式近似表示桶中的值[107]。 直方图 直方图方法主要用于信号处理、统计、图像处理、计算机视觉和资料库。在资料库领域，直方图原先主要用于选择性估计（selectivity estimation），用于选择查询最佳化和近似查询处理。直方图是一种最简单、最灵活的近似处理方法，同时也是最有效的一种。只要解决好数据更新问题，就可以将原有的直方图运用到数据流处理中。这类根据新的数据自动调节的直方图被称为动态（或自适应/自调节）直方图。 L. Fu等[108]提出的直方图主要用于中值函式（Median ）和其他分位数函式的计算，可用于近似计算，也可用于精确查询。它通过确定性分桶（Deterministic Bucketing ）和随机分桶（Randomized Bucketing ）技术，构造多个不同精度的桶（buckets），然后将输入数据逐级分到这些桶中，从而完成了动态直方图的构造。 由于将静态直方图直接套用到数据流处理比较困难。S. Guha等[88]虽然可以动态地构造近最优的V-optimal 直方图，但只能套用于时间序列模型（time series model） 下的数据流。 一个常采用的方法是将整个算法分为两步：首先构造一个数据流数据的略图；然后从这个略图中构造合适的直方图。这种方法可以利用略图数据易于更新的特点，又能实现直方图的动态化。N. Thaper等[109]首先是构造一个近似反映数据流数据的略图，利用略图的优良的更新性能来实现数据的更新，然后从这个略图中导出一个直方图来实现对数据流数据的近似。由于从略图中导出最佳的直方图是一个NP-hard问题，作者提供了一个启发式算法(贪婪算法)来搜寻一个较佳的直方图。 A. Gilbert等[110]构造了一个概要的数据结构，该结构使用一组与文献[106]中类似的随机和结构来保存不同粒度级别的dyadic interval的值。随后，将不同粒度级别的dyadic interval（[111]）从大到小地加入所要构造的直方图中，这样就将近似误差降到最低（求精）。 A. Gilbert等在文献[112]中主要考虑的是如何降低对数据流中每个输入数据的处理复杂度。他们先将输入数据转化为小波系数（利用小波系数是信号与基向量的内积），然后采用了与文献[110]类似的dyadic interval处理方法。略图与直方图有很密切的联系，从某种方面来说，可以认为直方图是略图的一种特殊情况。

小波变换

小波变换（wavelet transformation）常用于生成数据的概要信息。这是因为通常小波系数只有很少一部分是重要的，大部分系数或者值很小，或者本身不重要。所以，如果忽略数据经过小波变换后生成的不重要系数，就可以使用很少的空间完成对原数据的近似。 Y. Matias等首先针对数据流数据构造一个直方图，使用小波对其进行模拟。随后保留若干最重要的小波系数实现对直方图的模拟。当新的数据出现时，通过对这些小波系数进行更新以实现直方图的更新。 文献提出的实际上是一种直方图方法，只不过使用了小波变换。A. Gilbert等指出小波变换可以认为是信号与一组正交的长度为N的向量集合所作的内积，因此构造一组数据流数据的略图，由于略图可以相当容易和准确地计算信号与一组向量的内积，则可以从略图计算出小波系数，从而用于点查询和范围查询的估计。

新动向

研究人员对数据流处理的研究不断深入，我们认为出现了以下新的动向： 未来略图 引入更多多的的统计 计技技术来构造略图 G. Cormode等主要处理对频繁项的计算。它以前人的主项（majority item ） 算法([116, 117])为基础，使用了error-correcting codes来处理问题。如数据的每一位设立一个计数器，再根据这些计数器的计数结果来推断频繁项集合。 Y. Tao等[118]实质上是对Probabilistic counting (已经广泛地用于资料库领域的distinct counting)在数据流处理的一种套用。 扩展略图 对略图进行扩展，以处理更更复复杂的查询询需需求 Lin等在文献[93]中构造了一个复杂的略图体系，可用于滑动视窗模型（sliding window model ）和n-of-N模型的分位数估计，这是简单略图难以做到的。 在滑动视窗模型下，文献[93]将数据按时间顺序分为多个桶，在每个桶中建立略图（精度比要求的高），然后查询时再将这些略图合并（merge），其中对最后一个桶可能需要进行提升（lift ）操作。维护时只删除过期的桶，增加新的桶。 在n-of-N model中，文献[93]将数据按EH Partitioning技术分为多个大小不同的桶，在每个桶中建立略图（精度比要求的高），然后查询时再将其中一部分略图合并，可以保证要求的精度，其中对最后一个同可能需要进行提升。 结合时空数据 与时空数据处理的进一步结合： J. Sun等在文献[120]中虽然主要针对时空数据的历史查询和预测处理。然而，文章却强调时空数据是以数据流的形式出现的，处理中也更着重于时空数据的更新性能。 Y. Tao等[118]使用数据流的方法处理时空数据，通过对动态的时空数据构造略图，用于分辨物体是否在多个区域间运动或静止的状态，并估算其数量。而这种问题在原先的时空处理中是很难解决的。

小说流派

网路小说数据流是新兴流派，意思是小说主角实力数据化，和网游属性栏一样的数据显示。

❺ 如何有效的进行数据治理和数据管控

大数据时代的到来，让政府、企业看到了数据资产的价值，并快速开始 探索 应用场景和商业模式、建设技术平台。但是，如果在大数据拼图中遗忘了数据治理，那么做再多的业务和技术投入也是徒劳的，因为很经典的一句话：Garbage in Garbage out。

当你处理或使用过大量数据，那么对“数据治理”这个词你一定不会陌生。你会思考数据治理是什么？数据治理是否适合你？如何实施。简单来说，数据治理就是处理数据的策略——如何收集、验证、存储、访问、保护和使用数据。数据治理也还包括谁来查看，使用，共享你的数据。

随着大数据时代的推进，以上这些问题日益突出，越来越多的企业依赖采集、治理、储存和分析数据，并实现他们的商业目标。数据变成了企业的盈利工具、业务媒介和商业机密。数据泄露会导致法律纠纷，还会令消费者对公司的核心业务失去信心。

如果抱着侥幸的心理，让各个业务部门自己管理数据，那么你会缺乏有效的数据管理，甚至各部门会自己做自己的。你无法想象各个部门按随心所欲地自己生产、储存、销售产品。数据使用不当就像库存使用不当一样，会给企业造成沉重的损失。因此必须制定一项测量用以保证所需数据的有效和安全，可用性，这就是我们要谈的“数据治理”。

数据治理策略必须包含完整的数据生命周期。策略必须包含从数据采集、清洗到管理，在这个生命周期内，数据治理必须要有关注以下内容：

数据从哪里来，数据怎么来

这是数据生命周期的起点。数据来源决定了数据治理策略的基础。例如数据集的大正乎腔小就由数据来源所决定。是从目标市场、现存用户和社交媒体收集数据？还是使用第三方收集数据或者分析你收集的数据？输入数据流是什么？数据治理必须关注这些问题，并制定策略来管理数据的采集，引导第三方处理他们收集的数据或者分析你收集的数据，控制数据的路径和生命周期。

数据校验

通常数据源都是非常庞大且多样的，这是一个让数据管理者非常头疼的问题。将数据噪音和重要数据进行区分仅仅只是开始，如果你正从关联公司收集数据，你必须确保数据是可靠的，对于那些几万、几十万、甚至成百上千万的复杂关系数据，单靠人为的通过Excel对进行数据清洗已经不太现实，需要专业的数据举衫清洗工具或系统对海量复杂关系数据进行批量查询、替换、纠正、丰富以及存储。将元数据、主数据、交易数据、参考数据以及数据标准内置固化到数据清洗工具或系统中，结合组织架构、内容管控、过程管控等管理机制、技术标准提高数据治理人员的工作顷孝效率。比如：需要手工编写程序收集的元数据，系统帮你自动获取；需要人工识别或编写代码实现的数据质量检查，系统帮你自动识别问题；用文档管理的数据字典，系统帮你在线管理；基于邮件和线下的流程，系统帮你线上自动化。当然，系统并不是万能的，数据治理的软件工具与其他软件工具一样，没有什么神奇之处，没有数据治理人员的参与和数据治理工作的推进，软件再完美也无法完成数据治理整个过程。这也是为什么数据治理咨询服务一直有其市场，以及为什么国内大部分单纯数据治理软件项目未能达到预期目标。

数据治理必须解决存储问题

而数据存储和数据集的大小有密切关系。大数据的存储必须是在安全的冗余系统之中。常常利用层次体系，根据使用频率来存储数据。这样一来，昂贵的在线系统提供的是被频繁请求的数据，而请求频率较低的数据则存储在便宜，可用率较低的系统上。当然，一些请求频率低但是敏感的数据如果存储于安全性较低的系统上，风险会大大提升。因此，在制定数据存储方案时，良好的数据治理策略必须考虑到方方面面的因素。

数据治理必须建立访问管理制度，在需求和安全性找到平衡点

明确访问者的权限，只能访问他们对应权限包含的数据。只有合法请求才能够访问数据，而敏感的数据需要更高的权限和更严密的验证才可以被访问。只向具有特定安全级别的用户开放。应该对用户和数据本身设置访问级别，管理账户时，应与人力资源部和采购部紧密互动，这一点非常重要，因为这样可以及时地使离职员工和停止合作的供应商不再拥有访问权限。处理好这些细节以及确保数据所有权和责任，这是构成完整的数据治理策略的一部分。

数据的使用/共享/分析

如何使用数据是数据治理之后一项重要的内容，数据可能会用于客户管理，提高客户体验，投放定向广告，用户应用系统初始化基础数据工作，辅助应用系统建设，提供市场分析和关联公司共享数据。必须仔细界定哪些数据可用于共享或者用于营销，并保护它们免遭攻击和泄露，因为数据本来就应该被用于纯粹的内部用途。让用户知悉采集数据的所有公司都会遵守数据安全和保证的规定。能够确保数据被合理合规的使用，也是数据治理重要的一项内容。

收集、验证、存储、访问和使用都是数据安全计划的必要组成部分

收集、验证、存储、访问和使用都是数据安全计划的必要组成部分，必须要有一个全面的策略来解决这些问题以及其他安全问题。数据安全计划必须是有效且可用性高，但是数据生命周期的所有部分都很容易受到攻击和由于粗心造成的破坏。你必须在数据治理中确定数据安全计划，包括访问控制，静态数据，数据加工，数据传输之后的加密等。

管理/元数据

没有管理的数据生命周期是不完整的。例如，将元数据应用于一段数据，用来进行识别检索。元数据包含数据的来源，采集或生成的日期，信息访问的级别，语义分类及其他企业所必须的信息。数据治理能建立一个元数据词汇表，界定数据的有效期。请注意数据也会过期，过期之后我们只能用于 历史 数据的分析。

数据治理创建的过程中可能会在企业内部遭到一些阻力，比如有的人会害怕失去访问数据的权限，而有些人也不愿意和竞争者共享数据。数据治理政策需要解决上述问题，让各方面的人都可接受。习惯了数据筒仓环境的公司，在适应新的数据治理策略上面会有困难，但如今对大型数据集的依赖以及随之而来的诸多安全问题，使创建和实施覆盖全公司的数据策略成为一种必然。

数据日益成为企业基础设施的一部分，在企业一步步处理各种特定情况的过程中形成决策。它以一次性的方式作出，常常是对某一特定问题的回应。因此，企业处理数据的方法会因为不同部门而改变，甚至会因为部门内部的不同情况而改变。即使每个部门已经有一套合理的数据处理方案，但这些方案可能彼此冲突，企业将不得不想办法协调。弄清数据存储的要求和需求是一件难事，如果做得不好，就无法发挥数据在营销和客户维系方面的潜力，而如果发生数据泄露，你还要承担法律责任。

另外在大企业内部，部门之间会展开对数据资源的争夺，各部门只关注自身的业务情况，缺乏全局观念，很难在没有调解的情况下达成妥协。

因此公司需要一个类似数据治理委员会的机构，他的职责是执行现有数据策略、挖掘未被满足的需求以及潜在安全问题等，创建数据治理策略，使数据的采集、管护、储存、访问以及使用策略均实现标准化，同时还会考虑各个部门和岗位的不同需求。平衡不同部门之间存在冲突的需求，在安全性与访问需求之间进行协调，确保最高效、最安全的数据管理策略。

建立数据治理委员会

负责评估各个数据用户的需求，建立覆盖全公司的数据管理策略，满足内部用户、外部用户甚至法律方面的各种需求。该委员会的成员应该囊括各个业务领域的利益相关者，确保各方需求都得到较好地满足，所有类型的数据所有权均得到体现。委员会也需要有数据安全专家，数据安全也是重要的一环。了解数据治理委员会的目标是什么，这一点很重要，因此，应该思考企业需要数据治理策略的原因，并清楚地加以说明。

制定数据治理的框架

这个框架要将企业内部、外部、甚至是法律层面的数据需求都纳入其中。框架内的各个部分要能够融合成一个整体，满足收集、清洗、存储、检索和安全要求。为此，企业必须清楚说明其端到端数据策略，以便设计一个能够满足所有需求和必要操作的框架。

有计划地把各个部分结合起来，彼此支持，这有很多好处，比如在高度安全的环境中执行检索要求。合规性也需要专门的设计，成为框架的一部分，这样就可以追踪和报告监管问题。这个框架还包括日常记录和其他安全措施，能够对攻击发出早期预警。在使用数据前，对其进行验证，这也是框架的一部分。数据治理委员会应该了解框架的每个部分，明确其用途，以及它如何在数据的整个生命周期中发挥作用。

数据测试策略

通常一个数据策略需要在小规模的商用环境中进行测试，用来发现数据策略在框架，结构和计划上的不足之处并进行调整，之后才能够投入正式使用。

数据治理策略要与时俱进

随着数据治理策略延伸到新的业务领域，肯定需要对策略进行调整。而且，随着技术的发展，数据策略也应该发展，与安全形势、数据分析方法以及数据管理工具等保持同步。

明确什么是成功的数据策略

我们需要确立衡量数据治理是否成功的明确标准，以便衡量进展。制定数据管理目标，有助于确定成功的重要指标，进而确保数据治理策略的方向是符合企业需求。

无论企业大小，在使用数据上都面临相似的数据挑战。企业越大，数据越多，而数据越多，越发需要制定一个有效的，正式的数据治理策略。规模较小的企业也许只需要非正式的数据治理策略就足够了，但这只限于那些规模很小且对数据依赖度很低的公司。即便是非正式的数据治理计划也需要尽可能考虑数据用户和员工数据的采集、验证、访问、存储。

当企业规模扩大，数据需求跨越多个部门时，当数据系统和数据集太大，难以驾驭时，当业务发展需要企业级的策略时，或者当法律或监管提出需求时，就必须制定更为正式的数据治理策略。

❻ JCL中如何在流内数据集中给文件添加内容

#include <iostream>
#include <fstream>

using namespace std;
int main()
{
//首先茄耐定义流 output_stream
fstream output_stream;
//然后用 output_stream的open函数打开一个文件，最好用绝对者纳银路径，注意为了避免路径被解释为转义字符，必须用双斜杠。最后的 ios::out 表示输出,ios::app表示输出到文件尾。
output_stream.open("D:\\temp.txt",ios::out | ios::app);
//对流输出，可以类比cout
output_stream << "output!" <<首宴 endl;
return 0;
}

❼ 流式数据看parent还是mean

parent。
parent指的是上一级的gate里的细胞群，而total是在没有设置gate前的所有颗粒，因此核哪流式数据看parent。
流式数据是一组顺序、大量、快速、连续到达的数据序列,一般情况下，流数据可被视哗首为一个随时间延续而无限增长的动态数据集合乱氏数。应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。

❽ 数据库的元数据是什么数据在网上搜了一下，说是数据的数据，但还是理解不了，谁具体解释下

元数据概念范围很广，表中的字段当然也算是元数据。
简要来说，元数据是指描述基本数据结构的对象，也就是说“数据的数据”。这个描述可大可小，小如字段，大如文档，如各种文档（如图片、excel文档）等，也可认为是元数据。

基于应用，元数据可分成以下的若干种（某些分类例子）。

数据结构：数据集的名称、关系、字段、约束等；

数据部署：数据集的物理位置；

数据流：数据集之间的流程依赖关系（非参照依赖），包括数据集到另一个数据集的规则；

质量度量：数据集上可以计算的度量；

度量逻辑关系：数据集度量之间的逻辑运算关系；

ETL过程：过程运行的顺序，并行、串行；

数据集快照：一个时间点上，数据在所有数据集上的分布情况；

星型模式元数据：事实表、维度、属性、层次等；

报表语义层：报表指标的规则、过滤条件物理名称和业务名称的对应；

数据访问日志：哪些数据何时被何人访问；

质量稽核日志：何时、何度量被稽核，其结果；

数据装载日志：哪些数据何时被何人装载；

❾ 数据流的模型描述

我们试图从数据集合、数据属性和计算类型三个不同方面对数据流的模型进行归纳和描述。实际上，很多文章提出了各种各样的数据流模型，我们并没有包括所有这些模型，只是将其中比较重要的和常见的进行了归纳和分类。 以下是对数据流的一个形式化描述。
考虑向量α，其属性的域为[1..n](秩为n)，而且向量α在时间t的状态
α(t)=<α1(t), ...αi(t), ...αn(t) >
在时刻s，α是0向量，即对于所有i，αi(s)=0。对向量的各个分量的更新是以二元组流的形式出现的。即，第t个更新为(i, ct)，意味着αi(t)= αi(t . 1) + ct，且对于i. =.i，αi. (t)= αi. (t . 1)。在时刻t发生的查询是针对α(t)的。 我们首先考虑在进行数据流计算时，有哪些数据被包含在计算范围之内。关于这个问题，主要有三种不同的模型：分别是数据流模差轿灶型（data stream model）、滑动窗口模型（sliding window model）和n-of-N模型。
数据流模型（data stream model）在数据流模型中，从某个特定时间开始至今的所有数据都要被纳入计算范围。此时，s=0，即在时刻0，α是0向量。即这是数据流最初和最普遍的模型。
滑动窗口模型（sliding window model ，计算最近的N个数据）滑动窗口模型是指，从计算时算起，向前追溯的N个数据要被纳入计算范围。此时，s = t . N，即在时刻t . N，α是0向量。换句话说，要计算最近的N个数据。由于数据流的数据是不断涌现的，所以直观的看，这种模式就像用一个不变的窗口，数据随时间的推移经过窗口，出现在窗口内的数据就是被计算的数据集合。M. Datar等[91]首先提出这一模式，随后得到了广泛响应[92]。
n-of-N模型(计算最近的n个数据，其中0 <n ≤ N) 文献[93] 提出的这种模型建立在滑动窗口模型的基础之上，比滑动窗口模型更为灵活：被纳入计算范围的是从计算时算起，向前追溯的n个数据。此时，s = t . n，即在时刻t . n，α是0向量。注意，其中n ≤ N，而且是可以随查询要求变化的。而在滑动窗口模型中，n = N而且是固定不变的。对于数据流处理系统来说，要能够回答所有长度小于等于N的滑动窗口问题。 我们在来看一下数据本身的特征。
时间序列（time series model） 数据按照其属性(实际上就是时间)的顺序前来。在这种情况下，i = t，即一个t时刻的更新为(t, ct)。此时对α的更新操作为αt(t)= ct， 且对于i. =.t，αi. (t)= αi. (t . 1)。这种模型适用于时序数据，如某特定IP的虚扮帆祥传出的数据，或股票的定期更新数据等。
收款机模型（cash register model） 同一属性的数据相加，数据为正。在这种模型中，ct >=0。这意味着对于所有的i和t来说，αi(t)总是不小于零，而且是递增的。实际上，这种模型被认为是最常用的，例如可以用于对收款机（收款机模型由此得名），各个IP的网络传输量，手机用户的通话时长的监控等等。
十字转门模型（turnstile model） 同一属性的数据相加，数据为正或负。在这种模型中，ct可以大于0也可以小于0。这是最通用的模型。S. Muthukrishnan[89]称其为十字转门模型起因于这种模型的功能就象地铁站的十字转门，可以用来计算有多少人到达和离开，从而得出地铁中的人数。 对数据流数据的计算可以分为两类：基本计算和复杂计算。基本计算主要包括对点查询、范围查询和内积查询这三种查询的计算。复杂计算包括对分位数的计算、频繁项的计算以及数据挖掘等。
点查询（Point query） 返回αi(t)的值。
范围查询（Range query） 对于范围查询Q(f, t)，返回
t
. αi(t)
i=f
内积（Inner proct） 对于向量β，α与β的内积
α . β =Σni=1αi(t)βi
分位数（Quantile） 给定一个序号r，返回值v，并确保v在α中的真实排序r.符合以下要求：
r . εN ≤ r. ≤ r + εN
其中，ε是精度，N =Σni=1αi(t)。
G. S. Manku等[94]提供了对分位数进行一遍扫描进行近似估计的框架结构，将数据集合看成树的节点，这些节点拥有不同的权重（如节点中包含的数据个数）。认为所有的分位数的估计算法都可以被认为由三个对节点的操作组成产生新节点（NEW） 、合并（COLLAPSE）和输出（OUTPUT）。不同的策略构成了不同类型的树。这个框架结构成为后来很多分位数估计算法的基础。
频繁项（Frequent items）有时也称Heavy hitters，即找出在数据流中频繁出现的项。在这种计算中，实际上令ct =1。这样，αi(t)中保存了截至t时刻，维值等于i的数据到达的频率。对这些数据的查询又可分为两种：
找出头k个最频繁出现的项
找出所有出现频率大于1/k的项
对频率项的研究主要集中在后一种计算[95]。
挖掘对数据流数据进行挖掘涉及更复杂的计算。对这方面的研究包括：多维分析[96]，分类分析[97, 98]，聚类分析[99–102]，以及其他one-pass算法[103]。

❿ 流式数据多组数据拖进去是同一组数据吗

您好，流式数据和脊早悉多组数据是不同的概念，因此将多组数据拖进流式数据中不一定是同一组数据。

流式数据是指连续的数据流，通常是一组数据接着一组数据不断地产生。这些数据通常是实时的，需要实时处理。例如，樱乎传感器数据、交易数据等。

而多组数据是指不同的数据集合，这些数据通常是离线的，需要批量处理。例如，一份报表中的多个表格数据、多个Excel表格等。

因此，将多组数据拖进流式数据中，可能是将多个数据集合按照一定规则转换为流式数据进行处理，也可能是将多个数据集合分别作为不同的流式数据进行处理。这取决于具体的数据处理需求和数据处理工具的实睁穗现方式。

因此，流式数据和多组数据虽然有时会有交集，但它们是不同的概念，需要根据具体情况进行区分和处理。