神经网络监测

⑴ 人工神经网络的应用分析

经过几十年的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。下面介绍神经网络在一些领域中的应用现状。 在处理许多问题中，信息来源既不完整，又包含假象，决策规则有时相互矛盾，有时无章可循，这给传统的信息处理方式带来了很大的困难，而神经网络却能很好的处理这些问题，并给出合理的识别与判断。
1.信息处理
现代信息处理要解决的问题是很复杂的，人工神经网络具有模仿或代替与人的思维有关的功能， 可以实现自动诊断、问题求解，解决传统方法所不能或难以解决的问题。人工神经网络系统具有很高的容错性、鲁棒性及自组织性，即使连接线遭到很高程度的破坏， 它仍能处在优化工作状态，这点在军事系统电子设备中得到广泛的应用。现有的智能信息系统有智能仪器、自动跟踪监测仪器系统、自动控制制导系统、自动故障诊断和报警系统等。
2. 模式识别
模式识别是对表征事物或现象的各种形式的信息进行处理和分析，来对事物或现象进行描述、辨认、分类和解释的过程。该技术以贝叶斯概率论和申农的信息论为理论基础，对信息的处理过程更接近人类大脑的逻辑思维过程。现在有两种基本的模式识别方法，即统计模式识别方法和结构模式识别方法。人工神经网络是模式识别中的常用方法，近年来发展起来的人工神经网络模式的识别方法逐渐取代传统的模式识别方法。经过多年的研究和发展，模式识别已成为当前比较先进的技术，被广泛应用到文字识别、语音识别、指纹识别、遥感图像识别、人脸识别、手写体字符的识别、工业故障检测、精确制导等方面。 由于人体和疾病的复杂性、不可预测性，在生物信号与信息的表现形式上、变化规律（自身变化与医学干预后变化）上，对其进行检测与信号表达，获取的数据及信息的分析、决策等诸多方面都存在非常复杂的非线性联系，适合人工神经网络的应用。目前的研究几乎涉及从基础医学到临床医学的各个方面，主要应用在生物信号的检测与自动分析，医学专家系统等。
1. 生物信号的检测与分析
大部分医学检测设备都是以连续波形的方式输出数据的，这些波形是诊断的依据。人工神经网络是由大量的简单处理单元连接而成的自适应动力学系统， 具有巨量并行性，分布式存贮，自适应学习的自组织等功能，可以用它来解决生物医学信号分析处理中常规法难以解决或无法解决的问题。神经网络在生物医学信号检测与处理中的应用主要集中在对脑电信号的分析，听觉诱发电位信号的提取、肌电和胃肠电等信号的识别，心电信号的压缩，医学图像的识别和处理等。
2. 医学专家系统
传统的专家系统，是把专家的经验和知识以规则的形式存储在计算机中，建立知识库，用逻辑推理的方式进行医疗诊断。但是在实际应用中，随着数据库规模的增大，将导致知识“爆炸”，在知识获取途径中也存在“瓶颈”问题，致使工作效率很低。以非线性并行处理为基础的神经网络为专家系统的研究指明了新的发展方向， 解决了专家系统的以上问题，并提高了知识的推理、自组织、自学习能力，从而神经网络在医学专家系统中得到广泛的应用和发展。在麻醉与危重医学等相关领域的研究中，涉及到多生理变量的分析与预测，在临床数据中存在着一些尚未发现或无确切证据的关系与现象，信号的处理，干扰信号的自动区分检测，各种临床状况的预测等，都可以应用到人工神经网络技术。 1. 市场价格预测
对商品价格变动的分析，可归结为对影响市场供求关系的诸多因素的综合分析。传统的统计经济学方法因其固有的局限性，难以对价格变动做出科学的预测，而人工神经网络容易处理不完整的、模糊不确定或规律性不明显的数据，所以用人工神经网络进行价格预测是有着传统方法无法相比的优势。从市场价格的确定机制出发，依据影响商品价格的家庭户数、人均可支配收入、贷款利率、城市化水平等复杂、多变的因素，建立较为准确可靠的模型。该模型可以对商品价格的变动趋势进行科学预测，并得到准确客观的评价结果。
2. 风险评估
风险是指在从事某项特定活动的过程中，因其存在的不确定性而产生的经济或财务的损失、自然破坏或损伤的可能性。防范风险的最佳办法就是事先对风险做出科学的预测和评估。应用人工神经网络的预测思想是根据具体现实的风险来源， 构造出适合实际情况的信用风险模型的结构和算法，得到风险评价系数，然后确定实际问题的解决方案。利用该模型进行实证分析能够弥补主观评估的不足，可以取得满意效果。 从神经网络模型的形成开始，它就与心理学就有着密不可分的联系。神经网络抽象于神经元的信息处理功能，神经网络的训练则反映了感觉、记忆、学习等认知过程。人们通过不断地研究， 变化着人工神经网络的结构模型和学习规则，从不同角度探讨着神经网络的认知功能，为其在心理学的研究中奠定了坚实的基础。近年来，人工神经网络模型已经成为探讨社会认知、记忆、学习等高级心理过程机制的不可或缺的工具。人工神经网络模型还可以对脑损伤病人的认知缺陷进行研究，对传统的认知定位机制提出了挑战。
虽然人工神经网络已经取得了一定的进步，但是还存在许多缺陷，例如：应用的面不够宽阔、结果不够精确；现有模型算法的训练速度不够高；算法的集成度不够高；同时我们希望在理论上寻找新的突破点， 建立新的通用模型和算法。需进一步对生物神经元系统进行研究，不断丰富人们对人脑神经的认识。

⑵ BP神经网络在地面沉降预测中的应用

地面沉降是多种自然和人为因素共同作用的结果。各种要素发生作用的时空序列、影响强度和方向以及它们之间的关系处于不断变化之中，同时各因素的变化及其影响并不是单方面的，各变量之间相互形成制约关系，这使得地面沉降过程极具复杂性。因此，要求预测模型能以在现有资料、信息基础，准确反映研究区的自然背景条件、地下水开采行为与地面沉降过程之间的复杂联系，并能识别和适应不同影响因素随时间发生的改变。BP神经网络作为一个非线性系统，可用于逼近非线性映射关系，也可用于逼近一个极为复杂的函数关系，是解释和模拟地面沉降等高度复杂的非线性动力学系统问题的一种较好的方法。

8.4.1.1 训练样本的确定

根据第4章的分析，影响研究区域地面沉降过程的变量包含着复杂的自然和人为因素，超采深层地下水是造成研究区1986年以后地面沉降的主要原因，深层地下水的开采量和沉降监测点附近的各含水层组水位均与地面沉降有着很好的相关性。

本区第四系浅层地下水系统(第Ⅰ含水层组)除河漫滩地段，一般为TDS都高于2g/L的咸水，因此工农业用途较少，水位一般保持天然状态，在本次模型研究中不予考虑。由于区内各地面沉降监测点的地面高程每年测量一次，为了保持与地面沉降数据的一致性，使神经网络模型能准确识别地下水开采与地面沉降之间的关系，所有数据均整理成年平均的形式。

本章选择了控沉点处深层地下水系统的年均水位和区域地下水开采量作为模型的输入变量，考虑到水位和开采量的变化与沉降变形并不同步，有明显的滞后性存在，本章将前一年的开采量和年均水位也作为输入，故模型的输入变量为四个。以收集到的区内每个地面沉降监测点的年沉降量作为模型的输出变量，通过选择适合的隐含层数和隐层神经单元数构建BP模型，对地面沉降的趋势进行预测。

本次收集到的地面沉降监测点处并未有常观孔的水位数据，如果根据历年实测等水位线推算，会产生很大的误差，导致预测结果的不稳定性。基于已经建立好的Modflow数值模型，利用Processing Modflow软件里的水井子程序包，在控沉点处设置虚拟的水位观测井，通过软件模拟出的不同时期的水位，作为地面沉降神经网络模型的输入层，从而避免了以往的将各含水层组平均水位作为模型输入所带来的误差^[55]。考虑到深层地下水系统各含水层组的水力联系较为密切，本次在每个地面沉降监测点处只设置一个水位观测井，来模拟深层地下水系统的水位。水井滤水管的起始位置与该点含水层的位置相对应，即滤水管的长度即为含水层的厚度。

观测井在模型中的位置如8.31所示，绿色的点即为虚拟水位观测井。从图中可以看出6个沉降点在研究区内分布均匀，处于不同的沉降区域，有一定的代表性，通过对这6个点的地面沉降进行预测，可以反映出不同区域的沉降趋势。数值模型模拟得到的各沉降点年均水位如图8.32所示。

图8.31 控沉点虚拟水井在Modflow数值模型中的分布示意图

图8.32 模拟得到的各沉降点处虚拟水井年均水位动态

8.4.1.2 样本数据的预处理

由于BP网络的输入层物理量及数值相差甚远(不属于一个数量级)，为了加快网络收敛的速度，在训练之前须将各输入物理量进行预处理。数据的预处理方法主要有标准化法、重新定标法、变换法和比例放缩法等等。本章所选用的是一种最常用的比例压缩法，公式为^[56]

变环境条件下的水资源保护与可持续利用研究

式中:X为原始数据;X_max、X_min为原始数据的最大值和最小值;T为变换后的数据，也称之为目标数据;T_max、T_min为目标数据的最大值和最小值。

由于Sigmoid函数在值域[0，0.1]和[0.9，1.0]区域内曲线变化极为平坦，因此合适的数据处理是将各输入物理量归至[0.1，0.9]之间。本章用式(8.7)将每个样本输入层的4个物理量进行归一化处理

变环境条件下的水资源保护与可持续利用研究

处理后的数据见表8.14。

表8.14 BP神经网络模型数据归一化表

续表

8.4.1.3 网络结构的确定

BP神经网络的建立，其重点在于网络结构的设计，只要隐层中有足够多的神经元，多层前向网络可以用来逼近几乎任何一个函数。一般地，网络结构(隐层数和隐层神经元数)和参数(权值和偏置值)共同决定着神经网络所能实现的函数的复杂程度的上限。结构简单的网络所能实现的函数类型是非常有限的，参数过多的网络可能会对数据拟合过度。本章将输入样本的个数定为4个，输出样本为1个。但是对于隐含层数及隐含层所含神经元个数的选择，到目前为止还没有明确的方法可以计算出实际需要多少层或多少神经元就可以满足预测精度的要求，在选择时通常是采用试算的方法^[56，57]。

为了保证模型的预测精度和范化能力，根据收集到的资料的连续性，本次研究利用1988～2002年15组地面沉降历史观测数据和对应的当年及前一年的开采量、年均水位组织训练，以2003年和2004年的实测地面沉降数据校验模型的预测能力，尝试多种试验性网络结构，其他模型参数的选择采取保守方式，以牺牲训练速度换取模型稳定性。以2003年和2004年的平均相对误差均小于20%作为筛选标准，最终选择三层BP网络作为模型结构，隐层神经元的个数设置为3。网络结构如图8.33所示，参数见表8.15。

表8.15 BP网络模型参数一览表

图8.33 神经网络模型结构图

8.4.1.4 网络的训练与预测

采用图8.33确定的网络结构对数据进行训练，各个沉降点的训练过程和拟合效果如图8.34、图8.35所示。

从图8.35可以看出，训练后的BP网络能很好地逼近给定的目标函数。说明该模型的泛化能力较好，模拟的结果比较可靠。通过该模型模拟了6个沉降点在2003和2004年的沉降量(表8.16)，可以看出2003年和2004年模拟值和实际拟合较好，两年的平均相对误差均小于20%，说明BP神经网络可以用来预测地面沉降的趋势。

表8.16 监测点年沉降量模拟误差表

图8.34 各沉降点训练过程图

8.4.1.5 模型物理意义探讨

虽然现今的BP神经网络还是一个黑箱模型，其参数没有水文物理意义^[58]。但从结构上分析，本章认为地面沉降与ANN是同构的。对于每个控沉点来说，深层地下水系统的开采量和含水层组的水位变化，都会引起地层应力的响应，从而导致整体的地面标高发生变化，这一过程可以与BP神经网络结构进行类比。其中，深层地下水系统的3个含水层组相当于隐含层中的3个神经元，各含水层组对地面沉降的奉献值相当于隐含层中人工神经元的阈值，整体上来说，本次用来模拟地面沉降的BP神经网络结构已经灰箱化(表8.17)。

图8.35 各监测点年沉降量神经网络模型拟合图

表8.17 BP神经网络构件物理意义一览表

⑶ BP神经网络方法

人工神经网络是近几年来发展起来的新兴学科，它是一种大规模并行分布处理的非线性系统，适用解决难以用数学模型描述的系统，逼近任何非线性的特性，具有很强的自适应、自学习、联想记忆、高度容错和并行处理能力，使得神经网络理论的应用已经渗透到了各个领域。近年来，人工神经网络在水质分析和评价中的应用越来越广泛，并取得良好效果。在这些应用中，纵观应用于模式识别的神经网络，BP网络是最有效、最活跃的方法之一。

BP网络是多层前向网络的权值学习采用误差逆传播学习的一种算法（Error Back Propagation，简称BP）。在具体应用该网络时分为网络训练及网络工作两个阶段。在网络训练阶段，根据给定的训练模式，按照“模式的顺传播”→“误差逆传播”→“记忆训练”→“学习收敛”4个过程进行网络权值的训练。在网络的工作阶段，根据训练好的网络权值及给定的输入向量，按照“模式顺传播”方式求得与输入向量相对应的输出向量的解答（阎平凡，2000）。

BP算法是一种比较成熟的有指导的训练方法，是一个单向传播的多层前馈网络。它包含输入层、隐含层、输出层，如图4-4所示。

图4-4 地下水质量评价的BP神经网络模型

图4-4给出了4层地下水水质评价的BP神经网络模型。同层节点之间不连接。输入信号从输入层节点，依次传过各隐含层节点，然后传到输出层节点，如果在输出层得不到期望输出，则转入反向传播，将误差信号沿原来通路返回，通过学习来修改各层神经元的权值，使误差信号最小。每一层节点的输出只影响下一层节点的输入。每个节点都对应着一个作用函数（f）和阈值（a），BP网络的基本处理单元量为非线性输入-输出的关系，输入层节点阈值为0，且f（x）=x；而隐含层和输出层的作用函数为非线性的Sigmoid型（它是连续可微的）函数，其表达式为

f（x）=1/（1+e^-x） （4-55）

设有L个学习样本（X_k，O_k）（k=1，2，…，l），其中X_k为输入，O_k为期望输出，X_k经网络传播后得到的实际输出为Y_k，则Y_k与要求的期望输出O_k之间的均方误差为

区域地下水功能可持续性评价理论与方法研究

式中：M为输出层单元数；Y_k，p为第k样本对第p特性分量的实际输出；O_k，p为第k样本对第p特性分量的期望输出。

样本的总误差为

区域地下水功能可持续性评价理论与方法研究

由梯度下降法修改网络的权值，使得E取得最小值，学习样本对W_ij的修正为

区域地下水功能可持续性评价理论与方法研究

式中：η为学习速率，可取0到1间的数值。

所有学习样本对权值W_ij的修正为

区域地下水功能可持续性评价理论与方法研究

通常为增加学习过程的稳定性，用下式对W_ij再进行修正：

区域地下水功能可持续性评价理论与方法研究

式中：β为充量常量；W_ij（t）为BP网络第t次迭代循环训练后的连接权值；W_ij（t-1）为BP网络第t-1次迭代循环训练后的连接权值。

在BP网络学习的过程中，先调整输出层与隐含层之间的连接权值，然后调整中间隐含层间的连接权值，最后调整隐含层与输入层之间的连接权值。实现BP网络训练学习程序流程，如图4-5所示（倪深海等，2000）。

图4-5 BP神经网络模型程序框图

若将水质评价中的评价标准作为样本输入，评价级别作为网络输出，BP网络通过不断学习，归纳出评价标准与评价级别间复杂的内在对应关系，即可进行水质综合评价。

BP网络对地下水质量综合评价，其评价方法不需要过多的数理统计知识，也不需要对水质量监测数据进行复杂的预处理，操作简便易行，评价结果切合实际。由于人工神经网络方法具有高度民主的非线性函数映射功能，使得地下水水质评价结果较准确（袁曾任，1999）。

BP网络可以任意逼近任何连续函数，但是它主要存在如下缺点：①从数学上看，它可归结为一非线性的梯度优化问题，因此不可避免地存在局部极小问题；②学习算法的收敛速度慢，通常需要上千次或更多。

神经网络具有学习、联想和容错功能，是地下水水质评价工作方法的改进，如何在现行的神经网络中进一步吸取模糊和灰色理论的某些优点，建立更适合水质评价的神经网络模型，使该模型既具有方法的先进性又具有现实的可行性，将是我们今后研究和探讨的问题。

⑷ 人工神经网络概念梳理与实例演示

人工神经网络概念梳理与实例演示
神经网络是一种模仿生物神经元的机器学习模型，数据从输入层进入并流经激活阈值的多个节点。
递归性神经网络一种能够对之前输入数据进行内部存储记忆的神经网络，所以他们能够学习到数据流中的时间依赖结构。
如今机器学习已经被应用到很多的产品中去了，例如，siri、Google Now等智能助手，推荐引擎——亚马逊网站用于推荐商品的推荐引擎，Google和Facebook使用的广告排名系统。最近，深度学习的一些进步将机器学习带入公众视野：AlphaGo 打败围棋大师李世石事件以及一些图片识别和机器翻译等新产品的出现。
在这部分中，我们将介绍一些强大并被普遍使用的机器学习技术。这当然包括一些深度学习以及一些满足现代业务需求传统方法。读完这一系列的文章之后，你就掌握了必要的知识，便可以将具体的机器学习实验应用到你所在的领域当中。
随着深层神经网络的精度的提高，语音和图像识别技术的应用吸引了大众的注意力，关于AI和深度学习的研究也变得更加普遍了。但是怎么能够让它进一步扩大影响力，更受欢迎仍然是一个问题。这篇文章的主要内容是：简述前馈神经网络和递归神经网络、怎样搭建一个递归神经网络对时间系列数据进行异常检测。为了让我们的讨论更加具体化，我们将演示一下怎么用Deeplearning4j搭建神经网络。
一、什么是神经网络？
人工神经网络算法的最初构思是模仿生物神经元。但是这个类比很不可靠。人工神经网络的每一个特征都是对生物神经元的一种折射：每一个节点与激活阈值、触发的连接。
连接人工神经元系统建立起来之后，我们就能够对这些系统进行训练，从而让他们学习到数据中的一些模式，学到之后就能执行回归、分类、聚类、预测等功能。
人工神经网络可以看作是计算节点的集合。数据通过这些节点进入神经网络的输入层，再通过神经网络的隐藏层直到关于数据的一个结论或者结果出现，这个过程才会停止。神经网络产出的结果会跟预期的结果进行比较，神经网络得出的结果与正确结果的不同点会被用来更正神经网络节点的激活阈值。随着这个过程的不断重复，神经网络的输出结果就会无限靠近预期结果。
二、训练过程
在搭建一个神经网络系统之前，你必须先了解训练的过程以及网络输出结果是怎么产生的。然而我们并不想过度深入的了解这些方程式，下面是一个简短的介绍。
网络的输入节点收到一个数值数组（或许是叫做张量多维度数组）就代表输入数据。例如, 图像中的每个像素可以表示为一个标量，然后将像素传递给一个节点。输入数据将会与神经网络的参数相乘，这个输入数据被扩大还是减小取决于它的重要性，换句话说，取决于这个像素就不会影响神经网络关于整个输入数据的结论。
起初这些参数都是随机的，也就是说神经网络在建立初期根本就不了解数据的结构。每个节点的激活函数决定了每个输入节点的输出结果。所以每个节点是否能够被激活取决于它是否接受到足够的刺激强度，即是否输入数据和参数的结果超出了激活阈值的界限。
在所谓的密集或完全连接层中，每个节点的输出值都会传递给后续层的节点，在通过所有隐藏层后最终到达输出层，也就是产生输入结果的地方。在输出层, 神经网络得到的最终结论将会跟预期结论进行比较(例如，图片中的这些像素代表一只猫还是狗?)。神经网络猜测的结果与正确结果的计算误差都会被纳入到一个测试集中，神经网络又会利用这些计算误差来不断更新参数，以此来改变图片中不同像素的重要程度。整个过程的目的就是降低输出结果与预期结果的误差，正确地标注出这个图像到底是不是一条狗。
深度学习是一个复杂的过程，由于大量的矩阵系数需要被修改所以它就涉及到矩阵代数、衍生品、概率和密集的硬件使用问题，但是用户不需要全部了解这些复杂性。
但是，你也应该知道一些基本参数，这将帮助你理解神经网络函数。这其中包括激活函数、优化算法和目标函数(也称为损失、成本或误差函数)。
激活函数决定了信号是否以及在多大程度上应该被发送到连接节点。阶梯函数是最常用的激活函数, 如果其输入小于某个阈值就是0，如果其输入大于阈值就是1。节点都会通过阶梯激活函数向连接节点发送一个0或1。优化算法决定了神经网络怎么样学习，以及测试完误差后，权重怎么样被更准确地调整。最常见的优化算法是随机梯度下降法。最后, 成本函数常用来衡量误差，通过对比一个给定训练样本中得出的结果与预期结果的不同来评定神经网络的执行效果。
Keras、Deeplearning4j 等开源框架让创建神经网络变得简单。创建神经网络结构时，需要考虑的是怎样将你的数据类型匹配到一个已知的被解决的问题，并且根据你的实际需求来修改现有结构。
三、神经网络的类型以及应用
神经网络已经被了解和应用了数十年了，但是最近的一些技术趋势才使得深度神经网络变得更加高效。
GPUs使得矩阵操作速度更快；分布式计算结构让计算能力大大增强；多个超参数的组合也让迭代的速度提升。所有这些都让训练的速度大大加快，迅速找到适合的结构。
随着更大数据集的产生，类似于ImageNet 的大型高质量的标签数据集应运而生。机器学习算法训练的数据越大，那么它的准确性就会越高。
最后，随着我们理解能力以及神经网络算法的不断提升，神经网络的准确性在语音识别、机器翻译以及一些机器感知和面向目标的一些任务等方面不断刷新记录。
尽管神经网络架构非常的大，但是主要用到的神经网络种类也就是下面的几种。
3.1前馈神经网络
前馈神经网络包括一个输入层、一个输出层以及一个或多个的隐藏层。前馈神经网络可以做出很好的通用逼近器，并且能够被用来创建通用模型。
这种类型的神经网络可用于分类和回归。例如，当使用前馈网络进行分类时，输出层神经元的个数等于类的数量。从概念上讲, 激活了的输出神经元决定了神经网络所预测的类。更准确地说, 每个输出神经元返回一个记录与分类相匹配的概率数，其中概率最高的分类将被选为模型的输出分类。
前馈神经网络的优势是简单易用，与其他类型的神经网络相比更简单，并且有一大堆的应用实例。
3.2卷积神经网络
卷积神经网络和前馈神经网络是非常相似的，至少是数据的传输方式类似。他们结构大致上是模仿了视觉皮层。卷积神经网络通过许多的过滤器。这些过滤器主要集中在一个图像子集、补丁、图块的特征识别上。每一个过滤器都在寻找不同模式的视觉数据，例如，有的可能是找水平线，有的是找对角线，有的是找垂直的。这些线条都被看作是特征，当过滤器经过图像时，他们就会构造出特征图谱来定位各类线是出现在图像的哪些地方。图像中的不同物体，像猫、747s、榨汁机等都会有不同的图像特征，这些图像特征就能使图像完成分类。卷积神经网络在图像识别和语音识别方面是非常的有效的。
卷积神经网络与前馈神经网络在图像识别方面的异同比较。虽然这两种网络类型都能够进行图像识别，但是方式却不同。卷积神经网络是通过识别图像的重叠部分，然后学习识别不同部分的特征进行训练；然而，前馈神经网络是在整张图片上进行训练。前馈神经网络总是在图片的某一特殊部分或者方向进行训练，所以当图片的特征出现在其他地方时就不会被识别到，然而卷积神经网络却能够很好的避免这一点。
卷积神经网络主要是用于图像、视频、语音、声音识别以及无人驾驶的任务。尽管这篇文章主要是讨论递归神经网络的，但是卷积神经网络在图像识别方面也是非常有效的，所以很有必要了解。
3.3递归神经网络
与前馈神经网络不同的是，递归神经网络的隐藏层的节点里有内部记忆存储功能，随着输入数据的改变而内部记忆内容不断被更新。递归神经网络的结论都是基于当前的输入和之前存储的数据而得出的。递归神经网络能够充分利用这种内部记忆存储状态处理任意序列的数据，例如时间序列。
递归神经网络经常用于手写识别、语音识别、日志分析、欺诈检测和网络安全。
递归神经网络是处理时间维度数据集的最好方法，它可以处理以下数据：网络日志和服务器活动、硬件或者是医疗设备的传感器数据、金融交易、电话记录。想要追踪数据在不同阶段的依赖和关联关系需要你了解当前和之前的一些数据状态。尽管我们通过前馈神经网络也可以获取事件，随着时间的推移移动到另外一个事件，这将使我们限制在对事件的依赖中，所以这种方式很不灵活。
追踪在时间维度上有长期依赖的数据的更好方法是用内存来储存重要事件，以使近期事件能够被理解和分类。递归神经网络最好的一点就是在它的隐藏层里面有“内存”可以学习到时间依赖特征的重要性。
接下来我们将讨论递归神经网络在字符生成器和网络异常检测中的应用。递归神经网络可以检测出不同时间段的依赖特征的能力使得它可以进行时间序列数据的异常检测。
递归神经网络的应用
网络上有很多使用RNNs生成文本的例子，递归神经网络经过语料库的训练之后，只要输入一个字符，就可以预测下一个字符。下面让我们通过一些实用例子发现更多RNNs的特征。
应用一、RNNs用于字符生成
递归神经网络经过训练之后可以把英文字符当做成一系列的时间依赖事件。经过训练后它会学习到一个字符经常跟着另外一个字符（“e”经常跟在“h”后面，像在“the、he、she”中）。由于它能预测下一个字符是什么，所以它能有效地减少文本的输入错误。
Java是个很有趣的例子，因为它的结构包括很多嵌套结构，有一个开的圆括号必然后面就会有一个闭的，花括号也是同理。他们之间的依赖关系并不会在位置上表现的很明显，因为多个事件之间的关系不是靠所在位置的距离确定的。但是就算是不明确告诉递归神经网络Java中各个事件的依赖关系，它也能自己学习了解到。
在异常检测当中，我们要求神经网络能够检测出数据中相似、隐藏的或许是并不明显的模式。就像是一个字符生成器在充分地了解数据的结构后就会生成一个数据的拟像，递归神经网络的异常检测就是在其充分了解数据结构后来判断输入的数据是不是正常。
字符生成的例子表明递归神经网络有在不同时间范围内学习到时间依赖关系的能力，它的这种能力还可以用来检测网络活动日志的异常。
异常检测能够使文本中的语法错误浮出水面，这是因为我们所写的东西是由语法结构所决定的。同理，网络行为也是有结构的，它也有一个能够被学习的可预测模式。经过在正常网络活动中训练的递归神经网络可以监测到入侵行为，因为这些入侵行为的出现就像是一个句子没有标点符号一样异常。
应用二、一个网络异常检测项目的示例
假设我们想要了解的网络异常检测就是能够得到硬件故障、应用程序失败、以及入侵的一些信息。
模型将会向我们展示什么呢？
随着大量的网络活动日志被输入到递归神经网络中去，神经网络就能学习到正常的网络活动应该是什么样子的。当这个被训练的网络被输入新的数据时，它就能偶判断出哪些是正常的活动，哪些是被期待的，哪些是异常的。
训练一个神经网络来识别预期行为是有好处的，因为异常数据不多，或者是不能够准确的将异常行为进行分类。我们在正常的数据里进行训练，它就能够在未来的某个时间点提醒我们非正常活动的出现。
说句题外话，训练的神经网络并不一定非得识别到特定事情发生的特定时间点（例如，它不知道那个特殊的日子就是周日），但是它一定会发现一些值得我们注意的一些更明显的时间模式和一些可能并不明显的事件之间的联系。
我们将概述一下怎么用 Deeplearning4j（一个在JVM上被广泛应用的深度学习开源数据库）来解决这个问题。Deeplearning4j在模型开发过程中提供了很多有用的工具：DataVec是一款为ETL（提取-转化-加载）任务准备模型训练数据的集成工具。正如Sqoop为Hadoop加载数据，DataVec将数据进行清洗、预处理、规范化与标准化之后将数据加载到神经网络。这跟Trifacta’s Wrangler也相似，只不过它更关注二进制数据。
开始阶段
第一阶段包括典型的大数据任务和ETL：我们需要收集、移动、储存、准备、规范化、矢量话日志。时间跨度的长短是必须被规定好的。数据的转化需要花费一些功夫，这是由于JSON日志、文本日志、还有一些非连续标注模式都必须被识别并且转化为数值数组。DataVec能够帮助进行转化和规范化数据。在开发机器学习训练模型时，数据需要分为训练集和测试集。
训练神经网络
神经网络的初始训练需要在训练数据集中进行。
在第一次训练的时候，你需要调整一些超参数以使模型能够实现在数据中学习。这个过程需要控制在合理的时间内。关于超参数我们将在之后进行讨论。在模型训练的过程中，你应该以降低错误为目标。
但是这可能会出现神经网络模型过度拟合的风险。有过度拟合现象出现的模型往往会在训练集中的很高的分数，但是在遇到新的数据时就会得出错误结论。用机器学习的语言来说就是它不够通用化。Deeplearning4J提供正则化的工具和“过早停止”来避免训练过程中的过度拟合。
神经网络的训练是最花费时间和耗费硬件的一步。在GPUs上训练能够有效的减少训练时间，尤其是做图像识别的时候。但是额外的硬件设施就带来多余的花销，所以你的深度学习的框架必须能够有效的利用硬件设施。Azure和亚马逊等云服务提供了基于GPU的实例，神经网络还可以在异构集群上进行训练。
创建模型
Deeplearning4J提供ModelSerializer来保存训练模型。训练模型可以被保存或者是在之后的训练中被使用或更新。
在执行异常检测的过程中，日志文件的格式需要与训练模型一致，基于神经网络的输出结果，你将会得到是否当前的活动符合正常网络行为预期的结论。
代码示例
递归神经网络的结构应该是这样子的：
MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder(
.seed(123)
.optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT).iterations(1)
.weightInit(WeightInit.XAVIER)
.updater(Updater.NESTEROVS).momentum(0.9)
.learningRate(0.005)
.gradientNormalization(GradientNormalization.ClipElementWiseAbsoluteValue)
.(0.5)
.list()
.layer(0, new GravesLSTM.Builder().activation("tanh").nIn(1).nOut(10).build())
.layer(1, new RnnOutputLayer.Builder(LossFunctions.LossFunction.MCXENT)
.activation("softmax").nIn(10).nOut(numLabelClasses).build())
.pretrain(false).backprop(true).build();
MultiLayerNetwork net = new MultiLayerNetwork(conf);
net.init();
下面解释一下几行重要的代码：
.seed(123)
随机设置一个种子值对神经网络的权值进行初始化，以此获得一个有复验性的结果。系数通常都是被随机的初始化的，以使我们在调整其他超参数时仍获得一致的结果。我们需要设定一个种子值，让我们在调整和测试的时候能够用这个随机的权值。
.optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT).iterations(1)
决定使用哪个最优算法（在这个例子中是随机梯度下降法）来调整权值以提高误差分数。你可能不需要对这个进行修改。
.learningRate(0.005)
当我们使用随机梯度下降法的时候，误差梯度就被计算出来了。在我们试图将误差值减到最小的过程中，权值也随之变化。SGD给我们一个让误差更小的方向，这个学习效率就决定了我们该在这个方向上迈多大的梯度。如果学习效率太高，你可能是超过了误差最小值；如果太低，你的训练可能将会永远进行。这是一个你需要调整的超参数。

⑸ 神经网络模型-27种神经网络模型们的简介

​ 

【1】Perceptron(P) 感知机

【1】感知机 

感知机是我们知道的最简单和最古老的神经元模型，它接收一些输入，然后把它们加总，通过激活函数并传递到输出层。

【2】Feed Forward(FF)前馈神经网络

 【2】前馈神经网络

前馈神经网络（FF），这也是一个很古老的方法——这种方法起源于50年代。它的工作原理通常遵循以下规则：

1.所有节点都完全连接

2.激活从输入层流向输出，无回环

3.输入和输出之间有一层（隐含层）

在大多数情况下，这种类型的网络使用反向传播方法进行训练。

【3】Radial Basis Network(RBF) RBF神经网络

 【3】RBF神经网络

RBF 神经网络实际上是 激活函数是径向基函数 而非逻辑函数的FF前馈神经网络（FF）。两者之间有什么区别呢？

逻辑函数--- 将某个任意值映射到[0 ,... 1]范围内来，回答“是或否”问题。适用于分类决策系统，但不适用于连续变量。

相反， 径向基函数--- 能显示“我们距离目标有多远”。 这完美适用于函数逼近和机器控制（例如作为PID控制器的替代）。

简而言之，RBF神经网络其实就是， 具有不同激活函数和应用方向的前馈网络 。

【4】Deep Feed Forword(DFF)深度前馈神经网络

【4】DFF深度前馈神经网络 

DFF深度前馈神经网络在90年代初期开启了深度学习的潘多拉盒子。 这些依然是前馈神经网络，但有不止一个隐含层 。那么，它到底有什么特殊性？

在训练传统的前馈神经网络时，我们只向上一层传递了少量的误差信息。由于堆叠更多的层次导致训练时间的指数增长，使得深度前馈神经网络非常不实用。 直到00年代初，我们开发了一系列有效的训练深度前馈神经网络的方法; 现在它们构成了现代机器学习系统的核心 ，能实现前馈神经网络的功能，但效果远高于此。

【5】Recurrent Neural Network(RNN) 递归神经网络

【5】RNN递归神经网络 

RNN递归神经网络引入不同类型的神经元——递归神经元。这种类型的第一个网络被称为约旦网络（Jordan Network），在网络中每个隐含神经元会收到它自己的在固定延迟（一次或多次迭代）后的输出。除此之外，它与普通的模糊神经网络非常相似。

当然，它有许多变化 — 如传递状态到输入节点，可变延迟等，但主要思想保持不变。这种类型的神经网络主要被使用在上下文很重要的时候——即过去的迭代结果和样本产生的决策会对当前产生影响。最常见的上下文的例子是文本——一个单词只能在前面的单词或句子的上下文中进行分析。

【6】Long/Short Term Memory (LSTM) 长短时记忆网络

【6】LSTM长短时记忆网络 

LSTM长短时记忆网络引入了一个存储单元，一个特殊的单元，当数据有时间间隔（或滞后）时可以处理数据。递归神经网络可以通过“记住”前十个词来处理文本，LSTM长短时记忆网络可以通过“记住”许多帧之前发生的事情处理视频帧。 LSTM网络也广泛用于写作和语音识别。

存储单元实际上由一些元素组成，称为门，它们是递归性的，并控制信息如何被记住和遗忘。

【7】Gated Recurrent Unit (GRU)

 【7】GRU是具有不同门的LSTM

GRU是具有不同门的LSTM。

听起来很简单，但缺少输出门可以更容易基于具体输入重复多次相同的输出，目前此模型在声音（音乐）和语音合成中使用得最多。

实际上的组合虽然有点不同：但是所有的LSTM门都被组合成所谓的更新门(Update Gate)，并且复位门(Reset Gate)与输入密切相关。

它们比LSTM消耗资源少，但几乎有相同的效果。

【8】Auto Encoder (AE) 自动编码器

 【8】AE自动编码器

Autoencoders自动编码器用于分类，聚类和特征压缩。

当您训练前馈(FF)神经网络进行分类时，您主要必须在Y类别中提供X个示例，并且期望Y个输出单元格中的一个被激活。 这被称为“监督学习”。

另一方面，自动编码器可以在没有监督的情况下进行训练。它们的结构 - 当隐藏单元数量小于输入单元数量（并且输出单元数量等于输入单元数）时，并且当自动编码器被训练时输出尽可能接近输入的方式，强制自动编码器泛化数据并搜索常见模式。

【9】Variational AE (VAE)  变分自编码器

 【9】VAE变分自编码器

变分自编码器，与一般自编码器相比，它压缩的是概率，而不是特征。

尽管如此简单的改变，但是一般自编码器只能回答当“我们如何归纳数据？”的问题时，变分自编码器回答了“两件事情之间的联系有多强大？我们应该在两件事情之间分配误差还是它们完全独立的？”的问题。

【10】Denoising AE (DAE) 降噪自动编码器

 【10】DAE降噪自动编码器

虽然自动编码器很酷，但它们有时找不到最鲁棒的特征，而只是适应输入数据（实际上是过拟合的一个例子）。

降噪自动编码器（DAE）在输入单元上增加了一些噪声 - 通过随机位来改变数据，随机切换输入中的位，等等。通过这样做，一个强制降噪自动编码器从一个有点嘈杂的输入重构输出，使其更加通用，强制选择更常见的特征。

【11】Sparse AE (SAE) 稀疏自编码器

【11】SAE稀疏自编码器 

稀疏自编码器（SAE）是另外一个有时候可以抽离出数据中一些隐藏分组样试的自动编码的形式。结构和AE是一样的，但隐藏单元的数量大于输入或输出单元的数量。

【12】Markov Chain (MC) 马尔科夫链

 【12】Markov Chain (MC) 马尔科夫链

马尔可夫链（Markov Chain, MC）是一个比较老的图表概念了，它的每一个端点都存在一种可能性。过去，我们用它来搭建像“在单词hello之后有0.0053％的概率会出现dear，有0.03551%的概率出现you”这样的文本结构。

这些马尔科夫链并不是典型的神经网络，它可以被用作基于概率的分类（像贝叶斯过滤），用于聚类（对某些类别而言），也被用作有限状态机。

【13】Hopfield Network (HN) 霍普菲尔网络

【13】HN霍普菲尔网络 

霍普菲尔网络（HN）对一套有限的样本进行训练，所以它们用相同的样本对已知样本作出反应。

在训练前，每一个样本都作为输入样本，在训练之中作为隐藏样本，使用过之后被用作输出样本。

在HN试着重构受训样本的时候，他们可以用于给输入值降噪和修复输入。如果给出一半图片或数列用来学习，它们可以反馈全部样本。

【14】Boltzmann Machine (BM) 波尔滋曼机

【14】 BM 波尔滋曼机 

波尔滋曼机（BM）和HN非常相像，有些单元被标记为输入同时也是隐藏单元。在隐藏单元更新其状态时，输入单元就变成了输出单元。（在训练时，BM和HN一个一个的更新单元，而非并行）。

这是第一个成功保留模拟退火方法的网络拓扑。

多层叠的波尔滋曼机可以用于所谓的深度信念网络，深度信念网络可以用作特征检测和抽取。

【15】Restricted BM (RBM) 限制型波尔滋曼机

【15】 RBM 限制型波尔滋曼机 

在结构上，限制型波尔滋曼机（RBM）和BM很相似，但由于受限RBM被允许像FF一样用反向传播来训练（唯一的不同的是在反向传播经过数据之前RBM会经过一次输入层）。

【16】Deep Belief Network (DBN) 深度信念网络

【16】DBN 深度信念网络 

像之前提到的那样，深度信念网络（DBN）实际上是许多波尔滋曼机（被VAE包围）。他们能被连在一起（在一个神经网络训练另一个的时候），并且可以用已经学习过的样式来生成数据。

【17】Deep Convolutional Network (DCN) 深度卷积网络

【17】 DCN 深度卷积网络

当今，深度卷积网络（DCN）是人工神经网络之星。它具有卷积单元（或者池化层）和内核，每一种都用以不同目的。

卷积核事实上用来处理输入的数据，池化层是用来简化它们（大多数情况是用非线性方程，比如max），来减少不必要的特征。

他们通常被用来做图像识别，它们在图片的一小部分上运行（大约20x20像素）。输入窗口一个像素一个像素的沿着图像滑动。然后数据流向卷积层，卷积层形成一个漏斗（压缩被识别的特征）。从图像识别来讲，第一层识别梯度，第二层识别线，第三层识别形状，以此类推，直到特定的物体那一级。DFF通常被接在卷积层的末端方便未来的数据处理。

【18】Deconvolutional Network (DN) 去卷积网络

 【18】 DN 去卷积网络

去卷积网络（DN）是将DCN颠倒过来。DN能在获取猫的图片之后生成像（狗：0，蜥蜴：0，马：0，猫：1）一样的向量。DNC能在得到这个向量之后，能画出一只猫。

【19】Deep Convolutional Inverse Graphics Network (DCIGN) 深度卷积反转图像网络

【19】 DCIGN 深度卷积反转图像网络

深度卷积反转图像网络（DCIGN），长得像DCN和DN粘在一起，但也不完全是这样。

事实上，它是一个自动编码器，DCN和DN并不是作为两个分开的网络，而是承载网路输入和输出的间隔区。大多数这种神经网络可以被用作图像处理，并且可以处理他们以前没有被训练过的图像。由于其抽象化的水平很高，这些网络可以用于将某个事物从一张图片中移除，重画，或者像大名鼎鼎的CycleGAN一样将一匹马换成一个斑马。

【20】Generative Adversarial Network (GAN) 生成对抗网络

 【20】 GAN 生成对抗网络

生成对抗网络（GAN）代表了有生成器和分辨器组成的双网络大家族。它们一直在相互伤害——生成器试着生成一些数据，而分辨器接收样本数据后试着分辨出哪些是样本，哪些是生成的。只要你能够保持两种神经网络训练之间的平衡，在不断的进化中，这种神经网络可以生成实际图像。

【21】Liquid State Machine (LSM) 液体状态机

 【21】 LSM 液体状态机

液体状态机（LSM）是一种稀疏的，激活函数被阈值代替了的（并不是全部相连的）神经网络。只有达到阈值的时候，单元格从连续的样本和释放出来的输出中积累价值信息，并再次将内部的副本设为零。

这种想法来自于人脑，这些神经网络被广泛的应用于计算机视觉，语音识别系统，但目前还没有重大突破。

【22】Extreme  Learning Machine (ELM) 极端学习机

【22】ELM 极端学习机 

极端学习机（ELM）是通过产生稀疏的随机连接的隐藏层来减少FF网络背后的复杂性。它们需要用到更少计算机的能量，实际的效率很大程度上取决于任务和数据。

【23】Echo State Network (ESN) 回声状态网络

【23】 ESN 回声状态网络

回声状态网络（ESN）是重复网络的细分种类。数据会经过输入端，如果被监测到进行了多次迭代（请允许重复网路的特征乱入一下），只有在隐藏层之间的权重会在此之后更新。

据我所知，除了多个理论基准之外，我不知道这种类型的有什么实际应用。。。。。。。

【24】Deep Resial Network (DRN) 深度残差网络

​【24】 DRN 深度残差网络 

深度残差网络（DRN）是有些输入值的部分会传递到下一层。这一特点可以让它可以做到很深的层级（达到300层），但事实上它们是一种没有明确延时的RNN。

【25】Kohonen Network (KN) Kohonen神经网络

​ 【25】 Kohonen神经网络

Kohonen神经网络（KN）引入了“单元格距离”的特征。大多数情况下用于分类，这种网络试着调整它们的单元格使其对某种特定的输入作出最可能的反应。当一些单元格更新了， 离他们最近的单元格也会更新。

像SVM一样，这些网络总被认为不是“真正”的神经网络。

【26】Support Vector Machine (SVM)

​【26】 SVM 支持向量机 

支持向量机（SVM）用于二元分类工作，无论这个网络处理多少维度或输入，结果都会是“是”或“否”。

SVM不是所有情况下都被叫做神经网络。

【27】Neural Turing Machine (NTM) 神经图灵机

​【27】NTM 神经图灵机 

神经网络像是黑箱——我们可以训练它们，得到结果，增强它们，但实际的决定路径大多数我们都是不可见的。

神经图灵机（NTM）就是在尝试解决这个问题——它是一个提取出记忆单元之后的FF。一些作者也说它是一个抽象版的LSTM。

记忆是被内容编址的，这个网络可以基于现状读取记忆，编写记忆，也代表了图灵完备神经网络。