㈠ 神经网络Hopfield模型
一、Hopfield模型概述
1982年，美国加州工学院J.Hopfield发表一篇对人工神经网络研究颇有影响的论文。他提出了一种具有相互连接的反馈型人工神经网络模型——Hopfield人工神经网络。
Hopfield人工神经网络是一种反馈网络(Recurrent Network)，又称自联想记忆网络。其目的是为了设计一个网络，存储一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到所存储的某个平衡点上。
Hopfield网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型Hopfield网络(Discrete Hopfield Neural Network，简称 DHNN)和连续型 Hopfield 网络(Continue Hopfield Neural Network，简称CHNN)。离散型Hopfield网络的激活函数为二值型阶跃函数，主要用于联想记忆、模式分类、模式识别。这个软件为离散型Hopfield网络的设计、应用。
二、Hopfield模型原理
离散型Hopfield网络的设计目的是使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本上。
正交化的权值设计
这一方法的基本思想和出发点是为了满足下面4个要求：
1)保证系统在异步工作时的稳定性，即它的权值是对称的，满足
wij=wji，i，j=1，2…，N；
2)保证所有要求记忆的稳定平衡点都能收敛到自己；
3)使伪稳定点的数目尽可能地少；
4)使稳定点的吸引力尽可能地大。
正交化权值的计算公式推导如下：
1)已知有P个需要存储的稳定平衡点x1，x2…，xP-1，xP，xp∈RN，计算N×(P-1)阶矩阵A∈RN×(P-1)：
A=(x1-xPx2-xP…xP-1-xP)T。
2)对A做奇异值分解
A=USVT，
U=(u1u2…uN)，
V=(υ1υ2…υP-1)，
中国矿产资源评价新技术与评价新模型
Σ=diαg(λ1，λ2，…，λK)，O为零矩阵。
K维空间为N维空间的子空间，它由K个独立的基组成：
K=rαnk(A)，
设{u1u2…uK}为A的正交基，而{uK+1uK+2…uN}为N维空间的补充正交基。下面利用U矩阵来设计权值。
3)构造
中国矿产资源评价新技术与评价新模型
总的连接权矩阵为：
Wt=Wp-T·Wm，
其中，T为大于-1的参数，缺省值为10。
Wp和Wm均满足对称条件，即
(wp)ij=(wp)ji，
(wm)ij=(wm)ji，
因而Wt中分量也满足对称条件。这就保证了系统在异步时能够收敛并且不会出现极限环。
4)网络的偏差构造为
bt=xP-Wt·xP。
下面推导记忆样本能够收敛到自己的有效性。
(1)对于输入样本中的任意目标矢量xp，p=1，2，…，P，因为(xp-xP)是A中的一个矢量，它属于A的秩所定义的K个基空间的矢量，所以必存在系数α1，α2，…，αK，使
xp-xP=α1u1+α2u2+…+αKuK，
即
xp=α1u1+α2u2+…+αKuK+xP，
对于U中任意一个ui，有
中国矿产资源评价新技术与评价新模型
由正交性质可知，上式中
当i=j，
当i≠j，
对于输入模式xi，其网络输出为
yi=sgn(Wtxi+bt)
=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)
=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]
=sgn[(Wp-T·Wm)(xi-xP)+xP]
=sgn[Wt(xi-xP)+xP]
=sgn[(xi-xP)+xP]
=xi。
(2)对于输入模式xP，其网络输出为
yP=sgn(WtxP+bt)
=sgn(WtxP+xP-WtxP)
=sgn(xP)
=xP。
(3)如果输入一个不是记忆样本的x，网络输出为
y=sgn(Wtx+bt)
=sgn[(Wp-T·Wm)(x-xP)+xP]
=sgn[Wt(x-xP)+xP]。
因为x不是已学习过的记忆样本，x-xP不是A中的矢量，则必然有
Wt(x-xP)≠x-xP，
并且再设计过程中可以通过调节Wt=Wp-T·Wm中的参数T的大小来控制(x-xP)与xP的符号，以保证输入矢量x与记忆样本之间存在足够的大小余额，从而使sgn(Wtx+bt)≠x，使x不能收敛到自身。
用输入模式给出一组目标平衡点，函数HopfieldDesign( )可以设计出 Hopfield 网络的权值和偏差，保证网络对给定的目标矢量能收敛到稳定的平衡点。
设计好网络后，可以应用函数HopfieldSimu( )，对输入矢量进行分类，这些输入矢量将趋近目标平衡点，最终找到他们的目标矢量，作为对输入矢量进行分类。
三、总体算法
1.Hopfield网络权值W[N][N]、偏差b[N]设计总体算法
应用正交化权值设计方法，设计Hopfield网络；
根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]；
使Hopfield网络的稳定输出矢量与给定的目标矢量一致。
1)输入P个输入模式X=(x[1]，x[2]，…，x[P-1]，x[P])
输入参数，包括T、h；
2)由X[N][P]构造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；
3)对A[N][P-1]作奇异值分解A=USVT；
4)求A[N][P-1]的秩rank；
5)由U=(u[1]，u[2]，…，u[K])构造Wp[N][N]；
6)由U=(u[K+1]，…，u[N])构造Wm[N][N]；
7)构造Wt[N][N]=Wp[N][N]-T*Wm[N][N]；
8)构造bt[N]=X[N][P]-Wt[N][N]*X[N][P]；
9)构造W[N][N](9～13)，
构造W1[N][N]=h*Wt[N][N]；
10)求W1[N][N]的特征值矩阵Val[N][N](对角线元素为特征值，其余为0)，特征向量矩阵Vec[N][N]；
11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；
12)求Vec[N][N]的逆Invec[N][N]；
13)构造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；
14)构造b[N]，(14～15)，
C1=exp(h)-1，
C2=-(exp(-T*h)-1)/T；
15)构造
中国矿产资源评价新技术与评价新模型
Uˊ——U的转置；
16)输出W[N][N]，b[N]；
17)结束。
2.Hopfield网络预测应用总体算法
Hopfield网络由一层N个斜坡函数神经元组成。
应用正交化权值设计方法，设计Hopfield网络。
根据给定的目标矢量设计产生权值W[N][N]，偏差b[N]。
初始输出为X[N][P]，
计算X[N][P]=f(W[N][N]*X[N][P]+b[N])，
进行T次迭代，
返回最终输出X[N][P]，可以看作初始输出的分类。
3.斜坡函数
中国矿产资源评价新技术与评价新模型
输出范围[-1，1]。
四、数据流图
Hopfield网数据流图见附图3。
五、调用函数说明
1.一般实矩阵奇异值分解
(1)功能
用豪斯荷尔德(Householder)变换及变形QR算法对一般实矩阵进行奇异值分解。
(2)方法说明
设A为m×n的实矩阵，则存在一个m×m的列正交矩阵U和n×n的列正交矩阵V，使
中国矿产资源评价新技术与评价新模型
成立。其中
Σ=diag(σ0，σ1，…σp)p⩽min(m，n)-1，
且σ0≥σ1≥…≥σp＞0，
上式称为实矩阵A的奇异值分解式，σi(i=0，1，…，p)称为A的奇异值。
奇异值分解分两大步：
第一步：用豪斯荷尔德变换将A约化为双对角线矩阵。即
中国矿产资源评价新技术与评价新模型
其中
中国矿产资源评价新技术与评价新模型
j具有如下形式：
中国矿产资源评价新技术与评价新模型
其中ρ为一个比例因子，以避免计算过程中的溢出现象与误差的累积，Vj是一个列向量。即
Vj=(υ0，υ1，…，υn-1)，
则
中国矿产资源评价新技术与评价新模型
其中
中国矿产资源评价新技术与评价新模型
第二步：用变形的QR算法进行迭代，计算所有的奇异值。即：用一系列的平面旋转变换对双对角线矩阵B逐步变换成对角矩阵。
在每一次的迭代中，用变换
中国矿产资源评价新技术与评价新模型
其中变换
在每次迭代时，经过初始化变换V01后，将在第0列的主对角线下方出现一个非0元素。在变换V01中，选择位移植u的计算公式如下：
中国矿产资源评价新技术与评价新模型
最后还需要对奇异值按非递增次序进行排列。
在上述变换过程中，若对于某个次对角线元素ej满足
｜ej｜⩽ε(｜sj+1｜+｜sj｜)
则可以认为ej为0。
若对角线元素sj满足
｜sj｜⩽ε(｜ej-1｜+｜ej｜)
则可以认为sj为0(即为0奇异值)。其中ε为给定的精度要求。
(3)调用说明
int bmuav(double*a，int m，int n，double*u，double*v，double eps，int ka)，
本函数返回一个整型标志值，若返回的标志值小于0，则表示出现了迭代60次还未求得某个奇异值的情况。此时，矩阵的分解式为UAVT；若返回的标志值大于0，则表示正常返回。
形参说明：
a——指向双精度实型数组的指针，体积为m×n。存放m×n的实矩阵A；返回时，其对角线给出奇异值(以非递增次序排列)，其余元素为0；
m——整型变量，实矩阵A的行数；
n——整型变量，实矩阵A的列数；
u——指向双精度实型数组的指针，体积为m×m。返回时存放左奇异向量U；
υ——指向双精度实型数组的指针，体积为n×n。返回时存放右奇异向量VT；
esp——双精度实型变量，给定的精度要求；
ka——整型变量，其值为max(m，n)+1。
2.求实对称矩阵特征值和特征向量的雅可比过关法
(1)功能
用雅可比(Jacobi)方法求实对称矩阵的全部特征值与相应的特征向量。
(2)方法说明
雅可比方法的基本思想如下。
设n阶矩阵A为对称矩阵。在n阶对称矩阵A的非对角线元素中选取一个绝对值最大的元素，设为apq。利用平面旋转变换矩阵R0(p，q，θ)对A进行正交相似变换：
A1=R0(p，q，θ)TA，
其中R0(p，q，θ)的元素为
rpp=cosθ，rqq=cosθ，rpq=sinθ，
rqp=sinθ，rij=0，i，j≠p，q。
如果按下式确定角度θ，
中国矿产资源评价新技术与评价新模型
则对称矩阵A经上述变换后，其非对角线元素的平方和将减少
综上所述，用雅可比方法求n阶对称矩阵A的特征值及相应特征向量的步骤如下：
1)令S=In(In为单位矩阵)；
2)在A中选取非对角线元素中绝对值最大者，设为apq；
3)若｜apq｜＜ε，则迭代过程结束。此时对角线元素aii(i=0，1，…，n-1)即为特征值λi，矩阵S的第i列为与λi相应的特征向量。否则，继续下一步；
4)计算平面旋转矩阵的元素及其变换后的矩阵A1的元素。其计算公式如下
中国矿产资源评价新技术与评价新模型
5)S=S·R(p，q，θ)，转(2)。
在选取非对角线上的绝对值最大的元素时用如下方法：
首先计算实对称矩阵A的非对角线元素的平方和的平方根
中国矿产资源评价新技术与评价新模型
然后设置关口υ1=υ0/n，在非对角线元素中按行扫描选取第一个绝对值大于或等于υ1的元素αpq进行平面旋转变换，直到所有非对角线元素的绝对值均小于υ1为止。再设关口υ2=υ1/n，重复这个过程。以此类推，这个过程一直作用到对于某个υk＜ε为止。
(3)调用说明
void cjcbj(double*a，int n，double*v，double eps)。
形参说明：
a——指向双精度实型数组的指针，体积为n×n，存放n阶实对称矩阵A；返回时，其对角线存放n个特征值；
n——整型变量，实矩阵A的阶数；
υ——指向双精度实型数组的指针，体积为n×n，返回特征向量，其中第i列为与λi(即返回的αii，i=0，1，……，n-1)对应的特征向量；
esp——双精度实型变量。给定的精度要求。
3.矩阵求逆
(1)功能
用全选主元高斯-约当(Gauss-Jordan)消去法求n阶实矩阵A的逆矩阵。
(2)方法说明
高斯-约当法(全选主元)求逆的步骤如下：
首先，对于k从0到n-1做如下几步：
1)从第k行、第k列开始的右下角子阵中选取绝对值最大的元素，并记住此元素所在的行号和列号，再通过行交换和列交换将它交换到主元素位置上，这一步称为全选主元；
2)
3)
4)αij-
5)-
最后，根据在全选主元过程中所记录的行、列交换的信息进行恢复，恢复原则如下：在全选主元过程中，先交换的行、列后进行恢复；原来的行(列)交换用列(行)交换来恢复。
图8-4 东昆仑—柴北缘地区基于HOPFIELD模型的铜矿分类结果图
(3)调用说明
int brinv(double*a，int n)。
本函数返回一个整型标志位。若返回的标志位为0，则表示矩阵A奇异，还输出信息“err**not inv”；若返回的标志位不为0，则表示正常返回。
形参说明：
a——指向双精度实型数组的指针，体积为n×n。存放原矩阵A；返回时，存放其逆矩阵A-1；
n——整型变量，矩阵的阶数。
六、实例
实例：柴北缘—东昆仑地区铜矿分类预测。
选取8种因素，分别是重砂异常存在标志、水化异常存在标志、化探异常峰值、地质图熵值、Ms存在标志、Gs存在标志、Shdadlie到区的距离、构造线线密度。
构置原始变量，并根据原始数据构造预测模型。
HOPFIELD模型参数设置：训练模式维数8，预测样本个数774，参数个数8，迭代次数330。
结果分44类(图8-4，表8-5)。
表8-5 原始数据表及分类结果（部分）
续表
㈡ 神经网络Kohonen模型
一、Kohonen模型概述
1981年芬兰赫尔辛基大学Kohonen教授提出了一个比较完整的，分类性能较好的自组织特征影射(Self-Organizing Feature Map)人工神经网络(简称SOM网络)方案。这种网络也称为Kohonen特征影射网络。
这种网络模拟大脑神经系统自组织特征影射功能，它是一种竞争式学习网络，在学习中能无监督地进行自组织学习。
二、Hohonen模型原理
1.概述
SOM网络由输入层和竞争层组成。输入层神经元数为N，竞争层由M=R×C神经元组成，构成一个二维平面阵列或一个一维阵列(R=1)。输入层和竞争层之间实现全互连接。
SOM网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并对那些与获胜神经元有关的各连接权朝着更有利于它竞争的方向调整，这一获胜神经元就表示对输入模式的分类。
SOM算法是一种无教师示教的聚类方法，它能将任意输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。即在无教师的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来。此外，网络通过对输入模式的反复学习，可以使连接权矢量空间分布密度与输入模式的概率分布趋于一致，即连接权矢量空间分布能反映输入模式的统计特征。
2.网络权值初始化
因为网络输入很可能出现在中间区，因此，如果竞争层的初始权值选择在输入空间的中间区，则其学习效果会更加有效。
3.邻域距离矩阵
SOM网络中的神经元可以按任何方式排列，这种排列可以用表示同一层神经元间的Manhattan距离的邻域距离矩阵D来描述，而两神经元的Manhattan距离是指神经元坐标相减后的矢量中，其元素绝对值之和。
4.Kohonen竞争学习规则
设SOM网络的输入模式为Xp=(
Wj=(wj1，wj2，…，wjN)，j=1，2，…，M。
Kohonen网络自组织学习过程包括两个部分：一是选择最佳匹配神经元，二是权矢量自适应变化的更新过程。
确定输入模式Xp与连接权矢量Wj的最佳匹配的评价函数是两个矢量的欧氏距离最小，即
g，确定获胜神经元g。
dg=mjin(dj)，j=1，2，…，M。
求输入模式Xp在竞争层的获胜神经元g及其在邻域距离nd内的神经元的输出。
中国矿产资源评价新技术与评价新模型
dgm为邻域距离矩阵D的元素，为竞争层中获胜神经元g与竞争层中其它神经元的距离。
求输入模式Xp在竞争层的获胜神经元g及其在邻域距离nd内的神经元的权值修正值。
中国矿产资源评价新技术与评价新模型
式中：i=1，2，…，N；
lr为学习速率；
t为学习循环次数。
Δwjt(t+1)的其余元素赋值为0。
进行连接权的调整
wji(t+1)=wji(t)+Δwji(t+1)。
5.权值学习中学习速率及邻域距离的更新
(1)SOM网络的学习过程分为两个阶段
第一阶段为粗学习与粗调整阶段。在这一阶段内，连接权矢量朝着输入模式的方向进行调整，神经元的权值按照期望的方向在适应神经元位置的输入空间建立次序，大致确定输入模式在竞争层中所对应的影射位置。一旦各输入模式在竞争层有了相对的影射位置后，则转入精学习与细调整阶段，即第二阶段。在这一阶段内，网络学习集中在对较小的范围内的连接权进行调整，神经元的权值按照期望的方向在输入空间伸展，直到保留到他们在粗调整阶段所建立的拓扑次序。
学习速率应随着学习的进行不断减小。
(2)邻域的作用与更新
在SOM网络中，脑神经细胞接受外界信息的刺激产生兴奋与抑制的变化规律是通过邻域的作用来体现的邻域规定了与获胜神经元g连接的权向量Wg进行同样调整的其他神经元的范围。在学习的最初阶段，邻域的范围较大，随着学习的深入进行，邻域的范围逐渐缩小。
(3)学习速率及邻域距离的更新
在粗调整阶段，
学习参数初始化
最大学习循环次数 MAX_STEP1=1000，
粗调整阶段学习速率初值 LR1=1.4，
细调整阶段学习速率初值 LR2=0.02，
最大邻域距离 MAX_ND1=Dmax，
Dmax为邻域距离矩阵D的最大元素值。
粗调阶段
学习循环次数step≤MAX_STEP1，
学习速率lr从LR1调整到LR2，
邻域距离nd 从MAX_ND1调整到1，
求更新系数r，
r=1-step/MAX_STEP1，
邻域距离nd更新，
nd=1.00001+(MAX_ND1-1)×r。
学习速率lr更新，
lr=LR2+(LR1-LR2)×r。
在细调整阶段，
学习参数初始化，
最大学习循环次数 MAX_STEP2=2000，
学习速率初值 LR2=0.02，
最大邻域距离 MAX_ND2=1。
细调阶段
MAX_STEP1＜step≤MAX_STEP1+MAX_STEP2，
学习速率lr慢慢从LR2减少，
邻域距离nd设为1，
邻域距离nd更新，
nd=MAX_ND2+0.00001。
学习速率lr更新，
lr=LR2×(MAX_STEP1/step)。
6.网络的回想——预测
SOM网络经学习后按照下式进行回想：
中国矿产资源评价新技术与评价新模型
Yj=0，j=1，2，…，M，(j≠g)。
将需要分类的输入模式提供给网络的输入层，按照上述方法寻找出竞争层中连接权矢量与输入模式最接近的神经元，此时神经元有最大的激活值1，而其它神经元被抑制而取0值。这时神经元的状态即表示对输入模式的分类。
三、总体算法
1.SOM权值学习总体算法
(1)输入参数X[N][P]。
(2)构造权值矩阵W[M][N]。
1)由X[N][P]求Xmid[N]，
2)由Xmid[N]构造权值W[M][N]。
(3)构造竞争层。
1)求竞争层神经元数M，
2)求邻域距离矩阵D[M][M]，
3)求矩阵D[M][M]元素的最大值Dmax。
(4)学习参数初始化。
(5)学习权值W[M][N]。
1)学习参数学习速率lr，邻域距离nd更新，分两阶段：
(i)粗调阶段更新；
(ii)细调阶段更新。
2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。
(i)求X[N][p]与W[m][N]的欧氏距离dm；
(ii)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。
3)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其在邻域距离nd内的神经元的输出Y[m][p]。
4)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其
在邻域距离nd内的神经元的权值修正值ΔW[m][N]，
从而得到输入模式X[N][p]产生的权值修正值ΔW[M][N]。
5)权值修正W[M][N]=W[M][N]+ΔW[M][N]。
6)学习结束条件：
(i)学习循环到MAX_STEP次；
(ii)学习速率lr达到用户指定的LR_MIN；
(iii)学习时间time达到用户指定的TIME_LIM。
(6)输出。
1)学习得到的权值矩阵W[M][N]；
2)邻域距离矩阵D[M][M]。
(7)结束。
2.SOM预测总体算法
(1)输入需分类数据X[N][P]，邻域距离矩阵D[M][M]。
(2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。
1)求X[N][p]与W[m][N]的欧氏距离dm；
2)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。
(3)求获胜神经元win[p]在竞争层排列的行列位置。
(4)输出与输入数据适应的获胜神经元win[p]在竞争层排列的行列位置，作为分类结果。
(5)结束。
四、总体算法流程图
Kohonen总体算法流程图见附图4。
五、数据流图
Kohonen数据流图见附图4。
六、无模式识别总体算法
假定有N个样品，每个样品测量M个变量，则有原始数据矩阵：
X=(xij)N×M，i=1，2，…，N，j=1，2，…，M。
(1)原始数据预处理
X=(xij)N×M处理为Z=(zij)N×M，
分3种处理方法：
1)衬度；
2)标准化；
3)归一化。
程序默认用归一化处理。
(2)构造Kohonen网
竞争层与输入层之间的神经元的连接权值构成矩阵WQ×M。
WQ×M初始化。
(3)进入Kohonen网学习分类循环，用epoch记录循环次数，epoch=1。
(4)在每个epoch循环中，对每个样品n(n=1，2，…，N)进行分类。从1个样品n=1开始。
(5)首先计算输入层的样品n的输入数据znm(m=1，2，…，M)与竞争层Q个神经元对应权值wqm的距离。
(6)寻找输入层的样品n与竞争层Q个神经元的最小距离，距离最小的神经元Win[n]为获胜神经元，将样品n归入获胜神经元Win[n]所代表的类型中，从而实现对样品n的分类。
(7)对样品集中的每一个样品进行分类：
n=n+1。
(如果n≤N，转到5。否则，转到8。)
(8)求分类后各神经元所对应的样品的变量的重心，用对应的样品的变量的中位数作为重心，用对应的样品的变量的重心来更新各神经元的连接权值。
(9)epoch=epoch+1；
一次学习分类循环结束。
(10)如果满足下列两个条件之一，分类循环结束，转到11；
否则，分类循环继续进行，转到4。
1)全部样品都固定在某个神经元上，不再改变了；
2)学习分类循环达到最大迭代次数。
(11)输出：
1)N个样品共分成多少类，每类多少样品，记录每类的样品编号；
2)如果某类中样品个数超过1个，则输出某类的样品原始数据的每个变量的均值、最小值、最大值和均方差；
3)如果某类中样品个数为1个，则输出某类的样品原始数据的各变量值；
4)输出原始数据每个变量(j=1，2，…，M)的均值，最小值，最大值和均方差。
(12)结束。
七、无模式识别总体算法流程图
Kohonen无模式总体算法流程图见附图5。
㈢ 神经网络BP模型
一、BP模型概述
误差逆传播(Error Back-Propagation)神经网络模型简称为BP(Back-Propagation)网络模型。
Pall Werbas博士于1974年在他的博士论文中提出了误差逆传播学习算法。完整提出并被广泛接受误差逆传播学习算法的是以Rumelhart和McCelland为首的科学家小组。他们在1986年出版“Parallel Distributed Processing，Explorations in the Microstructure of Cognition”(《并行分布信息处理》)一书中，对误差逆传播学习算法进行了详尽的分析与介绍，并对这一算法的潜在能力进行了深入探讨。
BP网络是一种具有3层或3层以上的阶层型神经网络。上、下层之间各神经元实现全连接，即下层的每一个神经元与上层的每一个神经元都实现权连接，而每一层各神经元之间无连接。网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，神经元的激活值从输入层经各隐含层向输出层传播，在输出层的各神经元获得网络的输入响应。在这之后，按减小期望输出与实际输出的误差的方向，从输入层经各隐含层逐层修正各连接权，最后回到输入层，故得名“误差逆传播学习算法”。随着这种误差逆传播修正的不断进行，网络对输入模式响应的正确率也不断提高。
BP网络主要应用于以下几个方面：
1)函数逼近：用输入模式与相应的期望输出模式学习一个网络逼近一个函数；
2)模式识别：用一个特定的期望输出模式将它与输入模式联系起来；
3)分类：把输入模式以所定义的合适方式进行分类；
4)数据压缩：减少输出矢量的维数以便于传输或存储。
在人工神经网络的实际应用中，80%～90%的人工神经网络模型采用BP网络或它的变化形式，它也是前向网络的核心部分，体现了人工神经网络最精华的部分。
二、BP模型原理
下面以三层BP网络为例，说明学习和应用的原理。
1.数据定义
P对学习模式(xp，dp)，p=1，2，…，P；
输入模式矩阵X[N][P]=(x1，x2，…，xP)；
目标模式矩阵d[M][P]=(d1，d2，…，dP)。
三层BP网络结构
输入层神经元节点数S0=N，i=1，2，…，S0；
隐含层神经元节点数S1，j=1，2，…，S1；
神经元激活函数f1[S1]；
权值矩阵W1[S1][S0]；
偏差向量b1[S1]。
输出层神经元节点数S2=M，k=1，2，…，S2；
神经元激活函数f2[S2]；
权值矩阵W2[S2][S1]；
偏差向量b2[S2]。
学习参数
目标误差ϵ；
初始权更新值Δ0；
最大权更新值Δmax；
权更新值增大倍数η+；
权更新值减小倍数η-。
2.误差函数定义
对第p个输入模式的误差的计算公式为
中国矿产资源评价新技术与评价新模型
y2kp为BP网的计算输出。
3.BP网络学习公式推导
BP网络学习公式推导的指导思想是，对网络的权值W、偏差b修正，使误差函数沿负梯度方向下降，直到网络输出误差精度达到目标精度要求，学习结束。
各层输出计算公式
输入层
y0i=xi，i=1，2，…，S0；
隐含层
中国矿产资源评价新技术与评价新模型
y1j=f1(z1j)，
j=1，2，…，S1；
输出层
中国矿产资源评价新技术与评价新模型
y2k=f2(z2k)，
k=1，2，…，S2。
输出节点的误差公式
中国矿产资源评价新技术与评价新模型
对输出层节点的梯度公式推导
中国矿产资源评价新技术与评价新模型
E是多个y2m的函数，但只有一个y2k与wkj有关，各y2m间相互独立。
其中
中国矿产资源评价新技术与评价新模型
则
中国矿产资源评价新技术与评价新模型
设输出层节点误差为
δ2k=(dk-y2k)·f2′(z2k)，
则
中国矿产资源评价新技术与评价新模型
同理可得
中国矿产资源评价新技术与评价新模型
对隐含层节点的梯度公式推导
中国矿产资源评价新技术与评价新模型
E是多个y2k的函数，针对某一个w1ji，对应一个y1j，它与所有的y2k有关。因此，上式只存在对k的求和，其中
中国矿产资源评价新技术与评价新模型
则
中国矿产资源评价新技术与评价新模型
设隐含层节点误差为
中国矿产资源评价新技术与评价新模型
则
中国矿产资源评价新技术与评价新模型
同理可得
中国矿产资源评价新技术与评价新模型
4.采用弹性BP算法(RPROP)计算权值W、偏差b的修正值ΔW，Δb
1993年德国 Martin Riedmiller和Heinrich Braun 在他们的论文“A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm”中，提出Resilient Backpropagation算法——弹性BP算法(RPROP)。这种方法试图消除梯度的大小对权步的有害影响，因此，只有梯度的符号被认为表示权更新的方向。
权改变的大小仅仅由权专门的“更新值”
中国矿产资源评价新技术与评价新模型
其中
权更新遵循规则：如果导数是正(增加误差)，这个权由它的更新值减少。如果导数是负，更新值增加。
中国矿产资源评价新技术与评价新模型
RPROP算法是根据局部梯度信息实现权步的直接修改。对于每个权，我们引入它的
各自的更新值
于在误差函数E上的局部梯度信息，按照以下的学习规则更新
中国矿产资源评价新技术与评价新模型
其中0＜η-＜1＜η+。
在每个时刻，如果目标函数的梯度改变它的符号，它表示最后的更新太大，更新值
为了减少自由地可调参数的数目，增大倍数因子η+和减小倍数因子η–被设置到固定值
η+=1.2，
η-=0.5，
这两个值在大量的实践中得到了很好的效果。
RPROP算法采用了两个参数：初始权更新值Δ0和最大权更新值Δmax
当学习开始时，所有的更新值被设置为初始值Δ0，因为它直接确定了前面权步的大小，它应该按照权自身的初值进行选择，例如，Δ0=0.1(默认设置)。
为了使权不至于变得太大，设置最大权更新值限制Δmax，默认上界设置为
Δmax=50.0。
在很多实验中，发现通过设置最大权更新值Δmax到相当小的值，例如
Δmax=1.0。
我们可能达到误差减小的平滑性能。
5.计算修正权值W、偏差b
第t次学习，权值W、偏差b的的修正公式
W(t)=W(t-1)+ΔW(t)，
b(t)=b(t-1)+Δb(t)，
其中，t为学习次数。
6.BP网络学习成功结束条件每次学习累积误差平方和
中国矿产资源评价新技术与评价新模型
每次学习平均误差
中国矿产资源评价新技术与评价新模型
当平均误差MSE＜ε，BP网络学习成功结束。
7.BP网络应用预测
在应用BP网络时，提供网络输入给输入层，应用给定的BP网络及BP网络学习得到的权值W、偏差b，网络输入经过从输入层经各隐含层向输出层的“顺传播”过程，计算出BP网的预测输出。
8.神经元激活函数f
线性函数
f(x)=x，
f′(x)=1，
f(x)的输入范围(-∞，+∞)，输出范围(-∞，+∞)。
一般用于输出层，可使网络输出任何值。
S型函数S(x)
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围(0，1)。
f′(x)=f(x)[1-f(x)]，
f′(x)的输入范围(-∞，+∞)，输出范围(0，
一般用于隐含层，可使范围(-∞，+∞)的输入，变成(0，1)的网络输出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处理和逼近非线性的输入/输出关系。
在用于模式识别时，可用于输出层，产生逼近于0或1的二值输出。
双曲正切S型函数
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围(-1，1)。
f′(x)=1-f(x)·f(x)，
f′(x)的输入范围(-∞，+∞)，输出范围(0，1]。
一般用于隐含层，可使范围(-∞，+∞)的输入，变成(-1，1)的网络输出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处理和逼近非线性的输入/输出关系。
阶梯函数
类型1
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围{0，1}。
f′(x)=0。
类型2
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围{-1，1}。
f′(x)=0。
斜坡函数
类型1
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围[0，1]。
中国矿产资源评价新技术与评价新模型
f′(x)的输入范围(-∞，+∞)，输出范围{0，1}。
类型2
中国矿产资源评价新技术与评价新模型
f(x)的输入范围(-∞，+∞)，输出范围[-1，1]。
中国矿产资源评价新技术与评价新模型
f′(x)的输入范围(-∞，+∞)，输出范围{0，1}。
三、总体算法
1.三层BP网络(含输入层，隐含层，输出层)权值W、偏差b初始化总体算法
(1)输入参数X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；
(2)计算输入模式X[N][P]各个变量的最大值，最小值矩阵 Xmax[N]，Xmin[N]；
(3)隐含层的权值W1，偏差b1初始化。
情形1：隐含层激活函数f( )都是双曲正切S型函数
1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；
2)计算输入模式X的每个变量的范围均值向量Xmid[N]；
3)计算W，b的幅度因子Wmag；
4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；
5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；
6)计算W[S1][S0]，b[S1]；
7)计算隐含层的初始化权值W1[S1][S0]；
8)计算隐含层的初始化偏差b1[S1]；
9))输出W1[S1][S0]，b1[S1]。
情形2：隐含层激活函数f( )都是S型函数
1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；
2)计算输入模式X的每个变量的范围均值向量Xmid[N]；
3)计算W，b的幅度因子Wmag；
4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；
5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；
6)计算W[S1][S0]，b[S1]；
7)计算隐含层的初始化权值W1[S1][S0]；
8)计算隐含层的初始化偏差b1[S1]；
9)输出W1[S1][S0]，b1[S1]。
情形3：隐含层激活函数f( )为其他函数的情形
1)计算输入模式X[N][P]的每个变量的范围向量Xrng[N]；
2)计算输入模式X的每个变量的范围均值向量Xmid[N]；
3)计算W，b的幅度因子Wmag；
4)产生[-1，1]之间均匀分布的S0×1维随机数矩阵Rand[S1]；
5)产生均值为0，方差为1的正态分布的S1×S0维随机数矩阵Randnr[S1][S0]，随机数范围大致在[-1，1]；
6)计算W[S1][S0]，b[S1]；
7)计算隐含层的初始化权值W1[S1][S0]；
8)计算隐含层的初始化偏差b1[S1]；
9)输出W1[S1][S0]，b1[S1]。
(4)输出层的权值W2，偏差b2初始化
1)产生[-1，1]之间均匀分布的S2×S1维随机数矩阵W2[S2][S1]；
2)产生[-1，1]之间均匀分布的S2×1维随机数矩阵b2[S2]；
3)输出W2[S2][S1]，b2[S2]。
2.应用弹性BP算法(RPROP)学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b总体算法
函数：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)
(1)输入参数
P对模式(xp，dp)，p=1，2，…，P；
三层BP网络结构；
学习参数。
(2)学习初始化
1)
2)各层W，b的梯度值
(3)由输入模式X求第一次学习各层输出y0，y1，y2及第一次学习平均误差MSE
(4)进入学习循环
epoch=1
(5)判断每次学习误差是否达到目标误差要求
如果MSE＜ϵ，
则，跳出epoch循环，
转到(12)。
(6)保存第epoch-1次学习产生的各层W，b的梯度值
(7)求第epoch次学习各层W，b的梯度值
1)求各层误差反向传播值δ；
2)求第p次各层W，b的梯度值
3)求p=1，2，…，P次模式产生的W，b的梯度值
(8)如果epoch=1，则将第epoch-1次学习的各层W，b的梯度值
(9)求各层W，b的更新
1)求权更新值Δij更新；
2)求W，b的权更新值
3)求第epoch次学习修正后的各层W，b。
(10)用修正后各层W、b，由X求第epoch次学习各层输出y0，y1，y2及第epoch次学习误差MSE
(11)epoch=epoch+1，
如果epoch≤MAX_EPOCH，转到(5)；
否则，转到(12)。
(12)输出处理
1)如果MSE＜ε，
则学习达到目标误差要求，输出W1，b1，W2，b2。
2)如果MSE≥ε，
则学习没有达到目标误差要求，再次学习。
(13)结束
3.三层BP网络(含输入层，隐含层，输出层)预测总体算法
首先应用Train3lBP_RPROP( )学习三层BP网络(含输入层，隐含层，输出层)权值W、偏差b，然后应用三层BP网络(含输入层，隐含层，输出层)预测。
函数：Simu3lBP( )。
1)输入参数：
P个需预测的输入数据向量xp，p=1，2，…，P；
三层BP网络结构；
学习得到的各层权值W、偏差b。
2)计算P个需预测的输入数据向量xp(p=1，2，…，P)的网络输出 y2[S2][P]，输出预测结果y2[S2][P]。
四、总体算法流程图
BP网络总体算法流程图见附图2。
五、数据流图
BP网数据流图见附图1。
六、实例
实例一 全国铜矿化探异常数据BP 模型分类
1.全国铜矿化探异常数据准备
在全国铜矿化探数据上用稳健统计学方法选取铜异常下限值33.1，生成全国铜矿化探异常数据。
2.模型数据准备
根据全国铜矿化探异常数据，选取7类33个矿点的化探数据作为模型数据。这7类分别是岩浆岩型铜矿、斑岩型铜矿、矽卡岩型、海相火山型铜矿、陆相火山型铜矿、受变质型铜矿、海相沉积型铜矿，另添加了一类没有铜异常的模型(表8-1)。
3.测试数据准备
全国化探数据作为测试数据集。
4.BP网络结构
隐层数2，输入层到输出层向量维数分别为14，9、5、1。学习率设置为0.9，系统误差1e-5。没有动量项。
表8-1 模型数据表
续表
5.计算结果图
如图8-2、图8-3。
图8-2
图8-3 全国铜矿矿床类型BP模型分类示意图
实例二 全国金矿矿石量品位数据BP 模型分类
1.模型数据准备
根据全国金矿储量品位数据，选取4类34个矿床数据作为模型数据，这4类分别是绿岩型金矿、与中酸性浸入岩有关的热液型金矿、微细浸染型型金矿、火山热液型金矿(表8-2)。
2.测试数据准备
模型样本点和部分金矿点金属量、矿石量、品位数据作为测试数据集。
3.BP网络结构
输入层为三维，隐层1层，隐层为三维，输出层为四维，学习率设置为0.8，系统误差1e-4，迭代次数5000。
表8-2 模型数据
4.计算结果
结果见表8-3、8-4。
表8-3 训练学习结果
表8-4 预测结果(部分)
续表
㈣ 什么叫神经网络模型
神经网络的基础在于神经元。
神经元是以生物神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。
大量的形式相同的神经元连结在—起就组成了神经网络。神经网络是一个高度非线性动力学系统。虽然，每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的；因此，用神经网络可以表达实际物理世界的各种现象。
神经网络模型是以神经元的数学模型为基础来描述的。神经网络模型由网络拓扑．节点特点和学习规则来表示。神经网络对人们的巨大吸引力主要在下列几点：
1．并行分布处理。
2．高度鲁棒性和容错能力。
3．分布存储及学习能力。
4．能充分逼近复杂的非线性关系。
在控制领域的研究课题中，不确定性系统的控制问题长期以来都是控制理论研究的中心主题之一，但是这个问题一直没有得到有效的解决。利用神经网络的学习能力，使它在对不确定性系统的控制过程中自动学习系统的特性，从而自动适应系统随时间的特性变异，以求达到对系统的最优控制；显然这是一种十分振奋人心的意向和方法。
人工神经网络的模型现在有数十种之多，应用较多的典型的神经网络模型包括BP网络、Hopfield网络、ART网络和Kohonen网络。
参考：http://ke..com/view/3406239.html?wtp=tt
㈤ 神经网络模型-27种神经网络模型们的简介
【1】Perceptron(P) 感知机
【1】感知机
感知机是我们知道的最简单和最古老的神经元模型，它接收一些输入，然后把它们加总，通过激活函数并传递到输出层。
【2】Feed Forward(FF)前馈神经网络
【2】前馈神经网络
前馈神经网络（FF），这也是一个很古老的方法——这种方法起源于50年代。它的工作原理通常遵循以下规则：
1.所有节点都完全连接
2.激活从输入层流向输出，无回环
3.输入和输出之间有一层（隐含层）
在大多数情况下，这种类型的网络使用反向传播方法进行训练。
【3】Radial Basis Network(RBF) RBF神经网络
【3】RBF神经网络
RBF 神经网络实际上是 激活函数是径向基函数 而非逻辑函数的FF前馈神经网络（FF）。两者之间有什么区别呢？
逻辑函数--- 将某个任意值映射到[0 ,... 1]范围内来，回答“是或否”问题。适用于分类决策系统，但不适用于连续变量。
相反， 径向基函数--- 能显示“我们距离目标有多远”。 这完美适用于函数逼近和机器控制（例如作为PID控制器的替代）。
简而言之，RBF神经网络其实就是， 具有不同激活函数和应用方向的前馈网络 。
【4】Deep Feed Forword(DFF)深度前馈神经网络
【4】DFF深度前馈神经网络
DFF深度前馈神经网络在90年代初期开启了深度学习的潘多拉盒子。 这些依然是前馈神经网络，但有不止一个隐含层 。那么，它到底有什么特殊性？
在训练传统的前馈神经网络时，我们只向上一层传递了少量的误差信息。由于堆叠更多的层次导致训练时间的指数增长，使得深度前馈神经网络非常不实用。 直到00年代初，我们开发了一系列有效的训练深度前馈神经网络的方法; 现在它们构成了现代机器学习系统的核心 ，能实现前馈神经网络的功能，但效果远高于此。
【5】Recurrent Neural Network(RNN) 递归神经网络
【5】RNN递归神经网络
RNN递归神经网络引入不同类型的神经元——递归神经元。这种类型的第一个网络被称为约旦网络（Jordan Network），在网络中每个隐含神经元会收到它自己的在固定延迟（一次或多次迭代）后的输出。除此之外，它与普通的模糊神经网络非常相似。
当然，它有许多变化 — 如传递状态到输入节点，可变延迟等，但主要思想保持不变。这种类型的神经网络主要被使用在上下文很重要的时候——即过去的迭代结果和样本产生的决策会对当前产生影响。最常见的上下文的例子是文本——一个单词只能在前面的单词或句子的上下文中进行分析。
【6】Long/Short Term Memory (LSTM) 长短时记忆网络
【6】LSTM长短时记忆网络
LSTM长短时记忆网络引入了一个存储单元，一个特殊的单元，当数据有时间间隔（或滞后）时可以处理数据。递归神经网络可以通过“记住”前十个词来处理文本，LSTM长短时记忆网络可以通过“记住”许多帧之前发生的事情处理视频帧。 LSTM网络也广泛用于写作和语音识别。
存储单元实际上由一些元素组成，称为门，它们是递归性的，并控制信息如何被记住和遗忘。
【7】Gated Recurrent Unit (GRU)
【7】GRU是具有不同门的LSTM
GRU是具有不同门的LSTM。
听起来很简单，但缺少输出门可以更容易基于具体输入重复多次相同的输出，目前此模型在声音（音乐）和语音合成中使用得最多。
实际上的组合虽然有点不同：但是所有的LSTM门都被组合成所谓的更新门(Update Gate)，并且复位门(Reset Gate)与输入密切相关。
它们比LSTM消耗资源少，但几乎有相同的效果。
【8】Auto Encoder (AE) 自动编码器
【8】AE自动编码器
Autoencoders自动编码器用于分类，聚类和特征压缩。
当您训练前馈(FF)神经网络进行分类时，您主要必须在Y类别中提供X个示例，并且期望Y个输出单元格中的一个被激活。 这被称为“监督学习”。
另一方面，自动编码器可以在没有监督的情况下进行训练。它们的结构 - 当隐藏单元数量小于输入单元数量（并且输出单元数量等于输入单元数）时，并且当自动编码器被训练时输出尽可能接近输入的方式，强制自动编码器泛化数据并搜索常见模式。
【9】Variational AE (VAE) 变分自编码器
【9】VAE变分自编码器
变分自编码器，与一般自编码器相比，它压缩的是概率，而不是特征。
尽管如此简单的改变，但是一般自编码器只能回答当“我们如何归纳数据？”的问题时，变分自编码器回答了“两件事情之间的联系有多强大？我们应该在两件事情之间分配误差还是它们完全独立的？”的问题。
【10】Denoising AE (DAE) 降噪自动编码器
【10】DAE降噪自动编码器
虽然自动编码器很酷，但它们有时找不到最鲁棒的特征，而只是适应输入数据（实际上是过拟合的一个例子）。
降噪自动编码器（DAE）在输入单元上增加了一些噪声 - 通过随机位来改变数据，随机切换输入中的位，等等。通过这样做，一个强制降噪自动编码器从一个有点嘈杂的输入重构输出，使其更加通用，强制选择更常见的特征。
【11】Sparse AE (SAE) 稀疏自编码器
【11】SAE稀疏自编码器
稀疏自编码器（SAE）是另外一个有时候可以抽离出数据中一些隐藏分组样试的自动编码的形式。结构和AE是一样的，但隐藏单元的数量大于输入或输出单元的数量。
【12】Markov Chain (MC) 马尔科夫链
【12】Markov Chain (MC) 马尔科夫链
马尔可夫链（Markov Chain, MC）是一个比较老的图表概念了，它的每一个端点都存在一种可能性。过去，我们用它来搭建像“在单词hello之后有0.0053％的概率会出现dear，有0.03551%的概率出现you”这样的文本结构。
这些马尔科夫链并不是典型的神经网络，它可以被用作基于概率的分类（像贝叶斯过滤），用于聚类（对某些类别而言），也被用作有限状态机。
【13】Hopfield Network (HN) 霍普菲尔网络
【13】HN霍普菲尔网络
霍普菲尔网络（HN）对一套有限的样本进行训练，所以它们用相同的样本对已知样本作出反应。
在训练前，每一个样本都作为输入样本，在训练之中作为隐藏样本，使用过之后被用作输出样本。
在HN试着重构受训样本的时候，他们可以用于给输入值降噪和修复输入。如果给出一半图片或数列用来学习，它们可以反馈全部样本。
【14】Boltzmann Machine (BM) 波尔滋曼机
【14】 BM 波尔滋曼机
波尔滋曼机（BM）和HN非常相像，有些单元被标记为输入同时也是隐藏单元。在隐藏单元更新其状态时，输入单元就变成了输出单元。（在训练时，BM和HN一个一个的更新单元，而非并行）。
这是第一个成功保留模拟退火方法的网络拓扑。
多层叠的波尔滋曼机可以用于所谓的深度信念网络，深度信念网络可以用作特征检测和抽取。
【15】Restricted BM (RBM) 限制型波尔滋曼机
【15】 RBM 限制型波尔滋曼机
在结构上，限制型波尔滋曼机（RBM）和BM很相似，但由于受限RBM被允许像FF一样用反向传播来训练（唯一的不同的是在反向传播经过数据之前RBM会经过一次输入层）。
【16】Deep Belief Network (DBN) 深度信念网络
【16】DBN 深度信念网络
像之前提到的那样，深度信念网络（DBN）实际上是许多波尔滋曼机（被VAE包围）。他们能被连在一起（在一个神经网络训练另一个的时候），并且可以用已经学习过的样式来生成数据。
【17】Deep Convolutional Network (DCN) 深度卷积网络
【17】 DCN 深度卷积网络
当今，深度卷积网络（DCN）是人工神经网络之星。它具有卷积单元（或者池化层）和内核，每一种都用以不同目的。
卷积核事实上用来处理输入的数据，池化层是用来简化它们（大多数情况是用非线性方程，比如max），来减少不必要的特征。
他们通常被用来做图像识别，它们在图片的一小部分上运行（大约20x20像素）。输入窗口一个像素一个像素的沿着图像滑动。然后数据流向卷积层，卷积层形成一个漏斗（压缩被识别的特征）。从图像识别来讲，第一层识别梯度，第二层识别线，第三层识别形状，以此类推，直到特定的物体那一级。DFF通常被接在卷积层的末端方便未来的数据处理。
【18】Deconvolutional Network (DN) 去卷积网络
【18】 DN 去卷积网络
去卷积网络（DN）是将DCN颠倒过来。DN能在获取猫的图片之后生成像（狗：0，蜥蜴：0，马：0，猫：1）一样的向量。DNC能在得到这个向量之后，能画出一只猫。
【19】Deep Convolutional Inverse Graphics Network (DCIGN) 深度卷积反转图像网络
【19】 DCIGN 深度卷积反转图像网络
深度卷积反转图像网络（DCIGN），长得像DCN和DN粘在一起，但也不完全是这样。
事实上，它是一个自动编码器，DCN和DN并不是作为两个分开的网络，而是承载网路输入和输出的间隔区。大多数这种神经网络可以被用作图像处理，并且可以处理他们以前没有被训练过的图像。由于其抽象化的水平很高，这些网络可以用于将某个事物从一张图片中移除，重画，或者像大名鼎鼎的CycleGAN一样将一匹马换成一个斑马。
【20】Generative Adversarial Network (GAN) 生成对抗网络
【20】 GAN 生成对抗网络
生成对抗网络（GAN）代表了有生成器和分辨器组成的双网络大家族。它们一直在相互伤害——生成器试着生成一些数据，而分辨器接收样本数据后试着分辨出哪些是样本，哪些是生成的。只要你能够保持两种神经网络训练之间的平衡，在不断的进化中，这种神经网络可以生成实际图像。
【21】Liquid State Machine (LSM) 液体状态机
【21】 LSM 液体状态机
液体状态机（LSM）是一种稀疏的，激活函数被阈值代替了的（并不是全部相连的）神经网络。只有达到阈值的时候，单元格从连续的样本和释放出来的输出中积累价值信息，并再次将内部的副本设为零。
这种想法来自于人脑，这些神经网络被广泛的应用于计算机视觉，语音识别系统，但目前还没有重大突破。
【22】Extreme Learning Machine (ELM) 极端学习机
【22】ELM 极端学习机
极端学习机（ELM）是通过产生稀疏的随机连接的隐藏层来减少FF网络背后的复杂性。它们需要用到更少计算机的能量，实际的效率很大程度上取决于任务和数据。
【23】Echo State Network (ESN) 回声状态网络
【23】 ESN 回声状态网络
回声状态网络（ESN）是重复网络的细分种类。数据会经过输入端，如果被监测到进行了多次迭代（请允许重复网路的特征乱入一下），只有在隐藏层之间的权重会在此之后更新。
据我所知，除了多个理论基准之外，我不知道这种类型的有什么实际应用。。。。。。。
【24】Deep Resial Network (DRN) 深度残差网络
【24】 DRN 深度残差网络
深度残差网络（DRN）是有些输入值的部分会传递到下一层。这一特点可以让它可以做到很深的层级（达到300层），但事实上它们是一种没有明确延时的RNN。
【25】Kohonen Network (KN) Kohonen神经网络
【25】 Kohonen神经网络
Kohonen神经网络（KN）引入了“单元格距离”的特征。大多数情况下用于分类，这种网络试着调整它们的单元格使其对某种特定的输入作出最可能的反应。当一些单元格更新了， 离他们最近的单元格也会更新。
像SVM一样，这些网络总被认为不是“真正”的神经网络。
【26】Support Vector Machine (SVM)
【26】 SVM 支持向量机
支持向量机（SVM）用于二元分类工作，无论这个网络处理多少维度或输入，结果都会是“是”或“否”。
SVM不是所有情况下都被叫做神经网络。
【27】Neural Turing Machine (NTM) 神经图灵机
【27】NTM 神经图灵机
神经网络像是黑箱——我们可以训练它们，得到结果，增强它们，但实际的决定路径大多数我们都是不可见的。
神经图灵机（NTM）就是在尝试解决这个问题——它是一个提取出记忆单元之后的FF。一些作者也说它是一个抽象版的LSTM。
记忆是被内容编址的，这个网络可以基于现状读取记忆，编写记忆，也代表了图灵完备神经网络。
㈥ 神经网络ART1模型
一、ART1模型概述
自适应共振理论(Adaptive Resonance Theory)简称ART，是于1976年由美国Boston大学S.Grossberg提出来的。
这一理论的显著特点是，充分利用了生物神经细胞之间自兴奋与侧抑制的动力学原理，让输入模式通过网络双向连接权的识别与比较，最后达到共振来完成对自身的记忆，并以同样的方法实现网络的回想。当提供给网络回想的是一个网络中记忆的、或是与已记忆的模式十分相似的模式时，网络将会把这个模式回想出来，提出正确的分类。如果提供给网络回想的是一个网络中不存在的模式，则网络将在不影响已有记忆的前提下，将这一模式记忆下来，并将分配一个新的分类单元作为这一记忆模式的分类标志。
S.Grossberg和G.A.Carpenter经过多年研究和不断发展，至今已提出了ART1，ART2和ART3三种网络结构。
ART1网络处理双极型(或二进制)数据，即观察矢量的分量是二值的，它只取0或1。
二、ART1模型原理
ART1网络是两层结构，分输入层(比较层)和输出层(识别层)。从输入层到输出层由前馈连接权连接，从输出层到输入层由反馈连接权连接。
设网络输入层有N个神经元，网络输出层有M个神经元，二值输入模式和输出向量分别为：Xp=(
ART1网络的学习及工作过程，是通过反复地将输入学习模式由输入层向输出层自下而上的识别和由输出层向输入层自上而下的比较过程来实现的。当这种自下而上的识别和自上而下的比较达到共振，即输出向量可以正确反映输入学习模式的分类，且网络原有记忆没有受到不良影响时，网络对一个输入学习模式的记忆分类则告完成。
ART1网络的学习及工作过程，可以分为初始化阶段、识别阶段、比较阶段和探寻阶段。
1.初始化阶段
ART1网络需要初始化的参数主要有3个：
即W=(wnm)N×M，T=(tnm)N×M和ρ。
反馈连接权T=(tnm)N×M在网络的整个学习过程中取0或1二值形式。这一参数实际上反映了输入层和输出层之间反馈比较的范围或强度。由于网络在初始化前没有任何记忆，相当于一张白纸，即没有选择比较的余的。因此可将T的元素全部设置为1，即
tnm=1，n=1，2，…，N，m=1，2，…，M。(1)
这意味着网络在初始状态时，输入层和输出层之间将进行全范围比较，随着学习过程的深入，再按一定规则选择比较范围。
前馈连接权W=(wnm)N×M在网络学习结束后，承担着对学习模式的记忆任务。在对W初始化时，应该给所有学习模式提供一个平等竞争的机会，然后通过对输入模式的竞争，按一定规则调整W。W的初始值按下式设置：
中国矿产资源评价新技术与评价新模型
ρ称为网络的警戒参数，其取值范围为0＜ρ≤1。
2.识别阶段
ART1网络的学习识别阶段发生在输入学习模式由输入层向输出层的传递过程中。在这一阶段，首先将一个输入学习模式Xp=(
中国矿产资源评价新技术与评价新模型
中国矿产资源评价新技术与评价新模型
中国矿产资源评价新技术与评价新模型
至此，网络的识别过程只是告一段落，并没有最后结束。此时，神经元m=g是否真正有资格代表对输入学习模式Xp的正确分类，还有待于下面的比较和寻找阶段来进一步确定。一般情况下需要对代表同一输入学习模式的分类结果的神经元进行反复识别。
3.比较阶段
ART1网络的比较阶段的主要职能是完成以下检查任务，每当给已学习结束的网络提供一个供识别的输入模式时，首先检查一下这个模式是否是已学习过的模式，如果是，则让网络回想出这个模式的分类结果；如果不是，则对这个模式加以记忆，并分配一个还没有利用过的输出层神经元来代表这个模式的分类结果。
具体过程如下：把由输出层每个神经元反馈到输入层的各个神经元的反馈连接权向量Tm=(t1m，t2m，…，tNm)，m=1，2，…，M作为对已学习的输入模式的一条条记录，即让向量Tm=(t1m，t2m，…，tNm)与输出层第m个神经元所代表的某一学习输入模式Xp=(
当需要网络对某个输入模式进行回想时，这个输入模式经过识别阶段，竞争到神经元g作为自己的分类结果后，要检查神经元g反馈回来的向量Tg是否与输入模式相等。如果相等，则说明这是一个已记忆过的模式，神经元g代表了这个模式的分类结果，识别与比较产生了共振，网络不需要再经过寻找阶段，直接进入下一个输入模式的识别阶段；如果不相符，则放弃神经元g的分类结果，进入寻找阶段。
在比较阶段，当用向量Tg与输入模式XP进行比较时，允许二者之间有一定的差距，差距的大小由警戒参数ρ决定。
首先计算
中国矿产资源评价新技术与评价新模型
Cg表示向量Tg与输入模式XP的拟合度。
在式中，
当Tg=XP时，Cg=1。
当Cg≥ρ时，说明拟合度大于要求，没有超过警戒线。
以上两种情况均可以承认识别结果。
当Cg≠1且Cg＞ρ时，按式(6)式(7)将前馈连接权Wg=(w1g，w2g，…，wNg)和反馈连接权Tg=(t1g，t2g，…，tNg)向着与XP更接近的方向调整。
中国矿产资源评价新技术与评价新模型
tng(t+1)=tng(t)*xn，n=1，2，…，N。(7)
当Cg＜ρ时，说明拟合度小于要求，超过警戒线，则拒绝识别结果，将神经元g重新复位为0，并将这个神经元排除在下次识别范围之外，网络转入寻找阶段。
4.寻找阶段
寻找阶段是网络在比较阶段拒绝识别结果之后转入的一个反复探寻的阶段，在这一阶段中，网络将在余下的输出层神经元中搜索输入模式Xp的恰当分类。只要在输出向量Yp=(
三、总体算法
设网络输入层有N个神经元，网络输出层有M个神经元，二值输入模式和输出向量分别为：Xp=(
(1)网络初始化
tnm(0)=1，
中国矿产资源评价新技术与评价新模型
n=1，2，…，N，m=1，2，…，M。
0＜ρ≤1。
(2)将输入模式Xp=(
(3)计算输出层各神经元输入加权和
中国矿产资源评价新技术与评价新模型
(4)选择XP的最佳分类结果
中国矿产资源评价新技术与评价新模型
令神经元g的输出为1。
(5)计算
中国矿产资源评价新技术与评价新模型
中国矿产资源评价新技术与评价新模型
判断
中国矿产资源评价新技术与评价新模型
当式(8)成立，转到(7)，否则，转到(6)。
(6)取消识别结果，将输出层神经元g的输出值复位为0，并将这一神经元排除在下一次识别的范围之外，返回步骤(4)。当所有已利用过的神经元都无法满足式(8)，则选择一个新的神经元作为分类结果，转到步骤(7)。
(7)承认识别结果，并按下式调整连接权
中国矿产资源评价新技术与评价新模型
tng(t+1)=tng(t)*xn，n=1，2，…，N。
(8)将步骤(6)复位的所有神经元重新加入识别范围之内，返回步骤(2)对下一模式进行识别。
(9)输出分类识别结果。
(10)结束。
四、实例
实例为ART1神经网络模型在柴北缘-东昆仑造山型金矿预测的应用。
1.建立综合预测模型
柴北缘—东昆仑地区位于青海省的西部，是中央造山带的西部成员——秦祁昆褶皱系的一部分，是典型的复合造山带(殷鸿福等，1998)。根据柴北缘—东昆仑地区地质概括以及造山型金矿成矿特点，选择与成矿相关密切的专题数据，建立柴北缘—东昆仑地区的综合信息找矿模型：
1)金矿重砂异常数据是金矿的重要找矿标志。
2)金矿水化异常数据是金矿的重要找矿标志。
3)金矿的化探异常数据控制金矿床的分布。
4)金矿的空间分布与通过该区的深大断裂有关。
5)研究区内断裂密集程度控制金矿的产出。
6)重力构造的存在与否是金矿存在的一个标志。
7)磁力构造线的存在也是金矿存在的一个重要标志。
8)研究区地质复杂程度也对金矿的产出具有重要的作用。
9)研究区存在的矿(化)点是一个重要的标志。
2.划分预测单元
预测工作是在单元上进行的，预测工作的结果是与单元有着较为直接的联系，在找矿模型指导下，以最大限度地反映成矿信息和预测单元面积最小为原则，通过对研究区内地质、地球物理、地球化学等的综合资料分析，对可能的成矿地段圈定了预测单元。采用网格化单元作为本次研究的预测单元，网格单元的大小是，40×40，将研究区划分成774个预测单元。
3.变量选择(表8-6)
4.ART1模型预测结果
ART1神经网络模型算法中，给定不同的阈值，将改变预测分类的结果。本次实验选取得阈值为ρ=0.41，系统根据此阈值进行计算获得计算结果，并通过将不同的分类结果赋予不同的颜色，最终获得ART模型预测单元的分类结果。分类的结果是形成29个类别。分类结果用不同的颜色表示，其具体结果地显示见图8-5。图形中颜色只代表类别号，不代表分类的好坏。将矿点专题图层叠加以后，可以看出，颜色为灰色的单元与矿的关系更为密切。
表8-6 预测变量标志的选择表
图8-5 东昆仑—柴北缘地区基于ARTL模型的金矿分类结果图
㈦ 人工神经网络，人工神经网络是什么意思
人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。内它从信息处理角度对人容脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。