bp神经网络在图像处理中的应用

A. 哪些神经网络可以用在图像特征提取上

BP神经网络、离散Hopfield网络、LVQ神经网络等等都可以。

1.BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。
2.Hopfiled神经网络是一种递归神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global minimum）的情况也可能发生。Hopfiled网络也提供了模拟人类记忆的模型。
3.LVQ神经网络由三层组成，即输入层、隐含层和输出层，网络在输入层与隐含层间为完全连接，而在隐含层与输出层间为部分连接，每个输出层神经元与隐含层神经元的不同组相连接。隐含层和输出层神经元之间的连接权值固定为1。输入层和隐含层神经元间连接的权值建立参考矢量的分量（对每个隐含神经元指定一个参考矢量）。在网络训练过程中，这些权值被修改。隐含层神经元（又称为Kohnen神经元）和输出神经元都具有二进制输出值。当某个输入模式被送至网络时，参考矢量最接近输入模式的隐含神经元因获得激发而赢得竞争，因而允许它产生一个“1”，而其它隐含层神经元都被迫产生“0”。与包含获胜神经元的隐含层神经元组相连接的输出神经元也发出“1”，而其它输出神经元均发出“0”。产生“1”的输出神经元给出输入模式的类，由此可见，每个输出神经元被用于表示不同的类。

B. 神经网络在图像识别中有哪些应用

卷积神经网络有以下几种应用可供研究：

1、基于卷积网络的形状识别

物体的形状是人的视觉系统分析和识别物体的基础，几何形状是物体的本质特征的表现，并具有平移、缩放和旋转不变等特点，所以在模式识别领域，对于形状的分析和识别具有十分重要的意义，而二维图像作为三维图像的特例以及组成部分，因此二维图像的识别是三维图像识别的基础。

2、基于卷积网络的人脸检测

卷槐桥积神经网络与传统的人脸检测方法不同，它是通过直接作用于输陪简入样本，用样本来训练网络并最终实现检测任务的。它是非参数型的人脸检测方法，可以省去传统方法中建模、参数估计以及参数检验、重建模型等的一系列复杂过程。本文针对图像中任意大小、位置、姿势、方向、肤色、面部表情和光照条件的人脸。

3、文字识别系统

在经典的模式识别中，一般是事先提取特征。提取诸多特征后，要对这些特征进行相关性分析，找到最能代表字符的特征，去掉对分类无关和自相关的特征。然而，这些特征的提取太过依赖人的经验和主观意识，提取到的特征的不同对分类性能影响很大，甚至提取的特征的顺序也芦明裤会影响最后的分类性能。同时，图像预处理的好坏也会影响到提取的特征。

C. 前馈神经网络、BP神经网络、卷积神经网络的区别与联系

一、计算方法不同

1、前馈神经网络：一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。

2、BP神经网络：是一种按照误差逆向传播算法训练的多层前馈神经网络。

3、卷积神经网络：包含卷积计算且具有深度结构的前馈神经网络。

二、用途不同

1、前馈神经网络：主要应用包括感知器网络、BP网络和RBF网络。

2、BP神经网络：

（1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数；

（2）模式识别：用一个待定的输出向量将它与输入向量联系起来；

（3）分类：把输入向量所定义的合适方式进行分类；

（4）数据压缩：减少输出向量维数以便于传输或存储。

3、卷积神经网络：可应用于图像识别、物体识别等计算机视觉、自然语言处理、物理学和遥感科学等领域。

联系：

BP神经网络和卷积神经网络都属于前馈神经网络，三者都属于人工神经网络。因此，三者原理和结构相同。

三、作用不同

1、前馈神经网络：结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。

2、BP神经网络：具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。

3、卷积神经网络：具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。

(3)bp神经网络在图像处理中的应用扩展阅读：

1、BP神经网络优劣势

BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。

①学习速度慢，即使是一个简单的问题，一般也需要几百次甚至上千次的学习才能收敛。

②容易陷入局部极小值。

③网络层数、神经元个数的选择没有相应的理论指导。

④网络推广能力有限。

2、人工神经网络的特点和优越性，主要表现在以下三个方面

①具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、效益预测，其应用前途是很远大的。

②具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

③具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

D. 基于优化的BP神经网络遥感影像分类

罗小波¹ 刘明培^1，2

（1.重庆邮电大学计算机学院中韩GIS研究所，重庆，；2.西南大学资源环境学院，重庆，400065）

摘要：在网络结构给定的情况下，利用遗传算法的全局寻优能力得到一组权值和阈值作为BP神经网络的初始权值和阈值，来避免BP神经网络易陷入局部极小的缺陷，同时也可以提高网络的收敛速度。然后再利用BP神经网络的局部寻优能力，对权值和阈值进行进一步的精细调整。实验结果表明，把这种基于遗传算法的BP神经网络应用于遥感影像监督分类，具有较高的分类精度。

关键词：BP神经网络；遗传算法；遥感影像分类

1 引言

随着遥感技术的快速发展，遥感技术已经广泛应用于各个领域。其中，遥感影像分类是其重要组成部分。近年来，随着人工神经网络理论的快速发展，神经网络技术日益成为遥感影像分类中的有效手段，特别是对高光谱等影像数据，更是具有许多独特的优势。

一般我们把采用BP （Back-propogation）算法的多层感知器叫做BP 神经网络，它是目前研究得最完善、应用最广泛的神经网络之一。与经典的最大似然法相比，BP神经网络最大的优势就是不要求训练样本正态分布。但是，它具有结构难以确定、容易陷入局部极小、不易收敛等缺陷。在本文中，网络的结构由用户根据问题的复杂度确定。在进行网络训练之前，利用遗传算法的全局寻优能力确定网络的初始权值和阈值；然后利用BP学习算法的局部寻优能力对网络进行进一步的精细调整。最后利用训练后的网络进行遥感影像监督分类。结果表明，基于遗传算法的BP神经网络进行遥感影像监督分类，具有较高的分类精度。

2 BP 神经网络

2.1 网络结构

BP神经网络的结构一般包括输入层、中间隐层、输出层。在模式识别中，输入层的神经元个数等于输入的特征个数，输出层的神经元个数等于需要分类的类别数。隐层可以为一层或多层，但一般的实际应用中一层隐层就可以满足要求。而各隐层的神经元个数需要根据实际问题的复杂度而定。以单隐层为例，其结构示意图如图1。

为了实现一种通用的遥感影像分类手段，除了提供默认的网络结构外，还为使用者提供了根据实际问题的复杂度自行确定网络隐层数与各隐层神经元数的功能。这为一些高级用户提供了灵活性，但这种灵活性在一定程度上增加了使用的难度，有时也需要一个实验的过程，才能取得满意的效果。

图1 BP 神经网络结构

2.2 BP 学习算法

算法的基本步骤如下：

（1）将全部权值与节点的阈值预置为一个小的随机数。

（2）加载输入与输出。在n个输入节点上加载一n维向量X，并指定每一输出节点的期望值。每次训练可以选取新的同类或者异类样本，直到权值对各类样本达到稳定。

（3）计算实际输出y₁，y₂，…，y_n。

（4）修正权值。权值修正采用了最小均方（LMS）算法的思想，其过程是从输出节点开始，反向地向第一隐层传播由总误差诱发的权值修正。下一时刻的互连权值W_ij （t＋1）由下式给出：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

式中，j为本节点的输出；i则是隐层或者输入层节点的序号；

或者是节点i的输出，或者是外部输入；η 为学习率；α为动量率；δ_j为误差项，其取值有两种情况：

A.若j为输出节点，则：

δ_j＝y_j（1 －y_j）（t_j －y_j）

其中，t_j为输出节点 j 的期望值，y_j为该节点的实际输出值；

B.若j为内部隐含节点，则：

土地信息技术的创新与土地科学技术发展：2006年中国土地学会学术年会论文集

其中k为j节点所在层之上各层的全部节点。

（5）在达到预定的误差精度或者循环次数后退出，否则，转（2）。

2.3 基于遗传算法的网络学习算法

遗传算法具有全局寻优、不易陷入局部极小的优点，但局部寻优的能力较差。而BP学习算法却具有局部寻优的优势。因此，如果将两种算法结合起来构成混合训练算法，则可以相互取长补短获得较好的分类效果。主要思路如下：

（1）利用遗传算法确定最优个体

A.把全部权值、阈值作为基因进行实数编码，形成具有M个基因的遗传个体结构，其中M等于所有权值、阈值的个数。

B.设定种群规模N，随机初始化这N个具有M个基因的结构。

C.适应度的计算：分别用训练样本集对N组权值、阈值进行训练，得出各自网络期望输出与网络实际输出的总误差e，适应度f＝1.0－e。

D.进行遗传算子操作，包括选择算子、交叉算子和变异算子，形成新的群体：其中，选择算子采用了轮盘赌的方法，交叉算子采用了两点交叉。

E.反复进行C、D两步，直到满足停止条件为止。停止条件为：超出最大代数、最优个体精度达到了规定的精度。

（2）把经过 GA 优化后的最优个体进行解码操作，形成 BP 神经网络的初始权值和阈值。

（3）采用BP学习算法对网络进行训练，直到满足停止条件。停止条件为：①达到最大迭代次数；②总体误差小于规定的最小误差。

网络训练结束后，把待分数据输入训练好的神经网络，进行分类，就可以得到分类结果影像图。

3 应用实例

实现环境为VC＋ ＋6.0，并基于Mapgis的二次开发平台，因为二次平台提供了一些遥感影像的基本处理函数，如底层的一些读取文件的基本操作。

实验中使用的遥感影像大小为500×500，如图1所示。该影像是一美国城市1985年的遥感影像图。根据同地区的SPOT影像及相关资料，把该区地物类别分为8类，各类所对应的代码为：C1为水体、C2为草地、C3为绿化林、C4为裸地、C5为大型建筑物、C6为军事基地、C7为居民地、C8为其他生活设施（包括街道、道路、码头等）。其中，居民地、军事设施、其他生活设施的光谱特征比较接近。

图1 TM 原始影像 （5，4，3 合成）

在网络训练之前，经过目视解译，并结合一些相关资料，从原始图像上选取了3589个类别已知的样本组成原始样本集。要求原始样本具有典型性、代表性，并能反映实际地物的分布情况。把原始样本集进行预处理，共得到2979个纯净样本。这些预处理后的样本就组成训练样本集。

网络训练时的波段选择为TM1、TM2、TM3、TM4、TM5、TM7 共6个波段。另外，由于所要分类的类别数为8，因此，网络结构为：输入层节点数为6，输出层节点数为8，隐层数为1，隐层的节点数为10，然后用训练样本集对网络进行训练。在训练网络的时候，其训练参数分别为：学习率为0.05，动量率为0.5，最小均方误差为0.1，迭代次数为1000。把训练好的网络对整幅遥感影像进行分类，其分类结果如下面图2所示。

图2 分类结果

为了测试网络的分类精度，在分类完成后，需要进行网络的测试。测试样本的选取仍然采用与选取训练样本集一样的方法在原始影像上进行选取，即结合其他资料，进行目视判读，在原始图像上随机选取类别已知的样本作为测试样本。

利用精度评价模块，把测试样本集与已分类图像进行比较，得到分类误差矩阵以及各种分类精度评价标准，如表1 所示：

表1 分类误差矩阵

总体精度：0.91，Kappa系数：0.90。

从表1 可以看出，采用测试样本集进行测试，大部分地物的分类精度都达到了 0.9以上，只有居民地和其他生活设施的精度没有达到，但也分别达到了0.89 和0.77，总的分类精度为0.91。Kappa系数在遥感影像分类精度评价中应用极为广泛，在本次测试中其值为0.90。从上面的分析可以看出，利用基于遗传算法的BP神经网络进行遥感影像分类，其分类精度较高，取得了令人满意的效果。

4 结论

与传统的基于统计理论的分类方法相比，BP神经网络分类不要求训练样本正态分布，并且具有复杂的非线性映射能力，更适合于日益激增的海量高光谱遥感数据的处理。但BP神经网络也有易陷于局部极小、不易收敛等缺陷。

初始权值和阈值设置不当，是引起网络易陷于局部极小、不易收敛的重要原因。在实验中，利用遗传算法的全局寻优能力来确定BP网络的初始权值和阈值，使得所获取的初始权值和阈值是一组全局近似最优解。然后，利用BP学习算法的局部寻优能力对网络权值和阈值进行精细调整。这样，训练后的稳定网络，不但具有较强的非线性映射能力，而且总可以得到一组均方误差最小的全局最优解。

实验表明，利用上述的基于遗传算法的BP神经网络进行遥感影像分类，只要所选取的训练样本具有代表性，能反映实际地物的分布情况，就能够得到较高的分类精度，具有较强的实际应用价值。

参考文献

H.Yang et al，A Back-propagation neural networkmfor mineralogical mapping fromAVIRIS data，Int.J.Remote sensing，20 （1）：97～110

Arti Alessandro，et al.Speed up learning and network optimization with extended back propogation.Neural Networks，1993，6：365～383

Patrick P.Minimization methods for training feed forward neural networks.Neural Networks，1994，7：1～12

Goldberg D E.Genetic algorithms in Search Optimization and Machine Learing.MA：Addison-Wesley，1989

Rudolph Gunter.Convergence analysis of canonical genetic algorithms.IEEE Transactions on Neural Networks，1994，5 （1）；102～119

Fang J，Xi Y.Toward design based on evolutionary programming.ArtificialIntel.Eng.，1997，11 （2）：155～161

Park Y R，et al.Prediction sun spots using layered perception neural network.IEEE Trans.on Neural Netorks，1996，7 （2）：501～505

杨行峻、郑君里.人工神经网络与盲信号处理［M］.北京：清华出版社，2003，23～40

周成虎、骆剑成等.遥感影像地学理解与分析［M］.北京：科学出版社，2001，228～238

王耀男.卫星遥感图像的神经网络自动识别［J］.湖南大学学报，1998，61～66

江东，王建华.人工神经网络在遥感中的应用与发展.国土与资源遥感，1999，13～18

E. bp算法在人工神经网络中的作用是什么

BP（Back Propagation）算法是一种常用的人工神经网络训练算法，是通过反向传播来调整神经网络权值的算法。在人工神经网络中，BP算法的作用是帮助神经网络对输入的数据进行学习，并通过学习来调整神经网络的权值，以使得神经网络能够较好地对未知数据进行预测。