❶ 神经网络的隐含层和输出层都有激励函数吗，激励函数可以任意选吗，权值调整用的函数和激励函数有关吗
当然都来有激励函数了，源激励函数理论上是可以任意选，但是在实际应用的时候并不是任何函数都适合。常用的激励函数有三种：阈值型、线性型和Sigmoid型。
权值的调整和所选的激励函数有关，因为你要把各层上的数据代入激励函数进行运算，不同的激励函数结果肯定也不一样。就像两个不同的函数，将同一个x值代入结果当然不一样。
❷ tanh函数与sigmod函数哪个更好
The tanh activation usually works better than sigmoid activation function for hidden units because the mean of its output is closer to zero, and so it centers the data better for the next layer.
tanh函数的输出更利于下一层神经元的处理，尤其是数据的集中化；
不过在一些二分类的场景，还是sigmod更适合作为输出层
❸ 贝叶斯神经网络
通过优化的标准神经网络训练（从概率的角度来看）等同于权重的最大似然估计（MLE）。由于许多原因，这往往是不能令人满意的 —— 使用 MLE 会忽略在适当的权重值中可能存在的任何不确定性，即无法正确评估训练数据中的不确定性，从实际的角度来看，这种类型的训练容易出现过拟合现象。
对此的一个解决方案是引入正则化（从贝叶斯的角度来看，这相当于在权重上引入先验）。如果我们可以通过规范模型来解决过度自信决策和防止模型过度拟合的问题，那为什么我们需要贝叶斯神经网络？答案是： 当前神经网络架构中缺少预测中的不确定性度量，但贝叶斯神经网络将其纳入其中 。BNN 在特定环境中很重要，特别是当我们非常关心不确定性时，贝叶斯方法自然地解释了参数估计中的不确定性，并且可以将这种不确定性传播到预测中。
深度神经网络已成功应用于许多领域，包括非常敏感的领域，如医疗保健，安全性，欺诈性交易等等。这些领域在很大程度上依赖于模型的预测准确性，甚至一个过度自信的决策也可能导致一个大问题。此外，这些领域具有非常不平衡的数据集（百万个交易中的一个是欺诈性交易，百分之五的癌症检测结果是阳性，不到百分之一的电子邮件是垃圾邮件），容易导致该模型过度拟合。
从概率论的角度来看，使用单点估计权重以进行分类是不合理的。而贝叶斯神经网络对于过拟合更加鲁棒，并且可以从小数据集中轻松学习。 贝叶斯方法将其参数以概率分布的形式表示以提供不确定性估计；同时，通过使用先验概率分布的形式来表示参数，训练期间在许多模型上计算平均值，这给网络提供了正则化效果，从而防止过度拟合 。
在标准神经网络中，权重由单个点表示。 而贝叶斯神经网络以分布形式表示权重，如下图所示：
即使使用少量参数，在贝叶斯神经网络中推断后验模型也是一项艰巨的任务，因此通常使用后验模型的近似值，变分推理是一种流行的方法。人们将使用简单的变分分布（例如高斯分布）对后验进行模拟，并尝试调整分布的参数使其尽可能接近真实的后验 —— 通过最小化这种简单变分分布和真实后验之间的 KL 散度来完成。
但是用于逼近 BNN 后验的变分方法在计算上可能相当昂贵，因为使用近似分布会大大增加模型参数的数量，但不会大幅增加模型容量。例如，使用 BNN 后验近似的高斯分布，模型参数的数量增加了一倍，但报告了与使用丢失的传统方法相同的预测性能。 这使得该方法在实践中不适合与 CNN 一起使用，因为参数数量的增加太昂贵。
关于神经网络权重的精确贝叶斯推断是难以处理的，因为参数的数量非常大，并且神经网络的函数形式不适合精确积分。 因此，我们用变分概率分布 q θ (w | D) 逼近难以处理的真实后验概率分布 p(w | D)，它包括高斯分布的性质 μ∈ℝ d 和 σ∈ℝ d ，表示为 N（θ | μ，σ²），其中 d 是定义概率分布的参数总数。 这些高斯变分后验概率分布的形状由它们的方差 σ² 确定，表示每个模型参数的不确定性估计。
在观察数据之前定义先验概率分布，一旦观察到数据（训练数据），学习就发生并且分布变换为后验分布。 利用概率论从数据中学习构成了贝叶斯学习的基础。贝叶斯定理如下：
P(θ | x) 为后验概率，也是我们想要计算的；P(θ) 为先验概率，在训练数据之前就是已知的；P(x | θ) 为可能性，显示了数据分布；P(x) 为证据，我们只能通过对所有可能的模型值积分来计算其值：
这使得问题变得棘手，因此我们采用变分近似来找到近似贝叶斯后验分布。
首先，我们的原始目标是，需要根据已有数据推断需要的分布 p；当 p（下图中黄色区域）不容易表达，不能直接求解时，可以尝试用变分推断的方法， 即，寻找容易表达和求解的分布 q（下图中红线和绿线构成的区域），当 q 和 p 的差距很小的时候，q 就可以作为 p 的近似分布，成为输出结果了。例如，我们用 q θ (w | D) 来近似 p(w | D)。首先注意 q θ (w | D) 的表达，其中 w 是变量，θ 是后验概率分布 q 的参数。所以在构造 q 的时候也分两步：第一，概率分布的选择；第二，参数的选择。第一步，我们在选择 q 的概率分布时，通常会直观选择 p 可能的概率分布，这样能够更好地保证 q 和 p 的相似程度。例如高斯混合模型中，原始假设 p 服从高斯分布，则构造的 q 依然服从高斯分布。之后，我们通过改变 θ，使得 q 不断逼近 p。
我们希望尽可能接近真正的分布，这可以通过最小化两者之间的 Kullback-Liebler（KL）散度来做到这一点。然而 KL 的表达式中依然有一部分不可求的后验概率，这个问题仍然是棘手的，所以用到了 ELBO：
但是由于积分的存在，这个公式仍然难以解决。此时，我们可以从近似函数 q θ (w | D) 中进行采样，因为从近似函数中采样权值要比真正的后验函数 p(w | D) 更容易。这样得到容易计算的函数：
这些采样权值 w 被用于神经网络的反向传播，学习后验分布。
贝叶斯建模中，存在两种类型的不确定：偶然不确定性和认知不确定性。
可以通过在模型参数或模型输出上放置概率分布来估计不确定性 。通过在模型的权重上放置先验分布，然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。另一方面，通过在模型的输出上放置分布来模拟偶然不确定性。
传统神经网络常使用反向传播来训练。对于 BNN，其自然地解释了参数估计中的不确定性，并且可以将这种不确定性传播到预测结果中；此外，对参数值进行取平均而不是仅选择单点估计值使得模型不易出现过拟合。因此，对 BNN 参数的训练也需要特殊的训练方法，Bayes by Backprop 就是其中一种（它也是一种变分推断）。
Bayes by Backprop 用来学习神经网络权重的概率分布。它是一种变分推理方法，用于学习神经网络权重 w ~ q θ (w | D) 的后验分布，可以在反向传播中对权重 w 进行采样。整个方法可归纳如下：
由于参数数目较大，所以需要对模型权重进行适当的修剪。模型修剪减少了深度神经网络的各种连接矩阵中的稀疏性，从而减少了模型中有价值的参数的数量。模型修剪的整个想法是减少参数的数量而不会损失模型的准确性。最常用的修剪模型的方法是将低贡献权重映射到零并减少整体非零值权重的数量，可以通过训练大型稀疏模型并进一步修剪来实现。
（这部分内容摘自 一个例子搞清楚 先验分布/后验分布/似然估计 ）
给定一些数据样本 x，假定我们知道样本是从某一种分布中随机取出的，但我们不知道这个分布具体的参数 θ。
因为给定样本 x 后， p(x) 会在 θ 空间上为一个定值，和 θ 的大小没有关系，所以可以省略分母 p(x)。 可化简为：
p(x) 相当于是一个归一化项，整个公式就表示为： Posterior∝(Likelihood∗Prior)（后验概率 正比于 先验概率 ∗ 似然函数）
需要一提的是，对贝叶斯 CNN 而言，不仅在卷积层中将概率分布置于权重上，还要求在全连接层中将概率分布置于权重上。
假设权重的变分后验概率分布 q θ (w ijhw | D) = N(μ ijhw ，α ijhw μ 2 ijhw )（其中，i 和 j 分别对应输入和输出层数，h 和 w 分别对应过滤器的高度和宽度），那么卷积公式被重定义为：
其中，ε j ~ N(0，1)，A i 为过滤器在第 i 层要卷积的部分，b j 为相应的第 j 层的激活值，∗ 为卷积操作，⊙ 为元素乘法(component-wise multiplication)。
对 CNN 的权重应用概率分布而非单点值，并且要在反向传播时更新变分后验概率分布 q θ (w | D)，关键在于过滤器会执行两次卷积操作（在单点预测的 CNN 中只执行一次卷积）。
从前面的公式我们看到，卷积操作的输出 b 是期望 μ ijhw 和方差 α ijhw μ 2 ijhw 的函数，因此我们可以分别计算出 μ ijhw 和 α ijhw μ 2 ijhw 的值，从而可以得到一个高斯概率分布。方法就是执行两次卷积操作：第一次，我们将 b 视为通过频率推理更新的 CNN 的输出，将单点估计值解释为变分后验概率分布的期望；第二次，我们将得到方差。通过这种方式，我们确保每个卷积操作只更新一个参数（第一次为 μ ijhw ，第二次为 α ijhw ），这与通过频率推断更新的 CNN 完全相同。
实际上，当我们执行第一次卷积操作，我们得到的是 q θ (w | D) 的最大后验概率，而第二次卷积操作则是得出权重 w 偏离了最大后验概率多少。另外，为了加速计算，确保方差 α ijhw μ 2 ijhw 为非零正数，并提到准确度，我们学习 logα ijhw 并使用 Softplus 激活函数。
在分类任务中，我们关注的是 P D (y* | x*)；对于贝叶斯神经网络，其被表示为：
在 Bayes by Backprop 中，q θ (w | D) ~ N(w | μ, σ 2 )，而 θ = {μ, σ} 在数据集 D = {x i , y i } n i=1 的训练中学习得到。由于分类问题多是离散的，因此：
其中，Σ c f(x c ∗ | w) = 1，C 为总类数。通过从 q θ (w | D) 取样，可以获得期望值的无偏估计：
T 为样本数量。这个估计值允许我们评估预测值的不确定性，因此称为预测方差，用 Var q 表示：
这个值可以进一步分为偶然不确定性和认知不确定性：
由于贝叶斯 CNN 中的权重都由期望和方差来表示其分布，因此，相较于单点估计 CNN，贝叶斯 CNN 的参数数量翻了一倍。为了使贝叶斯 CNN 参数数量等于传统 CNN，可以使 BCNN 的过滤器数目减半。
另一种模型修剪的技术是对每层的权重使用 L1 归一化。通过 L1 归一化，我们使各模型层中的权重向量变得非常稀疏，即大部分矩阵元素变得接近零；同时，剩余的非零元素则捕获数据的最重要特征。我们设置一个阈值，如果该值低于阈值，则使权重为零。通过只保留非零权重，可以减少模型的参数数量，而不会影响模型的整体性能。
看了一些国内的论文，将贝叶斯应用于 BP 神经网络优化，往往是利用贝叶斯定理寻找最优神经网络参数，以解决神经网络权值易陷入局部最优的问题，同时也能解决神经网络过拟合。其中心思想在于： 根据给定的先验分布，利用贝叶斯定理考察神经网络参数的不确定性，从样本数据中，获得网络结构的后验概率，那么，使得该后验概率最大化的网络参数即为所需的最优参数 （我认为这其实是 MAP 而非贝叶斯估计）。最优参数定义为：
为方便计算，对后验概率取对数得到：
假设先验概率分布 p(w) 满足高斯分布：
则有：
上式中，似然函数部分对应于目标函数中的适应度函数，而先验概率部分对应于正则项，因此我们可以通过确定先验概率得到正则项，从而对神经网络的目标函数进行优化，进而有效控制网络规模，提高网络泛化能力。
后验分布是人们在获得样本数据 D 之后对参数 w 的一种调整。 贝叶斯把上一步得到的后验分布信息储存起来，在将来做推测时，上一步的后验信息就成为了先验信息 ，这样持续数次操作之后，样本数据的预测结果会一直进行调整，最后对参数估计的结果精确度更高。
神经网络中最重要的两个性能参数就是权值和阈值，而这两个参数的分布情况受到了目标函数中超参数的控制，但一般的算法不能确定超参数的取值。可以利用贝叶斯定理来求取目标函数的超参数，并且要求达到自主调节超参数取值的目标，并且通过持续的调整最后找到最优的取值，相应的确定 BP 神经网络的最优权值和阈值。
❹ BP神经网络，输出层采用线性函数和非线性函数区别大嘛或者是预测精度会有差别嘛求告知
具体选取一般跟你神经网络的用途有关系，也就是说你期望的输出到底内是什么有关系容。一般现在多分类问题，最后输出概率的，输出层激活函数都是softmax函数。二分类问题，输出标签的话，用sigmoid函数也可以。
你要是输出值是具体一个算的值，跟概率什么的都没有关系，那用线性函数直接输出也行。比如你这是一个预测问题，根据输入的数据得到一个预测值，那可以使用线性函数。
❺ 各种遥感数据分类方法比较
常用的遥感数据的专题分类方法有多种，从分类判别决策方法的角度可以分为统计分类器、神经网络分类器、专家系统分类器等；从是否需要训练数据方面，又可以分为监督分类器和非监督分类器。
一、统计分类方法
统计分类方法分为非监督分类方法和监督分类方法。非监督分类方法不需要通过选取已知类别的像元进行分类器训练，而监督分类方法则需要选取一定数量的已知类别的像元对分类器进行训练，以估计分类器中的参数。非监督分类方法不需要任何先验知识，也不会因训练样本选取而引入认为误差，但非监督分类得到的自然类别常常和研究感兴趣的类别不匹配。相应地，监督分类一般需要预先定义分类类别，训练数据的选取可能会缺少代表性，但也可能在训练过程中发现严重的分类错误。
1.非监督分类器
非监督分类方法一般为聚类算法。最常用的聚类非监督分类方法是 K-均值（K-Means Algorithm）聚类方法（Duda and Hart，1973）和迭代自组织数据分析算法（ISODATA）。其算法描述可见于一般的统计模式识别文献中。
一般通过简单的聚类方法得到的分类结果精度较低，因此很少单独使用聚类方法进行遥感数据专题分类。但是，通过对遥感数据进行聚类分析，可以初步了解各类别的分布，获取最大似然监督分类中各类别的先验概率。聚类分析最终的类别的均值矢量和协方差矩阵可以用于最大似然分类过程（Schowengerdt，1997）。
2.监督分类器
监督分类器是遥感数据专题分类中最常用的一种分类器。和非监督分类器相比，监督分类器需要选取一定数量的训练数据对分类器进行训练，估计分类器中的关键参数，然后用训练后的分类器将像元划分到各类别。监督分类过程一般包括定义分类类别、选择训练数据、训练分类器和最终像元分类四个步骤（Richards，1997）。每一步都对最终分类的不确定性有显著影响。
监督分类器又分为参数分类器和非参数分类器两种。参数分类器要求待分类数据满足一定的概率分布，而非参数分类器对数据的概率分布没有要求。
遥感数据分类中常用的分类器有最大似然分类器、最小距离分类器、马氏距离分类器、K-最近邻分类器（K-Nearest neighborhood classifier，K-NN）以及平行六面体分类器（parallelepiped classifier）。最大似然、最小距离和马氏距离分类器在第三章已经详细介绍。这里简要介绍 K-NN 分类器和平行六面体分类器。
K-NN分类器是一种非参数分类器。该分类器的决策规则是：将像元划分到在特征空间中与其特征矢量最近的训练数据特征矢量所代表的类别（Schowengerdt，1997）。当分类器中 K=1时，称为1-NN分类器，这时以离待分类像元最近的训练数据的类别作为该像元的类别；当 K ＞1 时，以待分类像元的 K 个最近的训练数据中像元数量最多的类别作为该像元的类别，也可以计算待分类像元与其 K 个近邻像元特征矢量的欧氏距离的倒数作为权重，以权重值最大的训练数据的类别作为待分类像元的类别。Hardin，（1994）对 K-NN分类器进行了深入的讨论。
平行六面体分类方法是一个简单的非参数分类算法。该方法通过计算训练数据各波段直方图的上限和下限确定各类别像元亮度值的范围。对每一类别来说，其每个波段的上下限一起就形成了一个多维的盒子（box）或平行六面体（parallelepiped）。因此 M 个类别就有M 个平行六面体。当待分类像元的亮度值落在某一类别的平行六面体内时，该像元就被划分为该平行六面体代表的类别。平行六面体分类器可以用图5-1中两波段的遥感数据分类问题来表示。图中的椭圆表示从训练数据估计的各类别亮度值分布，矩形表示各类别的亮度值范围。像元的亮度落在哪个类别的亮度范围内，就被划分为哪个类别。
图5-1 平行六面体分类方法示意图
3.统计分类器的评价
各种统计分类器在遥感数据分类中的表现各不相同，这既与分类算法有关，又与数据的统计分布特征、训练样本的选取等因素有关。
非监督聚类算法对分类数据的统计特征没有要求，但由于非监督分类方法没有考虑任何先验知识，一般分类精度比较低。更多情况下，聚类分析被作为非监督分类前的一个探索性分析，用于了解分类数据中各类别的分布和统计特征，为监督分类中类别定义、训练数据的选取以及最终的分类过程提供先验知识。在实际应用中，一般用监督分类方法进行遥感数据分类。
最大似然分类方法是遥感数据分类中最常用的分类方法。最大似然分类属于参数分类方法。在有足够多的训练样本、一定的类别先验概率分布的知识，且数据接近正态分布的条件下，最大似然分类被认为是分类精度最高的分类方法。但是当训练数据较少时，均值和协方差参数估计的偏差会严重影响分类精度。Swain and Davis（1978）认为，在N维光谱空间的最大似然分类中，每一类别的训练数据样本至少应该达到10×N个，在可能的条件下，最好能达到100×N以上。而且，在许多情况下，遥感数据的统计分布不满足正态分布的假设，也难以确定各类别的先验概率。
最小距离分类器可以认为是在不考虑协方差矩阵时的最大似然分类方法。当训练样本较少时，对均值的估计精度一般要高于对协方差矩阵的估计。因此，在有限的训练样本条件下，可以只估计训练样本的均值而不计算协方差矩阵。这样最大似然算法就退化为最小距离算法。由于没有考虑数据的协方差，类别的概率分布是对称的，而且各类别的光谱特征分布的方差被认为是相等的。很显然，当有足够训练样本保证协方差矩阵的精确估计时，最大似然分类结果精度要高于最小距离精度。然而，在训练数据较少时，最小距离分类精度可能比最大似然分类精度高（Richards，1993）。而且最小距离算法对数据概率分布特征没有要求。
马氏距离分类器可以认为是在各类别的协方差矩阵相等时的最大似然分类。由于假定各类别的协方差矩阵相等，和最大似然方法相比，它丢失了各类别之间协方差矩阵的差异的信息，但和最小距离法相比较，它通过协方差矩阵保持了一定的方向灵敏性（Richards，1993）。因此，马氏距离分类器可以认为是介于最大似然和最小距离分类器之间的一种分类器。与最大似然分类一样，马氏距离分类器要求数据服从正态分布。
K-NN分类器的一个主要问题是需要很大的训练数据集以保证分类算法收敛（Devijver and Kittler，1982）。K-NN分类器的另一个问题是，训练样本选取的误差对分类结果有很大的影响（Cortijo and Blanca，1997）。同时，K-NN分类器的计算复杂性随着最近邻范围的扩大而增加。但由于 K-NN分类器考虑了像元邻域上的空间关系，和其他光谱分类器相比，分类结果中“椒盐现象”较少。
平行六面体分类方法的优点在于简单，运算速度快，且不依赖于任何概率分布要求。它的缺陷在于：首先，落在所有类别亮度值范围之外的像元只能被分类为未知类别；其次，落在各类别亮度范围重叠区域内的像元难以区分其类别（如图5-1所示）。
各种统计分类方法的特点可以总结为表5-1。
二、神经网络分类器
神经网络用于遥感数据分类的最大优势在于它平等地对待多源输入数据的能力，即使这些输入数据具有完全不同的统计分布，但是由于神经网络内部各层大量的神经元之间连接的权重是不透明的，因此用户难以控制（Austin，Harding and Kanellopoulos et al.，1997）。
神经网络遥感数据分类被认为是遥感数据分类的热点研究领域之一（Wilkinson，1996；Kimes，1998）。神经网络分类器也可分为监督分类器和非监督分类器两种。由于神经网络分类器对分类数据的统计分布没有任何要求，因此神经网络分类器属于非参数分类器。
遥感数据分类中最常用的神经网络是多层感知器模型（multi-layer percep-tron，MLP）。该模型的网络结构如图5-2所示。该网络包括三层：输入层、隐层和输出层。输入层主要作为输入数据和神经网络输入界面，其本身没有处理功能；隐层和输出层的处理能力包含在各个结点中。输入的结构一般为待分类数据的特征矢量，一般情况下，为训练像元的多光谱矢量，每个结点代表一个光谱波段。当然，输入结点也可以为像元的空间上下文信息（如纹理）等，或多时段的光谱矢量（Paola and Schowengerdt，1995）。
表5-1 各种统计分类器比较
图5-2 多层感知器神经网络结构
对于隐层和输出层的结点来说，其处理过程是一个激励函数（activation function）。假设激励函数为f（S），对隐层结点来说，有：
遥感信息的不确定性研究
其中，pi为隐层结点的输入；hj为隐层结点的输出；w为联接各层神经之间的权重。
对输出层来说，有如下关系：
遥感信息的不确定性研究
其中，hj为输出层的输入；ok为输出层的输出。
激励函数一般表达为：
遥感信息的不确定性研究
确定了网络结构后，就要对网络进行训练，使网络具有根据新的输入数据预测输出结果的能力。最常用的是后向传播训练算法（Back-Propagation）。这一算法将训练数据从输入层进入网络，随机产生各结点连接权重，按式（5-1）（5-2）和（5-3）中的公式进行计算，将网络输出与预期的结果（训练数据的类别）相比较并计算误差。这个误差被后向传播的网络并用于调整结点间的连接权重。调整连接权重的方法一般为delta规则（Rumelhart，et al.，1986）：
遥感信息的不确定性研究
其中，η为学习率（learning rate）；δk为误差变化率；α为动量参数。
将这样的数据的前向和误差后向传播过程不断迭代，直到网络误差减小到预设的水平，网络训练结束。这时就可以将待分类数据输入神经网络进行分类。
除了多层感知器神经网络模型，其他结构的网络模型也被用于遥感数据分类。例如，Kohonen自组织网络被广泛用于遥感数据的非监督聚类分析（Yoshida et al.，1994；Schaale et al.，1995）；自适应共振理论（Adaptive Resonance Theory）网络（Silva，S and Caetano，M.1997）、模糊ART图（Fuzzy ART Maps）（Fischer，M.M and Gopal，S，1997）、径向基函数（骆剑承，1999）等也被用于遥感数据分类。
许多因素影响神经网络的遥感数据分类精度。Foody and Arora（1997）认为神经网络结构、遥感数据的维数以及训练数据的大小是影响神经网络分类的重要因素。
神经网络结构，特别是网络的层数和各层神经元的数量是神经网络设计最关键的问题。网络结构不但影响分类精度，而且对网络训练时间有直接影响（Kavzoglu and Mather，1999）。对用于遥感数据分类的神经网络来说，由于输入层和输出层的神经元数目分别由遥感数据的特征维数和总的类别数决定的，因此网络结构的设计主要解决隐层的数目和隐层的神经元数目。一般过于复杂的网络结构在刻画训练数据方面较好，但分类精度较低，即“过度拟合”现象（over-fit）。而过于简单的网络结构由于不能很好的学习训练数据中的模式，因此分类精度低。
网络结构一般是通过实验的方法来确定。Hirose等（1991）提出了一种方法。该方法从一个小的网络结构开始训练，每次网络训练陷入局部最优时，增加一个隐层神经元，然后再训练，如此反复，直到网络训练收敛。这种方法可能导致网络结构过于复杂。一种解决办法是每当认为网络收敛时，减去最近一次加入的神经元，直到网络不再收敛，那么最后一次收敛的网络被认为是最优结构。这种方法的缺点是非常耗时。“剪枝法”（pruning）是另一种确定神经网络结构的方法。和Hirose等（1991）的方法不同，“剪枝法”从一个很大的网络结构开始，然后逐步去掉认为多余的神经元（Sietsma and Dow，1988）。从一个大的网络开始的优点是，网络学习速度快，对初始条件和学习参数不敏感。“剪枝”过程不断重复，直到网络不再收敛时，最后一次收敛的网络被认为最优（Castellano，Fanelli and Pelillo，1997）。
神经网络训练需要训练数据样本的多少随不同的网络结构、类别的多少等因素变化。但是，基本要求是训练数据能够充分描述代表性的类别。Foody等（1995）认为训练数据的大小对遥感分类精度有显著影响，但和统计分类器相比，神经网络的训练数据可以比较少。
分类变量的数据维对分类精度的影响是遥感数据分类中的普遍问题。许多研究表明，一般类别之间的可分性和最终的分类精度会随着数据维数的增大而增高，达到某一点后，分类精度会随数据维的继续增大而降低（Shahshahani and Landgrebe，1994）。这就是有名的Hughes 现象。一般需要通过特征选择去掉信息相关性高的波段或通过主成分分析方法去掉冗余信息。分类数据的维数对神经网络分类的精度同样有明显影响（Battiti，1994），但Hughes 现象没有传统统计分类器中严重（Foody and Arora，1997）。
Kanellopoulos（1997）通过长期的实践认为一个有效的ANN模型应考虑以下几点：合适的神经网络结构、优化学习算法、输入数据的预处理、避免振荡、采用混合分类方法。其中混合模型包括多种ANN模型的混合、ANN与传统分类器的混合、ANN与知识处理器的混合等。
三、其他分类器
除了上述统计分类器和神经网络分类器，还有多种分类器被用于遥感图像分类。例如模糊分类器，它是针对地面类别变化连续而没有明显边界情况下的一种分类器。它通过模糊推理机制确定像元属于每一个类别的模糊隶属度。一般的模糊分类器有模糊C均值聚类法、监督模糊分类方法（Wang，1990）、混合像元模型（Foody and Cox，1994；Settle and Drake，1993）以及各种人工神经网络方法等（Kanellopoulos et al.，1992；Paola and Schowengerdt，1995）。由于模糊分类的结果是像元属于每个类别的模糊隶属度，因此也称其为“软分类器”，而将传统的分类方法称为“硬分类器”。
另一类是上下文分类器（contextual classifier），它是一种综合考虑图像光谱和空间特征的分类器。一般的光谱分类器只是考虑像元的光谱特征。但是，在遥感图像中，相邻的像元之间一般具有空间自相关性。空间自相关程度强的像元一般更可能属于同一个类别。同时考虑像元的光谱特征和空间特征可以提高图像分类精度，并可以减少分类结果中的“椒盐现象”。当类别之间的光谱空间具有重叠时，这种现象会更明显（Cortijo et al.，1995）。这种“椒盐现象”可以通过分类的后处理滤波消除，也可以通过在分类过程中加入代表像元邻域关系的信息解决。
在分类过程中可以通过不同方式加入上下文信息。一是在分类特征中加入图像纹理信息；另一种是图像分割技术，包括区域增长/合并常用算法（Ketting and Landgrebe，1976）、边缘检测方法、马尔可夫随机场方法。Rignot and Chellappa（1992）用马尔可夫随机场方法进行SAR图像分类，取得了很好的效果，Paul Smits（1997）提出了保持边缘细节的马尔可夫随机场方法，并用于SAR图像的分类；Crawford（1998）将层次分类方法和马尔可夫随机场方法结合进行SAR图像分类，得到了更高的精度；Cortijo（1997）用非参数光谱分类对遥感图像分类，然后用ICM算法对初始分类进行上下文校正。