『壹』 人工神经网络怎样实现自组织,自适应，自学习
人工神经网络就像一个黑盒子，用于模拟任意函数。根据一定的训练样本(即所需模内拟函数已知的输入和输出关系)神经容网络可以改变其内部结构使其模型特性逼近训练样本。即所谓的自学习，自组织和自适应。并且，由于神经网络是采用整体逼近的方式，不会由于个别样本误差而影响整个模型特性，即所谓容错特性。
其实用仿生的例子更容易理解，就像一个婴儿，父母不断教他说话，他最终能学习理解父母语言的意思，并且偶尔父母说错一两个字，孩子也能听懂。
『贰』 为什么BP神经网络是有限自适应的
算法都是有自身的缺陷的吧，要不也不会出现这么多的神经网络改进的算法回，但是BP神经答网络对大多数的问题都是有一定的处理能力的，只是处理的精度不一定能够达到要求。
优化初始权值，传递函数，以及减小误差的方法都能够针对具体的问题有所改进。
个人的一点见解，共同进步哈！
『叁』 MATLAB神经网络工具箱中训练函数和自适应学习函数区别
训练函数和自适应学习函数区别:
从范围上：
训练函数包含学习专函数，学习函数是属于训练函数的一部属分；
从误差上：
训练函数对整体来说误差是最小，学习函数对于单个神经元来说误差是最小；
从服装整体上：
训练函数是全局调整权值和阈值，学习函数是局部调整权值和阈值。
1. 学习函数
learnp 感知器学习函数
learnpn 标准感知器学习函数
learnwh Widrow_Hoff学习规则
learngd BP学习规则
learngdm 带动量项的BP学习规则
learnk Kohonen权学习函数
learncon Conscience阈值学习函数
learnsom 自组织映射权学习函数
2. 训练函数
trainwb 网络权与阈值的训练函数
traingd 梯度下降的BP算法训练函数
traingdm 梯度下降w/动量的BP算法训练函数
traingda 梯度下降w/自适应lr的BP算法训练函数
traingdx 梯度下降w/动量和自适应lr的BP算法训练函数
trainlm Levenberg_Marquardt的BP算法训练函数
trainwbl 每个训练周期用一个权值矢量或偏差矢量的训练函数
『肆』 BP神经网络的原理的BP什么意思
Back Propagation
BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向版传播和误差的反向传播两个权过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层（隐含层）可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。
神经网络很多种，BP神经网络最常用。
『伍』 神经网络中自适应的梯度下降优化算法（二）
Adagrad算法可以针对不同的参数自适应的采用不同的更新频率，对低频出现的特征采用低的更新率，对高频出现的特征采用高的更新率，因此，对于稀疏的数据它表现的很好，很好的提升了SGD的鲁棒性，在Google的通过Youtube视频识别猫的神经网络训练中有很好的表现。
梯度更新规则:
g(t,i)表示在t时刻目标函数对θ(i)的偏导数。SGD的每个参数的更新过程如下：
Adagrad的每个参数更新过程如下:
G(t)是一个对角矩阵，对角线上的每个元素是t时刻前所有θ(i)的梯度的平方和。ε通常取值在1e-8量级，它的存在是为了避免除数为0。一个有趣的现象是，如果没有平方根操作，算法的表现就非常糟糕。
Adagrad的主要缺点是，它的分母是平方梯度的累积，它的值会一直增加，最终导致学习率衰减到非常小，从而使得学习算法无法进行下去。
TensorFlow实现:
tf.train.AdagradOptimizer(learning_rate, initial_accumulator_value=0.1, use_locking=False, name='Adagrad')
Adadelta算法主要解决Adagrad的缺陷，它不再累加过去所有的梯度，而是仅累积过去固定个数的梯度。
Adadelta不是采用平方梯度的简单累加，而是采用 历史 平方梯度的衰减的平均。
γ通常等于0.9
分母相当于梯度的均方根(root mean squared, RMS)，即将所有值平方求和，求其均值，再开平方，就得到均方根值。
梯度更新规则:
将学习率η设置为
，我们就不需要提前设定学习率。
RMSprop是Geoff Hinton提出的一种自适应学习率的方法，它与Adadelta方法都是为了解决Adagrad学习率急剧下降问题的。它与Adadelta方法是一致的。
梯度更新规则
超参数设定值:
Hinton建议设定γ=0.9, 学习率η=0.001。
TensorFlow实现:
tf.train.RMSPropOptimizer.__init__(learning_rate, decay, momentum=0.0, epsilon=1e-10, use_locking=False, name='RMSProp')
Adam也是对不同的参数自适应设置不同的学习率。它对 历史 梯度和 历史 平方梯度同时采用指数梯度衰减(exponentially decaying average)。
梯度更新规则
Adam作者观察到，如果m(t)和v(t)初始化为零向量，并且衰减率很小时(比如β1和β2都非常接近于1时)，在开始的迭代中，m(t)和v(t)总是向零偏移，所以需要做偏移校正。
然后用校正后的值进行梯度更新:
Adam作者建议β1=0.9,β2=0.999,ε=10^{-8}
，在实践中，Adam比其它算法的效果要好。
TensorFlow实现：
tf.train.AdamOptimizer(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08, use_locking=False, name='Adam')
Adam更新规则中的梯度缩放与 历史 梯度的L2范数成反比。
我们可以把这个规则泛化到Lp范数。
当p值增大的时候，Lp的值往往会变得不稳定，所以在实践中L1和L2使用的比较普遍。但是Adamax作者发现L∞可以收敛到一个稳定值。
然后我们可以采用u(t)代替
来更新Adam中的梯度。
同时u(t)不需要做零偏校正。默认取值建议：
『陆』 神经网络中的训练、学习和自适应有什么区别
神经网络中自适应，应该是指在一些训练算法中，学习速率可以自动调整的自适应过程 查看原帖>>