bp神经网络公式

Ⅰ 用BP神经网络建立数学模型，MATLAB实现，怎样得到输入到输出的计算公式

clear;

%输入数据矩阵
p1=zeros(1,1000);
p2=zeros(1,1000);
for i=1:1000
p1(i)=rand;
p2(i)=rand;
end
p=[p1;p2];
%目标（输出）数据矩阵
t = cos(pi*p1)+sin(pi*p2);
%对训练集中的输入数据矩阵和目标数据矩阵进行归一化处理
[pn, inputStr] = mapminmax(p);
[tn, outputStr] = mapminmax(t);
%建立BP神经网络
net = newff(pn, tn, [200,10]);
%每10轮回显示一次结果
net.trainParam.show = 10;
%最大训练次数
net.trainParam.epochs = 5000;
%网络的学习速率
net.trainParam.lr = 0.05;
%训练网络所要达到的目标误差
net.trainParam.goal = 10^(-8);
%网络误差如果连续6次迭代都没变化，则matlab会默认终止训练。为了让程序继续运行，用以下命令取消这条设置
net.divideFcn = '';
%开始训练网络
net = train(net, pn, tn);
%获取网络权值、阈值
netiw = net.iw;
netlw = net.lw;
netb = net.b;
w1 = net.iw{1,1}; %输入层到隐层1的权值
b1 = net.b{1} ; %输入层到隐层1的阈值
w2 = net.lw{2,1}; %隐层1到隐层2的权值
b2 = net.b{2} ; %隐层1到隐层2的阈值
w3 = net.lw{3,2}; %隐层2到输出层的权值
b3 = net.b{3} ;
in = mapminmax('apply',[0.1;0.5],inputStr);
%用公式计算输出
y=w3*tansig(w2*tansig(w1*in+b1)+b2)+b3;
y1=mapminmax('reverse',y,outputStr);
%用网络验证计算结果
out = sim(net,in);
out1=mapminmax('reverse',out,outputStr);

Ⅱ 反向传播(Back propagation)算法笔记

上学期学习的方向传播算法在此回顾。以下是一些读书笔记，因为好记性不如烂笔头！

Wiki上对反向传播（Back propagation 或者BP）的描述是“误差反向传播”的简称，它是训练人工神经网络的一种常见方法，通常与梯度下降结合使用。该方法计算网络中所有权重的损失函数梯度，并将这些梯度反馈给最优化方法，以更新权值并最小化损失函数。

反向传播通常被认为是一种监督学习方法，因为它需要根据输入值期望得到的已知输出，来计算损失函数的梯度，进而更新权值。但也可以应用于无监督网络。它使用链式法则对网络的每层迭代计算梯度，因此，每个节点的激励函数必须是可微的。

BP算法主要由激励传播和权重更新循环迭代构成，直到网络的输出满足一定条件才停止。

激励传播和权重更新是BP算法的两个关键步骤。由于梯度指向误差扩大的方向，而我们想要的是权重减小的方向，因此在更新权重时需要对其取反。

在推导过程中，我们首先分析神经元的结构，每个神经元由两个部分组成。每个神经元的输出由公式[公式] 表示，其中[公式] 表示神经元i和j之间的权值，[公式] 是上一层神经元的输出。

在BP算法中，误差函数为[公式]，其中t是目标输出，y是神经元的实际输出。其倒数为[公式]。

计算误差对于权重的偏导数是BP算法中最关键的部分。采用梯度下降的方式更新权重，关键是要得到误差对于权重的偏导数[公式]。根据链式法则，偏导数可以表示为[公式]，其中[公式]和[公式]是学习率。

以下是一个三层神经网络的例子，具有两个输入和一个输出。从输入信号开始，计算每个神经元的输出信号[公式]，总共有n个神经元。最终到输出层。

在反向传播阶段，计算[公式]。然后依次计算[公式]，... [公式]。最后更新权值[公式]。

一个回合结束后，重复该过程，直到满足退出条件为止。

Ⅲ 对如下BP神经网络，写出它的计算公式（含学习公式），并对其初始权值以及样本x1=1，x

Ⅳ 【神经网络原理】如何利用梯度下降法更新权重与偏置

损失函数的值减小，意味着神经网络的预测值（实际输出）和标签值（预期的输出）越接近。
损失函数通常为 多元函数 ，其自变量包括网络中包含的所有的权重w、以及所有的偏置b，有的地方也将其称作代价函数(Cost function)或价值函数(Value function)，这里只介绍均方误差损失函数(MSE)：

多元函数的梯度类似于一元函数导数 ：对多元函数各变量依次求一阶偏导，然后将各偏导值组合成一个一维列向量，就得到了该多元函数梯度。损失函数通常为 多元函数 ，其梯度如下：

对于神经网络结构 & 符号约定有疑惑的可以参考我的这篇文章—— 【神经网络原理】神经网络结构 & 符号约定

梯度的负方向 ：因为梯度是一个向量，具有方向性。这里的 下降 是指损失函数值的减小。
那么为什么沿梯度的负方向损失函数值减小最快呢？这里主要利用 多元函数的一阶泰勒展开 （一阶形式还是比较简单的）和 向量点积公式 来证明：

这里只给出了第 l 层的网络参数——权重(矩阵)与偏置(向量)的梯度下降更新公式，其他层网络参数的更新公式同理可得，对符号有疑惑的请参考： 【神经网络原理】神经网络结构 & 符号约定 。

有了各层网络参数(向量/矩阵)的更新公式，其中损失函数对各参数的梯度又该如何求解呢？事实上由于神经网络中参数(权重W和偏置b)通常较多，要想直接求解损失函数对这些参数的梯度，难度极大，所以在实际训练网络时，我们通常采用 反向误差传播，即BP算法 ，巧妙地利用预测值与标签值的残差，从输出层到输入层反向地求解出损失函数对各层网络参数的梯度。