神经网络权值

1. 神经网络的初始权值和阈值为什么都归一化0到1之间呢或是

不一定，也可设置为[-1，1]之间。事实上，必须要有权值为负数，不然只有激活神经元，没有抑制的也不行。至于为什么在[-1，1]之间就足够了，这是因为归一化和Sigmoid函数输出区间限制这两个原因。一般在编程时，设置一个矩阵为bounds=ones(S,1)*[-1,1]; %权值上下界。

在MATLAB中，可以直接使用net = init(net);来初始化。我们可以通过设定网络参数net.initFcn和net.layer{i}.initFcn这一技巧来初始化一个给定的网络。net.initFcn用来决定整个网络的初始化函数。前馈网络的缺省值为initlay，它允许每一层用单独的初始化函数。设定了net.initFcn ，那么参数net.layer{i}.initFcn 也要设定用来决定每一层的初始化函数。对前馈网络来说，有两种不同的初始化方式经常被用到：initwb和initnw。initwb函数根据每一层自己的初始化参数(net.inputWeights{i,j}.initFcn)初始化权重矩阵和偏置。前馈网络的初始化权重通常设为rands，它使权重在-1到1之间随机取值。这种方式经常用在转换函数是线性函数时。initnw通常用于转换函数是曲线函数。它根据Nguyen和Widrow[NgWi90]为层产生初始权重和偏置值，使得每层神经元的活动区域能大致平坦的分布在输入空间。

2. BP神经网络连接权值如何确定

确认方法：
统计学认为，在统计中计算平均数等指标时，对各个变量值回具有权衡轻重答作用的数值就称为权数。
例子：求下列数串的平均数
3、4、3、3、3、2、4、4、3、3、
一般求法为（3＋4＋3＋3＋3＋2＋4＋4＋3＋3）／10＝3．2
加权求法为（6＊3＋3＊4＋2）／10＝3．2
其中3出现6次，4出现3次，2出现1次．6、3、1就叫权数。这种方法叫加权法。
一般说的平均数，就是把所有的数加起来，再除以这些数的总个数。表示为：
(p1+p2+p3+…..+pn)/n;
但有的数据记录中有一些相同的数据，在计算的时候，那一个数有几个相同数，就把这个数乘上几，这个几，就叫权，加权，就是乘上几后再加。平均数还是要除以总个数。
还是以上面的各个数为例：
它们每个数都有一些相同数，表示为：k1,k2,k3…….kn;
加权平均的公式是：（k1p1+k2p2+k3p3+……knpn）/(k1+k2+k3+…..kn)

3. 神经网络权值怎么算

net.iw{1,1}=W0;net.b{1}=B0;
net.iw{1,1}=W0;输入层和隐层间的权值，net.b{1}=B0输入层和隐层间的阈值.

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。

BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了简单感知器不能解决的异或(Exclusive OR，XOR)和一些其他问题。从结构上讲，BP网络具有输入层、隐藏层和输出层；

从本质上讲，BP算法就是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值。

(3)神经网络权值扩展阅读：

BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。

①学习速度慢，即使是一个简单的问题，一般也需要几百次甚至上千次的学习才能收敛。

②容易陷入局部极小值。

③网络层数、神经元个数的选择没有相应的理论指导。

④网络推广能力有限。

对于上述问题，目前已经有了许多改进措施，研究最多的就是如何加速网络的收敛速度和尽量避免陷入局部极小值的问题。

4. 神经网络中权值初始化的方法

神经网络中权值初始化的方法
权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）
常量初始化(constant)
把权值或者偏置初始化为一个常数，具体是什么常数，可以自己定义
高斯分布初始化（gaussian）
需要给定高斯函数的均值与标准差
positive_unitball初始化
让每一个神经元的输入的权值和为 1，例如：一个神经元有100个输入，让这100个输入的权值和为1. 首先给这100个权值赋值为在（0，1）之间的均匀分布，然后，每一个权值再除以它们的和就可以啦。这么做，可以有助于防止权值初始化过大，从而防止激活函数（sigmoid函数）进入饱和区。所以，它应该比较适合simgmoid形的激活函数
均匀分布初始化（uniform）
将权值与偏置进行均匀分布的初始化，用min 与 max 来控制它们的的上下限，默认为（0，1）
xavier初始化
对于权值的分布：均值为0，方差为（1 / 输入的个数） 的 均匀分布。如果我们更注重前向传播的话，我们可以选择 fan_in，即正向传播的输入个数；如果更注重后向传播的话，我们选择 fan_out, 因为在反向传播的时候，fan_out就是神经元的输入个数；如果两者都考虑的话，就选 average = (fan_in + fan_out) /2。对于ReLU激活函数来说，XavierFiller初始化也是很适合。关于该初始化方法，具体可以参考文章1、文章2，该方法假定激活函数是线性的。
msra初始化
对于权值的分布：基于均值为0，方差为( 2/输入的个数)的高斯分布；它特别适合 ReLU激活函数，该方法主要是基于Relu函数提出的，推导过程类似于xavier。
双线性初始化（bilinear）
常用在反卷积神经网络里的权值初始化

5. BP神经网络一般初始权值和阀值是多少

初始的权值和偏差一般是在0-1之间，随机选取某一0-1之间的值作为某一权值或偏差的值
原因在内于：
1、数据预处理阶容段会将所有的数据规范化到0-1之间，并且神经网络的输出也是0-1之间的向量，因此其中的网络结点值也应位于0-1中
2、随机初始化的优势在于可有效避免梯度消失或梯度爆炸的问题，增加网络的稳定性。

6. 神经网络权值怎么确定

神经网络的权值是通过对网络的训练得到的。如果使用MATLAB的话不要自己设定，newff之后会自动赋值。也可以手动：net.IW{}= ; net.bias{}=。一般来说输入归一化，那么w和b取0-1的随机数就行。神经网络的权值确定的目的是为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。

参数初始化要满足两个必要条件：

1、各个激活层不会出现饱和现象，比如对于sigmoid激活函数，初始化值不能太大或太小，导致陷入其饱和区。

2、各个激活值不为0，如果激活层输出为零，也就是下一层卷积层的输入为零，所以这个卷积层对权值求偏导为零，从而导致梯度为0。

(6)神经网络权值扩展阅读：

神经网络和权值的关系。

在训练智能体执行任务时，会选择一个典型的神经网络框架，并相信它有潜力为这个任务编码特定的策略。注意这里只是有潜力，还要学习权重参数，才能将这种潜力变化为能力。

受到自然界早成行为及先天能力的启发，在这项工作中，研究者构建了一个能自然执行给定任务的神经网络。也就是说，找到一个先天的神经网络架构，然后只需要随机初始化的权值就能执行任务。研究者表示，这种不用学习参数的神经网络架构在强化学习与监督学习都有很好的表现。

其实如果想象神经网络架构提供的就是一个圈，那么常规学习权值就是找到一个最优点（或最优参数解）。但是对于不用学习权重的神经网络，它就相当于引入了一个非常强的归纳偏置，以至于，整个架构偏置到能直接解决某个问题。

但是对于不用学习权重的神经网络，它相当于不停地特化架构，或者说降低模型方差。这样，当架构越来越小而只包含最优解时，随机化的权值也就能解决实际问题了。如研究者那样从小架构到大架构搜索也是可行的，只要架构能正好将最优解包围住就行了。

7. 神经网络权值怎么确定

(1)初始时,每个权值由随机数函数产生,值的范围为[-1,1]之间
(2)运行过程中,通过BP算法求得均方误差的梯度,然后调整BP网络的权值.如:w(i,j,k+1)=w(i,j,k)+Delta(e(i,j)).

8. 神经网络算法中权值W和阈值的定义是什么

因为高斯距离在欧式几何中定义的。（就是说这个最短）权值就是类似于方程y=ax+b，中a的值。训练好的神经网络对于新的数据不一定是最优的。甚至不一定可以用来预测。

9. 如何理解人工智能神经网络中的权值共享问题

权值(权重)共享这个词是由LeNet5模型提出来的。以CNN为例，在对一张图偏进行卷积的过程中，使用的是同一个卷积核的参数。比如一个3×3×1的卷积核，这个卷积核内9个的参数被整张图共享，而不会因为图像内位置的不同而改变卷积核内的权系数。说的再直白一些，就是用一个卷积核不改变其内权系数的情况下卷积处理整张图片(当然CNN中每一层不会只有一个卷积核的，这样说只是为了方便解释而已)。

10. BP神经网络中初始权值和阈值的设定

1、首先需要了解BP神经网络是一种多层前馈网络。