改进神经网络学习算法

Ⅰ 鑹炬尝-缃楁柉锛堜竴绉嶅熀浜庣炵粡缃戠粶鐨勬満鍣ㄥ︿範绠楁硶锛

鑹炬尝-缃楁柉锛氫竴绉嶅熀浜庣炵粡缃戠粶鐨勬満鍣ㄥ︿範绠楁硶

浠涔堟槸鑹炬尝-缃楁柉绠楁硶锛

鑹炬尝-缃楁柉锛圓daptiveBoosting锛岀畝绉癆daBoost锛夋槸涓绉嶅熀浜庣炵粡缃戠粶鐨勬満鍣ㄥ︿範绠楁硶锛岀敤浜庡垎绫婚棶棰樸傚畠鏄涓绉嶉泦鎴愬︿範绠楁硶锛岄氳繃缁勫悎澶氫釜寮卞垎绫诲櫒鏉ユ瀯寤轰竴涓寮哄垎绫诲櫒锛屾彁楂樺垎绫诲噯纭鐜囥

鑹炬尝-缃楁柉绠楁硶鐨勫伐浣滃師鐞

鑹炬尝-缃楁柉绠楁硶鐨勫伐浣滃師鐞嗗彲浠ュ垎涓轰互涓嬪嚑涓姝ラわ細

1.鍒濆嬪寲鏍锋湰鏉冮噸锛氬皢姣忎釜鏍锋湰鐨勬潈閲嶅垵濮嬪寲涓虹浉绛夊笺

2.璁缁冨急鍒嗙被鍣锛氫娇鐢ㄥ綋鍓嶆牱鏈鏉冮噸璁缁冧竴涓寮卞垎绫诲櫒銆

3.鏇存柊鏍锋湰鏉冮噸锛氭牴鎹寮卞垎绫诲櫒鐨勫垎绫荤粨鏋滄洿鏂版瘡涓鏍锋湰鐨勬潈閲嶏紝鍒嗙被閿欒鐨勬牱鏈鏉冮噸浼氬炲姞锛屽垎绫绘ｇ‘鐨勬牱鏈鏉冮噸浼氬噺灏戙

4.缁勫悎寮卞垎绫诲櫒锛氬皢澶氫釜寮卞垎绫诲櫒缁勫悎鎴愪竴涓寮哄垎绫诲櫒锛屾瘡涓寮卞垎绫诲櫒鐨勬潈閲嶇敱鍏跺垎绫诲噯纭鐜囧喅瀹氥

鑹炬尝-缃楁柉绠楁硶鐨勪紭缂虹偣

鑹炬尝-缃楁柉绠楁硶鐨勪紭鐐规槸锛

1.鍙浠ュ勭悊楂樼淮搴︽暟鎹闆嗐

2.涓嶅规槗鍙戠敓杩囨嫙鍚堛

3.鍙浠ュ勭悊闈炵嚎鎬у叧绯汇

鑹炬尝-缃楁柉绠楁硶鐨勭己鐐规槸锛

1.瀵瑰櫔澹板拰寮傚父鍊兼瘮杈冩晱鎰熴

2.璁缁冩椂闂存瘮杈冮暱銆

3.瀵逛簬涓嶅钩琛℃暟鎹闆嗙殑澶勭悊鏁堟灉涓嶄匠銆

濡備綍浣跨敤鑹炬尝-缃楁柉绠楁硶锛

浣跨敤鑹炬尝-缃楁柉绠楁硶杩涜屽垎绫婚棶棰樼殑瑙ｅ喅锛岄氬父闇瑕佷互涓嬪嚑涓姝ラわ細

1.鍑嗗囨暟鎹闆嗭細灏嗘暟鎹闆嗗垝鍒嗕负璁缁冮泦鍜屾祴璇曢泦锛屽苟瀵规暟鎹杩涜岄勫勭悊鍜岀壒寰佸伐绋嬨

2.鍒濆嬪寲鏍锋湰鏉冮噸锛氬皢姣忎釜鏍锋湰鐨勬潈閲嶅垵濮嬪寲涓虹浉绛夊笺

3.璁缁冨急鍒嗙被鍣锛氫娇鐢ㄥ綋鍓嶆牱鏈鏉冮噸璁缁冧竴涓寮卞垎绫诲櫒銆

4.鏇存柊鏍锋湰鏉冮噸锛氭牴鎹寮卞垎绫诲櫒鐨勫垎绫荤粨鏋滄洿鏂版瘡涓鏍锋湰鐨勬潈閲嶏紝鍒嗙被閿欒鐨勬牱鏈鏉冮噸浼氬炲姞锛屽垎绫绘ｇ‘鐨勬牱鏈鏉冮噸浼氬噺灏戙

5.缁勫悎寮卞垎绫诲櫒锛氬皢澶氫釜寮卞垎绫诲櫒缁勫悎鎴愪竴涓寮哄垎绫诲櫒锛屾瘡涓寮卞垎绫诲櫒鐨勬潈閲嶇敱鍏跺垎绫诲噯纭鐜囧喅瀹氥

6.瀵规祴璇曢泦杩涜岄勬祴锛氫娇鐢ㄨ缁冨ソ鐨勫己鍒嗙被鍣ㄥ规祴璇曢泦杩涜岄勬祴锛屽苟璁＄畻鍒嗙被鍑嗙‘鐜囥

Ⅱ BP神经网络算法的关键词

BP算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下：
（1）初始化，随机给定各连接权[w],[v]及阀值θi，rt。
（2）由给定的输入输出模式对计算隐层、输出层各单元输出
bj=f（■wijai-θj） ct=f（■vjtbj－rt）
式中：bj为隐层第j个神经元实际输出；ct为输出层第t个神经元的实际输出；wij为输入层至隐层的连接权；vjt为隐层至输出层的连接权。
dtk=（ytk－ct）ct（1－ct） ejk=[■dtvjt] bj（1－bj）
（3）选取下一个输入模式对返回第2步反复训练直到网络设输出误差达到要求结束训练。
传统的BP算法，实质上是把一组样本输入/输出问题转化为一个非线性优化问题，并通过负梯度下降算法，利用迭代运算求解权值问题的一种学习方法，但其收敛速度慢且容易陷入局部极小，为此提出了一种新的算法，即高斯消元法。 2．1 改进算法概述
此前有人提出：任意选定一组自由权，通过对传递函数建立线性方程组，解得待求权。本文在此基础上将给定的目标输出直接作为线性方程等式代数和来建立线性方程组，不再通过对传递函数求逆来计算神经元的净输出，简化了运算步骤。没有采用误差反馈原理，因此用此法训练出来的神经网络结果与传统算法是等效的。其基本思想是：由所给的输入、输出模式对通过作用于神经网络来建立线性方程组，运用高斯消元法解线性方程组来求得未知权值，而未采用传统BP网络的非线性函数误差反馈寻优的思想。
2．2 改进算法的具体步骤
对给定的样本模式对，随机选定一组自由权，作为输出层和隐含层之间固定权值，通过传递函数计算隐层的实际输出，再将输出层与隐层间的权值作为待求量，直接将目标输出作为等式的右边建立方程组来求解。
现定义如下符号（见图1）：x （p）输入层的输入矢量；y （p）输入层输入为x （p）时输出层的实际输出矢量；t （p）目标输出矢量；n，m，r分别为输入层、隐层和输出层神经元个数；W为隐层与输入层间的权矩阵；V为输出层与隐层间的权矩阵。具体步骤如下：
（1）随机给定隐层和输入层间神经元的初始权值wij。
（2）由给定的样本输入xi（p）计算出隐层的实际输出aj（p）。为方便起见将图1网络中的阀值写入连接权中去，令：隐层阀值θj=wnj，x（n）=－1，则：
aj（p）=f（■wijxi（p）） （j=1，2…m－1）。
（3）计算输出层与隐层间的权值vjr。以输出层的第r个神经元为对象，由给定的输出目标值tr（p）作为等式的多项式值建立方程，用线性方程组表示为：
a0（1）v1r+a1（1）v2r+…+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+…+am（2）vmr=tr（2） ……a0（p）v1r+a1（p）v2r+…+am（p）vmr=tr（p） 简写为： Av=T
为了使该方程组有唯一解，方程矩阵A为非奇异矩阵，其秩等于其增广矩阵的秩，即：r（A）=r（A┊B），且方程的个数等于未知数的个数，故取m=p，此时方程组的唯一解为： Vr=[v0r，v2r，…vmr]（r=0，1，2…m－1）
（4）重复第三步就可以求出输出层m个神经元的权值，以求的输出层的权矩阵加上随机固定的隐层与输入层的权值就等于神经网络最后训练的权矩阵。 现以神经网络最简单的XOR问题用VC编程运算进行比较（取神经网络结构为2－4－1型），传统算法和改进BP算法的误差（取动量因子α=0．001 5，步长η=1．653）