改進神經網路學習演算法

Ⅰ 鑹炬嘗-緗楁柉錛堜竴縐嶅熀浜庣炵粡緗戠粶鐨勬満鍣ㄥ︿範綆楁硶錛

鑹炬嘗-緗楁柉錛氫竴縐嶅熀浜庣炵粡緗戠粶鐨勬満鍣ㄥ︿範綆楁硶

浠涔堟槸鑹炬嘗-緗楁柉綆楁硶錛

鑹炬嘗-緗楁柉錛圓daptiveBoosting錛岀畝縐癆daBoost錛夋槸涓縐嶅熀浜庣炵粡緗戠粶鐨勬満鍣ㄥ︿範綆楁硶錛岀敤浜庡垎綾婚棶棰樸傚畠鏄涓縐嶉泦鎴愬︿範綆楁硶錛岄氳繃緇勫悎澶氫釜寮卞垎綾誨櫒鏉ユ瀯寤轟竴涓寮哄垎綾誨櫒錛屾彁楂樺垎綾誨噯紜鐜囥

鑹炬嘗-緗楁柉綆楁硶鐨勫伐浣滃師鐞

鑹炬嘗-緗楁柉綆楁硶鐨勫伐浣滃師鐞嗗彲浠ュ垎涓轟互涓嬪嚑涓姝ラわ細

1.鍒濆嬪寲鏍鋒湰鏉冮噸錛氬皢姣忎釜鏍鋒湰鐨勬潈閲嶅垵濮嬪寲涓虹浉絳夊箋

2.璁緇冨急鍒嗙被鍣錛氫嬌鐢ㄥ綋鍓嶆牱鏈鏉冮噸璁緇冧竴涓寮卞垎綾誨櫒銆

3.鏇存柊鏍鋒湰鏉冮噸錛氭牴鎹寮卞垎綾誨櫒鐨勫垎綾葷粨鏋滄洿鏂版瘡涓鏍鋒湰鐨勬潈閲嶏紝鍒嗙被閿欒鐨勬牱鏈鏉冮噸浼氬炲姞錛屽垎綾繪ｇ『鐨勬牱鏈鏉冮噸浼氬噺灝戙

4.緇勫悎寮卞垎綾誨櫒錛氬皢澶氫釜寮卞垎綾誨櫒緇勫悎鎴愪竴涓寮哄垎綾誨櫒錛屾瘡涓寮卞垎綾誨櫒鐨勬潈閲嶇敱鍏跺垎綾誨噯紜鐜囧喅瀹氥

鑹炬嘗-緗楁柉綆楁硶鐨勪紭緙虹偣

鑹炬嘗-緗楁柉綆楁硶鐨勪紭鐐規槸錛

1.鍙浠ュ勭悊楂樼淮搴︽暟鎹闆嗐

2.涓嶅規槗鍙戠敓榪囨嫙鍚堛

3.鍙浠ュ勭悊闈炵嚎鎬у叧緋匯

鑹炬嘗-緗楁柉綆楁硶鐨勭己鐐規槸錛

1.瀵瑰櫔澹板拰寮傚父鍊兼瘮杈冩晱鎰熴

2.璁緇冩椂闂存瘮杈冮暱銆

3.瀵逛簬涓嶅鉤琛℃暟鎹闆嗙殑澶勭悊鏁堟灉涓嶄匠銆

濡備綍浣跨敤鑹炬嘗-緗楁柉綆楁硶錛

浣跨敤鑹炬嘗-緗楁柉綆楁硶榪涜屽垎綾婚棶棰樼殑瑙ｅ喅錛岄氬父闇瑕佷互涓嬪嚑涓姝ラわ細

1.鍑嗗囨暟鎹闆嗭細灝嗘暟鎹闆嗗垝鍒嗕負璁緇冮泦鍜屾祴璇曢泦錛屽苟瀵規暟鎹榪涜岄勫勭悊鍜岀壒寰佸伐紼嬨

2.鍒濆嬪寲鏍鋒湰鏉冮噸錛氬皢姣忎釜鏍鋒湰鐨勬潈閲嶅垵濮嬪寲涓虹浉絳夊箋

3.璁緇冨急鍒嗙被鍣錛氫嬌鐢ㄥ綋鍓嶆牱鏈鏉冮噸璁緇冧竴涓寮卞垎綾誨櫒銆

4.鏇存柊鏍鋒湰鏉冮噸錛氭牴鎹寮卞垎綾誨櫒鐨勫垎綾葷粨鏋滄洿鏂版瘡涓鏍鋒湰鐨勬潈閲嶏紝鍒嗙被閿欒鐨勬牱鏈鏉冮噸浼氬炲姞錛屽垎綾繪ｇ『鐨勬牱鏈鏉冮噸浼氬噺灝戙

5.緇勫悎寮卞垎綾誨櫒錛氬皢澶氫釜寮卞垎綾誨櫒緇勫悎鎴愪竴涓寮哄垎綾誨櫒錛屾瘡涓寮卞垎綾誨櫒鐨勬潈閲嶇敱鍏跺垎綾誨噯紜鐜囧喅瀹氥

6.瀵規祴璇曢泦榪涜岄勬祴錛氫嬌鐢ㄨ緇冨ソ鐨勫己鍒嗙被鍣ㄥ規祴璇曢泦榪涜岄勬祴錛屽苟璁＄畻鍒嗙被鍑嗙『鐜囥

Ⅱ BP神經網路演算法的關鍵詞

BP演算法是一種有監督式的學習演算法，其主要思想是：輸入學習樣本，使用反向傳播演算法對網路的權值和偏差進行反復的調整訓練，使輸出的向量與期望向量盡可能地接近，當網路輸出層的誤差平方和小於指定的誤差時訓練完成，保存網路的權值和偏差。具體步驟如下：
（1）初始化，隨機給定各連接權[w],[v]及閥值θi，rt。
（2）由給定的輸入輸出模式對計算隱層、輸出層各單元輸出
bj=f（■wijai-θj） ct=f（■vjtbj－rt）
式中：bj為隱層第j個神經元實際輸出；ct為輸出層第t個神經元的實際輸出；wij為輸入層至隱層的連接權；vjt為隱層至輸出層的連接權。
dtk=（ytk－ct）ct（1－ct） ejk=[■dtvjt] bj（1－bj）
（3）選取下一個輸入模式對返回第2步反復訓練直到網路設輸出誤差達到要求結束訓練。
傳統的BP演算法，實質上是把一組樣本輸入/輸出問題轉化為一個非線性優化問題，並通過負梯度下降演算法，利用迭代運算求解權值問題的一種學習方法，但其收斂速度慢且容易陷入局部極小，為此提出了一種新的演算法，即高斯消元法。 2．1 改進演算法概述
此前有人提出：任意選定一組自由權，通過對傳遞函數建立線性方程組，解得待求權。本文在此基礎上將給定的目標輸出直接作為線性方程等式代數和來建立線性方程組，不再通過對傳遞函數求逆來計算神經元的凈輸出，簡化了運算步驟。沒有採用誤差反饋原理，因此用此法訓練出來的神經網路結果與傳統演算法是等效的。其基本思想是：由所給的輸入、輸出模式對通過作用於神經網路來建立線性方程組，運用高斯消元法解線性方程組來求得未知權值，而未採用傳統BP網路的非線性函數誤差反饋尋優的思想。
2．2 改進演算法的具體步驟
對給定的樣本模式對，隨機選定一組自由權，作為輸出層和隱含層之間固定權值，通過傳遞函數計算隱層的實際輸出，再將輸出層與隱層間的權值作為待求量，直接將目標輸出作為等式的右邊建立方程組來求解。
現定義如下符號（見圖1）：x （p）輸入層的輸入矢量；y （p）輸入層輸入為x （p）時輸出層的實際輸出矢量；t （p）目標輸出矢量；n，m，r分別為輸入層、隱層和輸出層神經元個數；W為隱層與輸入層間的權矩陣；V為輸出層與隱層間的權矩陣。具體步驟如下：
（1）隨機給定隱層和輸入層間神經元的初始權值wij。
（2）由給定的樣本輸入xi（p）計算出隱層的實際輸出aj（p）。為方便起見將圖1網路中的閥值寫入連接權中去，令：隱層閥值θj=wnj，x（n）=－1，則：
aj（p）=f（■wijxi（p）） （j=1，2…m－1）。
（3）計算輸出層與隱層間的權值vjr。以輸出層的第r個神經元為對象，由給定的輸出目標值tr（p）作為等式的多項式值建立方程，用線性方程組表示為：
a0（1）v1r+a1（1）v2r+…+am（1）vmr=tr（1）a0（2）v1r+a1（2）v2r+…+am（2）vmr=tr（2） ……a0（p）v1r+a1（p）v2r+…+am（p）vmr=tr（p） 簡寫為： Av=T
為了使該方程組有唯一解，方程矩陣A為非奇異矩陣，其秩等於其增廣矩陣的秩，即：r（A）=r（A┊B），且方程的個數等於未知數的個數，故取m=p，此時方程組的唯一解為： Vr=[v0r，v2r，…vmr]（r=0，1，2…m－1）
（4）重復第三步就可以求出輸出層m個神經元的權值，以求的輸出層的權矩陣加上隨機固定的隱層與輸入層的權值就等於神經網路最後訓練的權矩陣。 現以神經網路最簡單的XOR問題用VC編程運算進行比較（取神經網路結構為2－4－1型），傳統演算法和改進BP演算法的誤差（取動量因子α=0．001 5，步長η=1．653）