導航:首頁 > 編程大全 > 神經網路的訓練參數

神經網路的訓練參數

發布時間:2024-08-13 05:25:16

Ⅰ 神經網路參數如何確定

神經網路各個網路參數設定原則:

①、網路節點  網路輸入層神經元節點數就是系統的特徵因子(自變數)個數,輸出層神經元節點數就是系統目標個數。隱層節點選按經驗選取,一般設為輸入層節點數的75%。如果輸入層有7個節點,輸出層1個節點,那麼隱含層可暫設為5個節點,即構成一個7-5-1 BP神經網路模型。在系統訓練時,實際還要對不同的隱層節點數4、5、6個分別進行比較,最後確定出最合理的網路結構。

②、初始權值的確定  初始權值是不應完全相等的一組值。已經證明,即便確定  存在一組互不相等的使系統誤差更小的權值,如果所設Wji的的初始值彼此相等,它們將在學習過程中始終保持相等。故而,在程序中,我們設計了一個隨機發生器程序,產生一組一0.5~+0.5的隨機數,作為網路的初始權值。

③、最小訓練速率  在經典的BP演算法中,訓練速率是由經驗確定,訓練速率越大,權重變化越大,收斂越快;但訓練速率過大,會引起系統的振盪,因此,訓練速率在不導致振盪前提下,越大越好。因此,在DPS中,訓練速率會自動調整,並盡可能取大一些的值,但用戶可規定一個最小訓練速率。該值一般取0.9。

④、動態參數  動態系數的選擇也是經驗性的,一般取0.6 ~0.8。

⑤、允許誤差  一般取0.001~0.00001,當2次迭代結果的誤差小於該值時,系統結束迭代計算,給出結果。

⑥、迭代次數  一般取1000次。由於神經網路計算並不能保證在各種參數配置下迭代結果收斂,當迭代結果不收斂時,允許最大的迭代次數。

⑦、Sigmoid參數 該參數調整神經元激勵函數形式,一般取0.9~1.0之間。

⑧、數據轉換。在DPS系統中,允許對輸入層各個節點的數據進行轉換,提供轉換的方法有取對數、平方根轉換和數據標准化轉換。

(1)神經網路的訓練參數擴展閱讀:

神經網路的研究內容相當廣泛,反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面:

1.生物原型

從生理學、心理學、解剖學、腦科學、病理學等方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。

2.建立模型

根據生物原型的研究,建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

3.演算法

在理論模型研究的基礎上構作具體的神經網路模型,以實現計算機模擬或准備製作硬體,包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。

神經網路用到的演算法就是向量乘法,並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性,是神經網路的幾個基本優點,也是神經網路計算方法與傳統方法的區別所在。

Ⅱ BP神經網路的Training Parameters中各個參數都是什麼意思啊

max_fail 最大失敗步數,如設置為100,則訓練到100步還沒成功也會停止訓練
mem_rec
min_grad 最小梯度,梯度下降法中出現回,設答置一個值之後,如果訓練下降梯度不達此值訓練也只能停止
mu 參數μ
mu_dec
mu_inc
mu_max
show 顯示步數,如果設為50,則運行後會每隔50步顯示一下運行結果
time 訓練時間限制,同max_fail,min_grad 作用一樣

Ⅲ 卷積神經網路參數解析

(1)現象:

        (1-1)一次性將batch數量個樣本feed神經網路,進行前向傳播;然後再進行權重的調整,這樣的一整個過程叫做一個回合(epoch),也即一個batch大小樣本的全過程就是一次迭代。

        (1-2)將訓練數據分塊,做成批(batch training)訓練可以將多個訓練數據元的loss function求和,使用梯度下降法,最小化 求和後的loss function ,進而對神經網路的參數進行優化更新

(2)一次迭代:包括前向傳播計算輸出向量、輸出向量與label的loss計算和後向傳播求loss對權重向量 w 導數(梯度下降法計算),並實現權重向量 w 的更新。

(3)優點:

        (a)對梯度向量(代價函數對權值向量 w 的導數)的精確估計,保證以最快的速度下降到局部極小值的收斂性;一個batch一次梯度下降;

        (b)學習過程的並行運行;

        (c)更加接近隨機梯度下降的演算法效果;

        (d)Batch Normalization 使用同批次的統計平均和偏差對數據進行正則化,加速訓練,有時可提高正確率 [7]

(4)現實工程問題:存在計算機存儲問題,一次載入的batch大小受到內存的影響;

(5)batch參數選擇:

        (5-1)從收斂速度的角度來說,小批量的樣本集合是最優的,也就是我們所說的mini-batch,這時的batch size往往從幾十到幾百不等,但一般不會超過幾千

        (5-2)GPU對2的冪次的batch可以發揮更佳的性能,因此設置成16、32、64、128...時往往要比設置為整10、整100的倍數時表現更優

    (6)4種加速批梯度下降的方法 [8] :

        (6-1)使用動量-使用權重的 速度 而非 位置 來改變權重。

        (6-2)針對不同權重參數使用不同學習率。

        (6-3)RMSProp-這是Prop 的均方根 ( Mean Square ) 改進形式,Rprop 僅僅使用梯度的符號,RMSProp 是其針對 Mini-batches 的平均化版本

        (6-4)利用曲率信息的最優化方法。

(1)定義:運用梯度下降演算法優化loss成本函數時,權重向量的更新規則中,在梯度項前會乘以一個系數,這個系數就叫學習速率η

(2)效果:

        (2-1)學習率η越小,每次迭代權值向量變化小,學習速度慢,軌跡在權值空間中較光滑,收斂慢;

        (2-2)學習率η越大,每次迭代權值向量變化大,學習速度快,但是有可能使變化處於震盪中,無法收斂;

    (3)處理方法:

        (3-1)既要加快學習速度又要保持穩定的方法修改delta法則,即添加動量項。

    (4)選擇經驗:

        (4-1)基於經驗的手動調整。 通過嘗試不同的固定學習率,如0.1, 0.01, 0.001等,觀察迭代次數和loss的變化關系,找到loss下降最快關系對應的學習率。

        (4-2)基於策略的調整。

                (4-2-1)fixed 、exponential、polynomial

                (4-2-2)自適應動態調整。adadelta、adagrad、ftrl、momentum、rmsprop、sgd

    (5)學習率η的調整:學習速率在學習過程中實現自適應調整(一般是衰減)

        (5-1)非自適應學習速率可能不是最佳的。

        (5-2)動量是一種自適應學習速率方法的參數,允許沿淺方向使用較高的速度,同時沿陡峭方向降低速度前進

        (5-3)降低學習速率是必要的,因為在訓練過程中,較高學習速率很可能陷入局部最小值。

參考文獻:

[1]  Simon Haykin. 神經網路與機器學習[M]. 機械工業出版社, 2011.

[2]   訓練神經網路時如何確定batch的大小?

[3]   學習筆記:Batch Size 對深度神經網路預言能力的影響  

[4]   機器學習演算法中如何選取超參數:學習速率、正則項系數、minibatch size.  http://blog.csdn.net/u012162613/article/details/44265967

[5]   深度學習如何設置學習率 . http://blog.csdn.net/mao_feng/article/details/52902666

[6]   調整學習速率以優化神經網路訓練. https://zhuanlan.hu.com/p/28893986

[7]   機器學習中用來防止過擬合的方法有哪些?

[8]   Neural Networks for Machine Learning by Geoffrey Hinton .

[9]   如何確定卷積神經網路的卷積核大小、卷積層數、每層map個數

[10]   卷積神經網路的卷積核大小、卷積層數、每層map個數都是如何確定下來的呢?

Ⅳ MATLAB中如何獲取BP神經網路訓練後的參數

sim命令將運行指定的模型。模型執行時使用傳遞給sim命令的數據,這些數據包括在options結構中設定的參數值。a=sim(net,[ ])中,net是你的訓練網路,後面的中括弧是你要訓練的結構參數!

閱讀全文

與神經網路的訓練參數相關的資料

熱點內容
iphone5鈴聲同步後找不到 瀏覽:245
蘋果手機同步通話記錄 瀏覽:877
win10聯想自帶ie卸載 瀏覽:309
linux將文件切換用戶歸屬 瀏覽:158
數據線pd20什麼意思 瀏覽:890
小米盒版本 瀏覽:582
iphone6更新到診斷 瀏覽:717
16年上線的外包app 瀏覽:234
男人團網站為什麼進不去了 瀏覽:122
數據填報在企業微信哪裡 瀏覽:365
linux清除安裝包 瀏覽:20
開源linux飛控 瀏覽:913
單片機語音播報程序 瀏覽:151
字體文件夾修復工具欄 瀏覽:683
淘寶數據復制軟體有哪些 瀏覽:319
編程SETBTR0什麼意思 瀏覽:571
javahttp多文件上傳 瀏覽:854
msi安裝程序被中斷 瀏覽:12
編程系統如何上傳圖片 瀏覽:642
js發送驗證郵件 瀏覽:824

友情鏈接