神經網路參數選取

Ⅰ BP神經網路模型各個參數的選取問題

樣本變數不需要那麼多，因為神經網路的信息存儲能力有限，過多的樣本會造成一些有用的信息被丟棄。如果樣本數量過多，應增加隱層節點數或隱層數目，才能增強學習能力。

一、隱層數
一般認為，增加隱層數可以降低網路誤差（也有文獻認為不一定能有效降低），提高精度，但也使網路復雜化，從而增加了網路的訓練時間和出現「過擬合」的傾向。一般來講應設計神經網路應優先考慮3層網路（即有1個隱層）。一般地，靠增加隱層節點數來獲得較低的誤差，其訓練效果要比增加隱層數更容易實現。對於沒有隱層的神經網路模型，實際上就是一個線性或非線性（取決於輸出層採用線性或非線性轉換函數型式）回歸模型。因此，一般認為，應將不含隱層的網路模型歸入回歸分析中，技術已很成熟，沒有必要在神經網路理論中再討論之。
二、隱層節點數
在BP 網路中，隱層節點數的選擇非常重要，它不僅對建立的神經網路模型的性能影響很大，而且是訓練時出現「過擬合」的直接原因，但是目前理論上還沒有一種科學的和普遍的確定方法。 目前多數文獻中提出的確定隱層節點數的計算公式都是針對訓練樣本任意多的情況，而且多數是針對最不利的情況，一般工程實踐中很難滿足，不宜採用。事實上，各種計算公式得到的隱層節點數有時相差幾倍甚至上百倍。為盡可能避免訓練時出現「過擬合」現象，保證足夠高的網路性能和泛化能力，確定隱層節點數的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節點數。研究表明，隱層節點數不僅與輸入/輸出層的節點數有關，更與需解決的問題的復雜程度和轉換函數的型式以及樣本數據的特性等因素有關。

Ⅱ AI數學基礎14——神經網路的參數和超參數

神經網路的參數（ Parameters )，是指神經網路模型內部的配置變數，比如W、b，可以用訓練的方式獲得

神經網路的超參數（ Hyper Parameters) ，是神經網路模型外部的配置參數，比如學習率a、隱藏層數L、隱藏層單元數、激活函數的選擇、momentum、mini batch size、regularization parameters等等，這些參數不能從訓練中得到， 必須手動設置， 並且影響最後的參數W和b的值 。

訓練神經網路的過程，也是系統性調整神經網路超參數的過程；Andrew Ng說：「經常試試不同的超參數，勤於檢查結果，看看有沒有更好的超參數取值，你將會得到設定超參數的直覺」

Ⅲ 卷積神經網路參數解析

（1）現象：

        （1-1）一次性將batch數量個樣本feed神經網路，進行前向傳播；然後再進行權重的調整，這樣的一整個過程叫做一個回合（epoch），也即一個batch大小樣本的全過程就是一次迭代。

        （1-2）將訓練數據分塊，做成批(batch training)訓練可以將多個訓練數據元的loss function求和，使用梯度下降法，最小化 求和後的loss function ，進而對神經網路的參數進行優化更新

（2）一次迭代：包括前向傳播計算輸出向量、輸出向量與label的loss計算和後向傳播求loss對權重向量 w 導數（梯度下降法計算），並實現權重向量 w 的更新。

（3）優點：

        （a）對梯度向量（代價函數對權值向量 w 的導數）的精確估計，保證以最快的速度下降到局部極小值的收斂性；一個batch一次梯度下降；

        （b）學習過程的並行運行；

        （c）更加接近隨機梯度下降的演算法效果；

        （d）Batch Normalization 使用同批次的統計平均和偏差對數據進行正則化，加速訓練，有時可提高正確率 [7]

（4）現實工程問題：存在計算機存儲問題，一次載入的batch大小受到內存的影響；

（5）batch參數選擇：

        （5-1）從收斂速度的角度來說，小批量的樣本集合是最優的，也就是我們所說的mini-batch，這時的batch size往往從幾十到幾百不等，但一般不會超過幾千

        （5-2）GPU對2的冪次的batch可以發揮更佳的性能，因此設置成16、32、64、128...時往往要比設置為整10、整100的倍數時表現更優

    （6）4種加速批梯度下降的方法 [8] ：

        （6-1）使用動量－使用權重的 速度 而非 位置 來改變權重。

        （6-2）針對不同權重參數使用不同學習率。

        （6-3）RMSProp－這是Prop 的均方根 ( Mean Square ) 改進形式，Rprop 僅僅使用梯度的符號，RMSProp 是其針對 Mini-batches 的平均化版本

        （6-4）利用曲率信息的最優化方法。

（1）定義：運用梯度下降演算法優化loss成本函數時，權重向量的更新規則中，在梯度項前會乘以一個系數，這個系數就叫學習速率η

（2）效果：

        （2-1）學習率η越小，每次迭代權值向量變化小，學習速度慢，軌跡在權值空間中較光滑，收斂慢；

        （2-2）學習率η越大，每次迭代權值向量變化大，學習速度快，但是有可能使變化處於震盪中，無法收斂；

    （3）處理方法：

        （3-1）既要加快學習速度又要保持穩定的方法修改delta法則，即添加動量項。

    （4）選擇經驗：

        （4-1）基於經驗的手動調整。 通過嘗試不同的固定學習率，如0.1, 0.01, 0.001等，觀察迭代次數和loss的變化關系，找到loss下降最快關系對應的學習率。

        （4-2）基於策略的調整。

                （4-2-1）fixed 、exponential、polynomial

                （4-2-2）自適應動態調整。adadelta、adagrad、ftrl、momentum、rmsprop、sgd

    （5）學習率η的調整：學習速率在學習過程中實現自適應調整（一般是衰減）

        （5-1）非自適應學習速率可能不是最佳的。

        （5-2）動量是一種自適應學習速率方法的參數，允許沿淺方向使用較高的速度，同時沿陡峭方向降低速度前進

        （5-3）降低學習速率是必要的，因為在訓練過程中，較高學習速率很可能陷入局部最小值。

參考文獻：

[1]  Simon Haykin. 神經網路與機器學習[M]. 機械工業出版社, 2011.

[2]   訓練神經網路時如何確定batch的大小？

[3]   學習筆記：Batch Size 對深度神經網路預言能力的影響  

[4]   機器學習演算法中如何選取超參數：學習速率、正則項系數、minibatch size.  http://blog.csdn.net/u012162613/article/details/44265967

[5]   深度學習如何設置學習率 . http://blog.csdn.net/mao_feng/article/details/52902666

[6]   調整學習速率以優化神經網路訓練. https://zhuanlan.hu.com/p/28893986

[7]   機器學習中用來防止過擬合的方法有哪些？

[8]   Neural Networks for Machine Learning by Geoffrey Hinton .

[9]   如何確定卷積神經網路的卷積核大小、卷積層數、每層map個數

[10]   卷積神經網路的卷積核大小、卷積層數、每層map個數都是如何確定下來的呢？

Ⅳ sklearn 神經網路 MLPClassifier簡單應用與參數說明

MLPClassifier是一個監督學習演算法，下圖是只有1個隱藏層的MLP模型 ，左側是輸入層，右側是輸出層。

上圖的整體結構可以簡單的理解為下圖所示：

MLP又名多層感知機，也叫人工神經網路（ANN，Artificial Neural Network），除了輸入輸出層，它中間可以有多個隱藏層，如果沒有隱藏層即可解決線性可劃分的數據問題。最簡單的MLP模型只包含一個隱藏層，即三層的結構，如上圖。

從上圖可以看到，多層感知機的層與層之間是全連接的（全連接的意思就是：上一層的任何一個神經元與下一層的所有神經元都有連接）。多層感知機最底層是輸入層，中間是隱藏層，最後是輸出層。

輸入層沒什麼好說，你輸入什麼就是什麼，比如輸入是一個n維向量，就有n個神經元。

隱藏層的神經元怎麼得來？首先它與輸入層是全連接的，假設輸入層用向量X表示，則隱藏層的輸出就是

f(W1X+b1)，W1是權重（也叫連接系數），b1是偏置，函數f 可以是常用的sigmoid函數或者tanh函數：

最後就是輸出層，輸出層與隱藏層是什麼關系？其實隱藏層到輸出層可以看成是一個多類別的邏輯回歸，也即softmax回歸，所以輸出層的輸出就是softmax(W2X1+b2)，X1表示隱藏層的輸出f(W1X+b1)。

MLP整個模型就是這樣子的，上面說的這個三層的MLP用公式總結起來就是，函數G是softmax

因此，MLP所有的參數就是各個層之間的連接權重以及偏置，包括W1、b1、W2、b2。對於一個具體的問題，怎麼確定這些參數？求解最佳的參數是一個最優化問題，解決最優化問題，最簡單的就是梯度下降法了（sgd）：首先隨機初始化所有參數，然後迭代地訓練，不斷地計算梯度和更新參數，直到滿足某個條件為止（比如誤差足夠小、迭代次數足夠多時）。這個過程涉及到代價函數、規則化（Regularization）、學習速率（learning rate）、梯度計算等。

下面寫了一個超級簡單的實例，訓練和測試數據是mnist手寫識別數據集：

from sklearn.neural_network import MLPClassifier

import gzip

import pickle

with gzip.open('./mnist.pkl.gz') as f_gz:

    train_data,valid_data,test_data = pickle.load(f_gz)

clf = MLPClassifier(solver='sgd',activation = 'identity',max_iter = 10,alpha = 1e-5,hidden_layer_sizes = (100,50),random_state = 1,verbose = True)

clf.fit(train_data[0][:10000],train_data[1][:10000])

print clf.predict(test_data[0][:10])

print(clf.score(test_data[0][:100],test_data[1][:100]))

print(clf.predict_proba(test_data[0][:10]))

參數說明：

參數說明: 

1. hidden_layer_sizes :例如hidden_layer_sizes=(50, 50)，表示有兩層隱藏層，第一層隱藏層有50個神經元，第二層也有50個神經元。 

2. activation :激活函數,{『identity』, 『logistic』, 『tanh』, 『relu』}, 默認relu 

- identity：f(x) = x 

- logistic：其實就是sigmod,f(x) = 1 / (1 + exp(-x)). 

- tanh：f(x) = tanh(x). 

- relu：f(x) = max(0, x) 

3. solver： {『lbfgs』, 『sgd』, 『adam』}, 默認adam，用來優化權重 

- lbfgs：quasi-Newton方法的優化器 

- sgd：隨機梯度下降 

- adam： Kingma, Diederik, and Jimmy Ba提出的機遇隨機梯度的優化器 

注意：默認solver 『adam』在相對較大的數據集上效果比較好（幾千個樣本或者更多），對小數據集來說，lbfgs收斂更快效果也更好。 

4. alpha :float,可選的，默認0.0001,正則化項參數 

5. batch_size : int , 可選的，默認』auto』,隨機優化的minibatches的大小batch_size=min(200,n_samples)，如果solver是』lbfgs』，分類器將不使用minibatch 

6. learning_rate :學習率,用於權重更新,只有當solver為』sgd』時使用，{『constant』，』invscaling』, 『adaptive』},默認constant 

- 『constant』: 有』learning_rate_init』給定的恆定學習率 

- 『incscaling』：隨著時間t使用』power_t』的逆標度指數不斷降低學習率learning_rate_ ，effective_learning_rate = learning_rate_init / pow(t, power_t) 

- 『adaptive』：只要訓練損耗在下降，就保持學習率為』learning_rate_init』不變，當連續兩次不能降低訓練損耗或驗證分數停止升高至少tol時，將當前學習率除以5. 

7. power_t: double, 可選, default 0.5，只有solver=』sgd』時使用，是逆擴展學習率的指數.當learning_rate=』invscaling』，用來更新有效學習率。 

8. max_iter: int，可選，默認200，最大迭代次數。 

9. random_state:int 或RandomState，可選，默認None，隨機數生成器的狀態或種子。 

10. shuffle: bool，可選，默認True,只有當solver=』sgd』或者『adam』時使用，判斷是否在每次迭代時對樣本進行清洗。 

11. tol：float, 可選，默認1e-4，優化的容忍度 

12. learning_rate_int:double,可選，默認0.001，初始學習率，控制更新權重的補償，只有當solver=』sgd』 或』adam』時使用。 

14. verbose : bool, 可選, 默認False,是否將過程列印到stdout 

15. warm_start : bool, 可選, 默認False,當設置成True，使用之前的解決方法作為初始擬合，否則釋放之前的解決方法。 

16. momentum : float, 默認 0.9,動量梯度下降更新，設置的范圍應該0.0-1.0. 只有solver=』sgd』時使用. 

17. nesterovs_momentum : boolean, 默認True, Whether to use Nesterov』s momentum. 只有solver=』sgd』並且momentum > 0使用. 

18. early_stopping : bool, 默認False,只有solver=』sgd』或者』adam』時有效,判斷當驗證效果不再改善的時候是否終止訓練，當為True時，自動選出10%的訓練數據用於驗證並在兩步連續迭代改善，低於tol時終止訓練。 

19. validation_fraction : float, 可選, 默認 0.1,用作早期停止驗證的預留訓練數據集的比例，早0-1之間，只當early_stopping=True有用 

20. beta_1 : float, 可選, 默認0.9，只有solver=』adam』時使用，估計一階矩向量的指數衰減速率，[0,1)之間 

21. beta_2 : float, 可選, 默認0.999,只有solver=』adam』時使用估計二階矩向量的指數衰減速率[0,1)之間 

22. epsilon : float, 可選, 默認1e-8,只有solver=』adam』時使用數值穩定值。 

屬性說明： 

- classes_:每個輸出的類標簽 

- loss_:損失函數計算出來的當前損失值 

- coefs_:列表中的第i個元素表示i層的權重矩陣 

- intercepts_:列表中第i個元素代表i+1層的偏差向量 

- n_iter_ ：迭代次數 

- n_layers_:層數 

- n_outputs_:輸出的個數 

- out_activation_:輸出激活函數的名稱。 

方法說明： 

- fit(X,y):擬合 

- get_params([deep]):獲取參數 

- predict(X):使用MLP進行預測 

- predic_log_proba(X):返回對數概率估計 

- predic_proba(X)：概率估計 

- score(X,y[,sample_weight]):返回給定測試數據和標簽上的平均准確度 

-set_params(**params):設置參數。

Ⅳ 神經網路演算法中，參數的設置或者調整，有什麼方法可以採用

若果對你有幫助，請點贊。
神經網路的結構（例如2輸入3隱節點1輸出）建好後，一般就要求神經網路里的權值和閾值。現在一般求解權值和閾值，都是採用梯度下降之類的搜索演算法（梯度下降法、牛頓法、列文伯格-馬跨特法、狗腿法等等），這些演算法會先初始化一個解，在這個解的基礎上，確定一個搜索方向和一個移動步長（各種法算確定方向和步長的方法不同，也就使各種演算法適用於解決不同的問題），使初始解根據這個方向和步長移動後，能使目標函數的輸出（在神經網路中就是預測誤差）下降。 然後將它更新為新的解，再繼續尋找下一步的移動方向的步長，這樣不斷的迭代下去，目標函數（神經網路中的預測誤差）也不斷下降，最終就能找到一個解，使得目標函數（預測誤差）比較小。
而在尋解過程中，步長太大，就會搜索得不仔細，可能跨過了優秀的解，而步長太小，又會使尋解過程進行得太慢。因此，步長設置適當非常重要。
學習率對原步長（在梯度下降法中就是梯度的長度）作調整，如果學習率lr = 0.1,那麼梯度下降法中每次調整的步長就是0.1*梯度，
而在matlab神經網路工具箱里的lr,代表的是初始學習率。因為matlab工具箱為了在尋解不同階段更智能的選擇合適的步長，使用的是可變學習率，它會根據上一次解的調整對目標函數帶來的效果來對學習率作調整，再根據學習率決定步長。
機制如下：
if newE2/E2 > maxE_inc %若果誤差上升大於閾值
lr = lr * lr_dec; %則降低學習率
else
if newE2 < E2 %若果誤差減少
lr = lr * lr_inc;%則增加學習率
end
詳細的可以看《神經網路之家》nnetinfo里的《[重要]寫自己的BP神經網路(traingd)》一文，裡面是matlab神經網路工具箱梯度下降法的簡化代碼

若果對你有幫助，請點贊。
祝學習愉快

Ⅵ 神經網路參數如何確定

神經網路各個網路參數設定原則：

①、網路節點  網路輸入層神經元節點數就是系統的特徵因子(自變數)個數，輸出層神經元節點數就是系統目標個數。隱層節點選按經驗選取，一般設為輸入層節點數的75%。如果輸入層有7個節點，輸出層1個節點，那麼隱含層可暫設為5個節點，即構成一個7-5-1 BP神經網路模型。在系統訓練時，實際還要對不同的隱層節點數4、5、6個分別進行比較，最後確定出最合理的網路結構。

②、初始權值的確定  初始權值是不應完全相等的一組值。已經證明，即便確定  存在一組互不相等的使系統誤差更小的權值，如果所設Wji的的初始值彼此相等，它們將在學習過程中始終保持相等。故而，在程序中，我們設計了一個隨機發生器程序，產生一組一0.5~+0.5的隨機數，作為網路的初始權值。

③、最小訓練速率  在經典的BP演算法中，訓練速率是由經驗確定，訓練速率越大，權重變化越大，收斂越快；但訓練速率過大，會引起系統的振盪，因此，訓練速率在不導致振盪前提下，越大越好。因此，在DPS中，訓練速率會自動調整，並盡可能取大一些的值，但用戶可規定一個最小訓練速率。該值一般取0.9。

④、動態參數  動態系數的選擇也是經驗性的，一般取0.6 ~0.8。

⑤、允許誤差  一般取0.001~0.00001，當2次迭代結果的誤差小於該值時，系統結束迭代計算，給出結果。

⑥、迭代次數  一般取1000次。由於神經網路計算並不能保證在各種參數配置下迭代結果收斂，當迭代結果不收斂時，允許最大的迭代次數。

⑦、Sigmoid參數 該參數調整神經元激勵函數形式，一般取0.9~1.0之間。

⑧、數據轉換。在DPS系統中，允許對輸入層各個節點的數據進行轉換，提供轉換的方法有取對數、平方根轉換和數據標准化轉換。

(6)神經網路參數選取擴展閱讀：

神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：

1.生物原型

從生理學、心理學、解剖學、腦科學、病理學等方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。

2.建立模型

根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

3.演算法

在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。

神經網路用到的演算法就是向量乘法，並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性，是神經網路的幾個基本優點，也是神經網路計算方法與傳統方法的區別所在。