A. BP人工神經網路的收斂是什麼
收斂和迭代演算法有關。
反向傳播演算法是定義一個誤差er(往往是輸出結果與預想結果之間的某個范數),然後求出滿足誤差極小的權向量。如果把誤差看成一個連續函數(泛函)的話,求對權向量各分量的偏導為0即可,但是實際上它是離散的,所以我們需要用迭代來求最小梯度。
如果是新定義演算法的話理論上的收斂要證明,可以證明它在迭代次數趨近無窮的時候等於某一解,也可以證明它滿足李普希茲條件(就是帶有完備范數和李普希茲常數的那個),這種情形下我們叫做收斂,要是用已有演算法或者乾脆就是BP演算法的時候不需要你證明。理論上不收斂的情況是這樣,當迭代次數趨近無窮的時候,權向量的解不唯一。
實際上的收斂是這樣,給定一個最大迭代次數n,一個誤差限erl,反向傳播演算法應該很容易找,我不往上寫了,每一步權值修正都會使er減小,直觀的看就是權向量的分量沿著梯度減小的方向在前進,雖然理論上樣本足夠大並且n趨於無窮的時候會收斂,但是實際上有可能出現當迭代到第n次,誤差er依然大於誤差限erl的情況,也就是說我們沒有解出來滿足要求的權向量,所以網路訓練失敗,叫做不收斂。當然,也可以使用梯度限來作為迭代終止的條件,這種情況下不收斂就是梯度在迭代了n次以後沒有小於某一值,從而沒有求出滿足要求的權向量;收斂就是求出了滿足梯度限的權向量。
B. bp演算法在人工神經網路中的作用是什麼
BP(Back Propagation)演算法是一種常用的人工神經網路訓練演算法,是通過反向傳播來調整神經網路權值的演算法。在人工神經網路中,BP演算法的作用是幫助神經網路對輸入的數據進行學習,並通過學習來調整神經網路的權值,以使得神經網路能夠較好地對未知數據進行預測。
C. 怎麼看出SVM比BP神經網路收斂速度快
單純比較收斂速度並沒有意義,因為兩種方法的原理完全不同。但從得到全版局最優解的角度來看,SVM效果權較好。
一、SVM可以發現全局最優,而BP演算法通常只能獲得局部最優
SVM學習問題可以表示為凸優化問題,因此可以利用已知的有效演算法發現目標函數的全局最小值。而其他分類方法(如基於規則的分類器和BP人工神經網路)都採用一種基於貪心學習的策略來搜索假設空間,這種方法一般只能獲得局部最優解。
二、SVM方法避免了「維數災難」
SVM方法巧妙地解決了維數災難難題:應用核函數的展開定理,就不需要知道非線性映射的顯式表達式;由於是在高維特徵空間中建立線性學習機,所以與線性模型相比,不但幾乎不增加計算的復雜性,而且在某種程度上避免了「維數災難」.這一切要歸功於核函數的展開和計算理論。
D. BP神經網路validation checks很快到達6,performance還沒達到要求,還有performance收斂很慢
validation checks是用來防止網路訓練過適的,即是訓練時網路的驗證誤差大於訓練誤差的次數,默認值為6就是大於次數達到6次訓練就會停止。網路訓練過適時,即使performance還在減小網路性能也不會提高,反而會降低,因此要設定過適次數來提前訓練以保證網路性能。performance的收斂就要考慮很多因素,比如你的輸入數據,網路的參數設定,隱藏層神經元個數等等。