神經網路模型教材

Ⅰ 神經網路ART1模型

一、ART1模型概述

自適應共振理論(Adaptive Resonance Theory)簡稱ART，是於1976年由美國Boston大學S.Grossberg提出來的。

這一理論的顯著特點是，充分利用了生物神經細胞之間自興奮與側抑制的動力學原理，讓輸入模式通過網路雙向連接權的識別與比較，最後達到共振來完成對自身的記憶，並以同樣的方法實現網路的回想。當提供給網路回想的是一個網路中記憶的、或是與已記憶的模式十分相似的模式時，網路將會把這個模式回想出來，提出正確的分類。如果提供給網路回想的是一個網路中不存在的模式，則網路將在不影響已有記憶的前提下，將這一模式記憶下來，並將分配一個新的分類單元作為這一記憶模式的分類標志。

S.Grossberg和G.A.Carpenter經過多年研究和不斷發展，至今已提出了ART1，ART2和ART3三種網路結構。

ART1網路處理雙極型(或二進制)數據，即觀察矢量的分量是二值的，它只取0或1。

二、ART1模型原理

ART1網路是兩層結構，分輸入層(比較層)和輸出層(識別層)。從輸入層到輸出層由前饋連接權連接，從輸出層到輸入層由反饋連接權連接。

設網路輸入層有N個神經元，網路輸出層有M個神經元，二值輸入模式和輸出向量分別為：X_p=(

，

，…，

)，Y_p=(

，

，…，

)，p=1，2，…，P，其中P為輸入學習模式的個數。設前饋連接權和反饋連接權矩陣分別為W=(w_nm)_N×M，T=(t_nm)_N×M，n=1，2，…，N，m=1，2，…，M。

ART1網路的學習及工作過程，是通過反復地將輸入學習模式由輸入層向輸出層自下而上的識別和由輸出層向輸入層自上而下的比較過程來實現的。當這種自下而上的識別和自上而下的比較達到共振，即輸出向量可以正確反映輸入學習模式的分類，且網路原有記憶沒有受到不良影響時，網路對一個輸入學習模式的記憶分類則告完成。

ART1網路的學習及工作過程，可以分為初始化階段、識別階段、比較階段和探尋階段。

1.初始化階段

ART1網路需要初始化的參數主要有3個：

即W=(w_nm)_N×M，T=(t_nm)_N×M和ρ。

反饋連接權T=(t_nm)_N×M在網路的整個學習過程中取0或1二值形式。這一參數實際上反映了輸入層和輸出層之間反饋比較的范圍或強度。由於網路在初始化前沒有任何記憶，相當於一張白紙，即沒有選擇比較的余的。因此可將T的元素全部設置為1，即

t_nm=1，n=1，2，…，N，m=1，2，…，M。(1)

這意味著網路在初始狀態時，輸入層和輸出層之間將進行全范圍比較，隨著學習過程的深入，再按一定規則選擇比較范圍。

前饋連接權W=(w_nm)_N×M在網路學習結束後，承擔著對學習模式的記憶任務。在對W初始化時，應該給所有學習模式提供一個平等競爭的機會，然後通過對輸入模式的競爭，按一定規則調整W。W的初始值按下式設置：

中國礦產資源評價新技術與評價新模型

ρ稱為網路的警戒參數，其取值范圍為0＜ρ≤1。

2.識別階段

ART1網路的學習識別階段發生在輸入學習模式由輸入層向輸出層的傳遞過程中。在這一階段，首先將一個輸入學習模式X_p=(

，

，…，

)提供給網路的輸入層，然後把作為輸入學習模式的存儲媒介的前饋連接權W=(w_nm)_N×M與表示對這一輸入學習模式分類結果的輸出層的各個神經元進行比較，以尋找代表正確分類結果的神經元g。這一比較與尋找過程是通過尋找輸出層神經元最大加權輸入值，即神經元之間的競爭過程實現的，如下式所示：

中國礦產資源評價新技術與評價新模型

中國礦產資源評價新技術與評價新模型

中國礦產資源評價新技術與評價新模型

至此，網路的識別過程只是告一段落，並沒有最後結束。此時，神經元m=g是否真正有資格代表對輸入學習模式X_p的正確分類，還有待於下面的比較和尋找階段來進一步確定。一般情況下需要對代表同一輸入學習模式的分類結果的神經元進行反復識別。

3.比較階段

ART1網路的比較階段的主要職能是完成以下檢查任務，每當給已學習結束的網路提供一個供識別的輸入模式時，首先檢查一下這個模式是否是已學習過的模式，如果是，則讓網路回想出這個模式的分類結果；如果不是，則對這個模式加以記憶，並分配一個還沒有利用過的輸出層神經元來代表這個模式的分類結果。

具體過程如下：把由輸出層每個神經元反饋到輸入層的各個神經元的反饋連接權向量T_m=(t_1m，t_2m，…，t_Nm)，m=1，2，…，M作為對已學習的輸入模式的一條條記錄，即讓向量T_m=(t_1m，t_2m，…，t_Nm)與輸出層第m個神經元所代表的某一學習輸入模式X_p=(

，

，…，

)完全相等。

當需要網路對某個輸入模式進行回想時，這個輸入模式經過識別階段，競爭到神經元g作為自己的分類結果後，要檢查神經元g反饋回來的向量T_g是否與輸入模式相等。如果相等，則說明這是一個已記憶過的模式，神經元g代表了這個模式的分類結果，識別與比較產生了共振，網路不需要再經過尋找階段，直接進入下一個輸入模式的識別階段；如果不相符，則放棄神經元g的分類結果，進入尋找階段。

在比較階段，當用向量T_g與輸入模式X_P進行比較時，允許二者之間有一定的差距，差距的大小由警戒參數ρ決定。

首先計算

中國礦產資源評價新技術與評價新模型

C_g表示向量T_g與輸入模式X_P的擬合度。

在式中，

(t_ng*x_n)表示向量T_g=(t_1g，t_2g，…，t_Ng)與輸入模式X_p=(

，

，…，

)的邏輯「與」。

當T_g=X_P時，C_g=1。

當C_g≥ρ時，說明擬合度大於要求，沒有超過警戒線。

以上兩種情況均可以承認識別結果。

當C_g≠1且C_g＞ρ時，按式(6)式(7)將前饋連接權W_g=(w_1g，w_2g，…，w_Ng)和反饋連接權T_g=(t_1g，t_2g，…，t_Ng)向著與X_P更接近的方向調整。

中國礦產資源評價新技術與評價新模型

t_ng(t+1)=t_ng(t)*x_n，n=1，2，…，N。(7)

當C_g＜ρ時，說明擬合度小於要求，超過警戒線，則拒絕識別結果，將神經元g重新復位為0，並將這個神經元排除在下次識別范圍之外，網路轉入尋找階段。

4.尋找階段

尋找階段是網路在比較階段拒絕識別結果之後轉入的一個反復探尋的階段，在這一階段中，網路將在餘下的輸出層神經元中搜索輸入模式X_p的恰當分類。只要在輸出向量Y_p=(

，

，…

)中含有與這一輸入模式X_p相對應、或在警戒線以內相對應的分類單元，則網路可以得到與記憶模式相符的分類結果。如果在已記憶的分類結果中找不到與現在輸入的模式相對應的分類，但在輸出向量中還有未曾使用過的單元，則可以給這個輸入模式分配一個新的分類單元。在以上兩種情況下，網路的尋找過程總能獲得成功，也就是說共振終將發生。

三、總體演算法

設網路輸入層有N個神經元，網路輸出層有M個神經元，二值輸入模式和輸出向量分別為：X_p=(

，

，…，

)，Y_p=(

，

，…，

)p=1，2，…，p，其中p為輸入學習模式的個數。設前饋連接權和反饋連接權矩陣分別為W=(w_nm)_N×M，T=(t_nm)_N×M，n=1，2，…，N，m=1，2，…，M。

(1)網路初始化

t_nm(0)=1，

中國礦產資源評價新技術與評價新模型

n=1，2，…，N，m=1，2，…，M。

0＜ρ≤1。

(2)將輸入模式X_p=(

，

，…，

)提供給網路的輸入層

(3)計算輸出層各神經元輸入加權和

中國礦產資源評價新技術與評價新模型

(4)選擇X_P的最佳分類結果

中國礦產資源評價新技術與評價新模型

令神經元g的輸出為1。

(5)計算

中國礦產資源評價新技術與評價新模型

中國礦產資源評價新技術與評價新模型

判斷

中國礦產資源評價新技術與評價新模型

當式(8)成立，轉到(7)，否則，轉到(6)。

(6)取消識別結果，將輸出層神經元g的輸出值復位為0，並將這一神經元排除在下一次識別的范圍之外，返回步驟(4)。當所有已利用過的神經元都無法滿足式(8)，則選擇一個新的神經元作為分類結果，轉到步驟(7)。

(7)承認識別結果，並按下式調整連接權

中國礦產資源評價新技術與評價新模型

t_ng(t+1)=t_ng(t)*x_n，n=1，2，…，N。

(8)將步驟(6)復位的所有神經元重新加入識別范圍之內，返回步驟(2)對下一模式進行識別。

(9)輸出分類識別結果。

(10)結束。

四、實例

實例為ART1神經網路模型在柴北緣-東昆侖造山型金礦預測的應用。

1.建立綜合預測模型

柴北緣—東昆侖地區位於青海省的西部，是中央造山帶的西部成員——秦祁昆褶皺系的一部分，是典型的復合造山帶(殷鴻福等，1998)。根據柴北緣—東昆侖地區地質概括以及造山型金礦成礦特點，選擇與成礦相關密切的專題數據，建立柴北緣—東昆侖地區的綜合信息找礦模型：

1)金礦重砂異常數據是金礦的重要找礦標志。

2)金礦水化異常數據是金礦的重要找礦標志。

3)金礦的化探異常數據控制金礦床的分布。

4)金礦的空間分布與通過該區的深大斷裂有關。

5)研究區內斷裂密集程度控制金礦的產出。

6)重力構造的存在與否是金礦存在的一個標志。

7)磁力構造線的存在也是金礦存在的一個重要標志。

8)研究區地質復雜程度也對金礦的產出具有重要的作用。

9)研究區存在的礦(化)點是一個重要的標志。

2.劃分預測單元

預測工作是在單元上進行的，預測工作的結果是與單元有著較為直接的聯系，在找礦模型指導下，以最大限度地反映成礦信息和預測單元面積最小為原則，通過對研究區內地質、地球物理、地球化學等的綜合資料分析，對可能的成礦地段圈定了預測單元。採用網格化單元作為本次研究的預測單元，網格單元的大小是，40×40，將研究區劃分成774個預測單元。

3.變數選擇(表8-6)

4.ART1模型預測結果

ART1神經網路模型演算法中，給定不同的閾值，將改變預測分類的結果。本次實驗選取得閾值為ρ=0.41，系統根據此閾值進行計算獲得計算結果，並通過將不同的分類結果賦予不同的顏色，最終獲得ART模型預測單元的分類結果。分類的結果是形成29個類別。分類結果用不同的顏色表示，其具體結果地顯示見圖8-5。圖形中顏色只代表類別號，不代表分類的好壞。將礦點專題圖層疊加以後，可以看出，顏色為灰色的單元與礦的關系更為密切。

表8-6 預測變數標志的選擇表

圖8-5 東昆侖—柴北緣地區基於ARTL模型的金礦分類結果圖

Ⅱ 請簡述一下神經網路的PDB模型

資料1．人工神經網路理論基礎
包括：
（1） PDP(Parallel Distribated Processing)模式
（2） 容限理論
（3） 網路拓撲
（4） 混沌理論
1、PDP模式
PDP模式是一種認知心理的平行分布式模式。認知是信息處理過程，並且是知覺、注意、記憶、學習、表象、思維、概念形式、問題求解、語言、情緒、個性差異等等有機聯系的處理過程。PDP模式是一種接近人類思維推論的模式。人腦中知識的表達是採用分布式的表達結構，人腦的控制是實行分布式的控制方式。相互作用、相互限制是PDP模式的基本思想，平行分布是PDP模式的基本構架。
PDP模式的實施，需要一種合理的表示方法，其中一種表示方法便是人工神經網路表示法。即採用類似於大腦神經網路的體系結構，在這種基本體系結構下，使人工神經網路經過學習訓練，能適應多種知識體系。
參考：http://gamejedi.cn/bbs/dispbbs.asp?boardid=7&id=924&star=1&page=2

資料2．神經網路模型

信息加工模型有助於理論家把其理論假設進一步細致化、具體化。然而正如我們在第一節所討論過的，遵循聯結主義傳統的學者對比提出了反對意見，認為這一模型假設認知過程是繼時性流動，而事實並非總是如此，（參見Rumelhart, Hinton,和 McClelland, 1986），至少有一些認知過程更可能是同時發生的。比如說司機開車時可同時與人講話。一種用得越來越多的模型是神經網路模型（或稱並行分布模型）。這類模型認為不同的認知過程可以同時發生，這一假設與人們的主觀感覺相一致：許多東西同時出現在腦海中。這一假設還與我們已知的大腦神經的操作相一致。

神經網路模型假設有一系列相互連接的加工單元，而且這些單元的激活水平是不同的。根據不同的傳播規則，激活從一個單元傳播到與之相連的其它單元。
參考：http://jpkc.ecnu.e.cn/jxcg/931045/stu/ygg02/gg021/gg02102/gg02102c.htm
3．

Ⅲ 神經網路控制的介紹

《神經網路控制》介紹了神經網路控制的基本理論與控制方法。全書共8章，包括神經網路和自動控制的基礎知識、神經計算基礎、神經網路模型、神經控制中的系統辨識、人工神經元控制系統、神經控制系統、模糊神經控制系統和神經控制中的遺傳進化訓練等內容。《神經網路控制》可作為高等工科院校工業自動化、計算機科學與技術、檢測技術與儀器、電子信息、自動控制、電子信息工程等專業高年級學生、研究生教材或參考書，也供專業技術人員、技術管理人員或科技人員參考。《神經網路控制》備有電子教案，免費為教師提供，需要者請向出版社索取。

Ⅳ 神經網路BP模型

一、BP模型概述

誤差逆傳播(Error Back-Propagation)神經網路模型簡稱為BP(Back-Propagation)網路模型。

Pall Werbas博士於1974年在他的博士論文中提出了誤差逆傳播學習演算法。完整提出並被廣泛接受誤差逆傳播學習演算法的是以Rumelhart和McCelland為首的科學家小組。他們在1986年出版「Parallel Distributed Processing，Explorations in the Microstructure of Cognition」(《並行分布信息處理》)一書中，對誤差逆傳播學習演算法進行了詳盡的分析與介紹，並對這一演算法的潛在能力進行了深入探討。

BP網路是一種具有3層或3層以上的階層型神經網路。上、下層之間各神經元實現全連接，即下層的每一個神經元與上層的每一個神經元都實現權連接，而每一層各神經元之間無連接。網路按有教師示教的方式進行學習，當一對學習模式提供給網路後，神經元的激活值從輸入層經各隱含層向輸出層傳播，在輸出層的各神經元獲得網路的輸入響應。在這之後，按減小期望輸出與實際輸出的誤差的方向，從輸入層經各隱含層逐層修正各連接權，最後回到輸入層，故得名「誤差逆傳播學習演算法」。隨著這種誤差逆傳播修正的不斷進行，網路對輸入模式響應的正確率也不斷提高。

BP網路主要應用於以下幾個方面：

1)函數逼近：用輸入模式與相應的期望輸出模式學習一個網路逼近一個函數；

2)模式識別：用一個特定的期望輸出模式將它與輸入模式聯系起來；

3)分類：把輸入模式以所定義的合適方式進行分類；

4)數據壓縮：減少輸出矢量的維數以便於傳輸或存儲。

在人工神經網路的實際應用中，80%～90%的人工神經網路模型採用BP網路或它的變化形式，它也是前向網路的核心部分，體現了人工神經網路最精華的部分。

二、BP模型原理

下面以三層BP網路為例，說明學習和應用的原理。

1.數據定義

P對學習模式(x_p，d_p)，p=1，2，…，P；

輸入模式矩陣X[N][P]=(x₁，x₂，…，x_P)；

目標模式矩陣d[M][P]=(d₁，d₂，…，d_P)。

三層BP網路結構

輸入層神經元節點數S0=N，i=1，2，…，S0；

隱含層神經元節點數S1，j=1，2，…，S1；

神經元激活函數f1[S1]；

權值矩陣W1[S1][S0]；

偏差向量b1[S1]。

輸出層神經元節點數S2=M，k=1，2，…，S2；

神經元激活函數f2[S2]；

權值矩陣W2[S2][S1]；

偏差向量b2[S2]。

學習參數

目標誤差ϵ；

初始權更新值Δ₀；

最大權更新值Δ_max；

權更新值增大倍數η⁺；

權更新值減小倍數η^-。

2.誤差函數定義

對第p個輸入模式的誤差的計算公式為

中國礦產資源評價新技術與評價新模型

y2_kp為BP網的計算輸出。

3.BP網路學習公式推導

BP網路學習公式推導的指導思想是，對網路的權值W、偏差b修正，使誤差函數沿負梯度方向下降，直到網路輸出誤差精度達到目標精度要求，學習結束。

各層輸出計算公式

輸入層

y0_i=x_i，i=1，2，…，S0；

隱含層

中國礦產資源評價新技術與評價新模型

y1_j=f1(z1_j)，

j=1，2，…，S1；

輸出層

中國礦產資源評價新技術與評價新模型

y2_k=f2(z2_k)，

k=1，2，…，S2。

輸出節點的誤差公式

中國礦產資源評價新技術與評價新模型

對輸出層節點的梯度公式推導

中國礦產資源評價新技術與評價新模型

E是多個y2_m的函數，但只有一個y2_k與w_kj有關，各y2_m間相互獨立。

其中

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

設輸出層節點誤差為

δ2_k=(d_k-y2_k)·f2′(z2_k)，

則

中國礦產資源評價新技術與評價新模型

同理可得

中國礦產資源評價新技術與評價新模型

對隱含層節點的梯度公式推導

中國礦產資源評價新技術與評價新模型

E是多個y2_k的函數，針對某一個w1_ji，對應一個y1_j，它與所有的y2_k有關。因此，上式只存在對k的求和，其中

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

設隱含層節點誤差為

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

同理可得

中國礦產資源評價新技術與評價新模型

4.採用彈性BP演算法(RPROP)計算權值W、偏差b的修正值ΔW，Δb

1993年德國 Martin Riedmiller和Heinrich Braun 在他們的論文「A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm」中，提出Resilient Backpropagation演算法——彈性BP演算法(RPROP)。這種方法試圖消除梯度的大小對權步的有害影響，因此，只有梯度的符號被認為表示權更新的方向。

權改變的大小僅僅由權專門的「更新值」

確定

中國礦產資源評價新技術與評價新模型

其中

表示在模式集的所有模式(批學習)上求和的梯度信息，(t)表示t時刻或第t次學習。

權更新遵循規則：如果導數是正(增加誤差)，這個權由它的更新值減少。如果導數是負，更新值增加。

中國礦產資源評價新技術與評價新模型

RPROP演算法是根據局部梯度信息實現權步的直接修改。對於每個權，我們引入它的

各自的更新值

，它獨自確定權更新值的大小。這是基於符號相關的自適應過程，它基

於在誤差函數E上的局部梯度信息，按照以下的學習規則更新

中國礦產資源評價新技術與評價新模型

其中0＜η^-＜1＜η⁺。

在每個時刻，如果目標函數的梯度改變它的符號，它表示最後的更新太大，更新值

應由權更新值減小倍數因子η^-得到減少；如果目標函數的梯度保持它的符號，更新值應由權更新值增大倍數因子η⁺得到增大。

為了減少自由地可調參數的數目，增大倍數因子η⁺和減小倍數因子η^–被設置到固定值

η⁺=1.2，

η^-=0.5，

這兩個值在大量的實踐中得到了很好的效果。

RPROP演算法採用了兩個參數：初始權更新值Δ₀和最大權更新值Δ_max

當學習開始時，所有的更新值被設置為初始值Δ₀，因為它直接確定了前面權步的大小，它應該按照權自身的初值進行選擇，例如，Δ₀=0.1(默認設置)。

為了使權不至於變得太大，設置最大權更新值限制Δ_max，默認上界設置為

Δ_max=50.0。

在很多實驗中，發現通過設置最大權更新值Δ_max到相當小的值，例如

Δ_max=1.0。

我們可能達到誤差減小的平滑性能。

5.計算修正權值W、偏差b

第t次學習，權值W、偏差b的的修正公式

W^(t)=W^(t-1)+ΔW^(t)，

b^(t)=b^(t-1)+Δb^(t)，

其中，t為學習次數。

6.BP網路學習成功結束條件每次學習累積誤差平方和

中國礦產資源評價新技術與評價新模型

每次學習平均誤差

中國礦產資源評價新技術與評價新模型

當平均誤差MSE＜ε，BP網路學習成功結束。

7.BP網路應用預測

在應用BP網路時，提供網路輸入給輸入層，應用給定的BP網路及BP網路學習得到的權值W、偏差b，網路輸入經過從輸入層經各隱含層向輸出層的「順傳播」過程，計算出BP網的預測輸出。

8.神經元激活函數f

線性函數

f(x)=x，

f′(x)=1，

f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。

一般用於輸出層，可使網路輸出任何值。

S型函數S(x)

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。

f′(x)=f(x)[1-f(x)]，

f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，

]。

一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

在用於模式識別時，可用於輸出層，產生逼近於0或1的二值輸出。

雙曲正切S型函數

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。

f′(x)=1-f(x)·f(x)，

f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。

一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

階梯函數

類型1

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

f′(x)=0。

類型2

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。

f′(x)=0。

斜坡函數

類型1

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。

中國礦產資源評價新技術與評價新模型

f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

類型2

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。

中國礦產資源評價新技術與評價新模型

f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

三、總體演算法

1.三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b初始化總體演算法

(1)輸入參數X[N][P]，S₀，S₁，f₁[S₁]，S₂，f₂[S₂]；

(2)計算輸入模式X[N][P]各個變數的最大值，最小值矩陣 X_max[N]，X_min[N]；

(3)隱含層的權值W₁，偏差b₁初始化。

情形1：隱含層激活函數f( )都是雙曲正切S型函數

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣Randnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9))輸出W₁[S₁][S₀]，b₁[S₁]。

情形2：隱含層激活函數f( )都是S型函數

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣R_andnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9)輸出W₁[S₁][S₀]，b₁[S₁]。

情形3：隱含層激活函數f( )為其他函數的情形

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣R_andnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9)輸出W₁[S₁][S₀]，b₁[S₁]。

(4)輸出層的權值W₂，偏差b₂初始化

1)產生[-1，1]之間均勻分布的S₂×S₁維隨機數矩陣W₂[S₂][S₁]；

2)產生[-1，1]之間均勻分布的S₂×1維隨機數矩陣b₂[S₂]；

3)輸出W₂[S₂][S₁]，b₂[S₂]。

2.應用彈性BP演算法(RPROP)學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b總體演算法

函數：Train3BP_RPROP(S₀，X，P，S₁，W₁，b₁，f₁，S₂，W₂，b₂，f₂，d，TP)

(1)輸入參數

P對模式(x_p，d_p)，p=1，2，…，P；

三層BP網路結構；

學習參數。

(2)學習初始化

1)

；

2)各層W，b的梯度值

，

初始化為零矩陣。

(3)由輸入模式X求第一次學習各層輸出y₀，y₁，y₂及第一次學習平均誤差MSE

(4)進入學習循環

epoch=1

(5)判斷每次學習誤差是否達到目標誤差要求

如果MSE＜ϵ，

則，跳出epoch循環，

轉到(12)。

(6)保存第epoch-1次學習產生的各層W，b的梯度值

，

(7)求第epoch次學習各層W，b的梯度值

，

1)求各層誤差反向傳播值δ；

2)求第p次各層W，b的梯度值

，

；

3)求p=1，2，…，P次模式產生的W，b的梯度值

，

的累加。

(8)如果epoch=1，則將第epoch-1次學習的各層W，b的梯度值

，

設為第epoch次學習產生的各層W，b的梯度值

，

。

(9)求各層W，b的更新

1)求權更新值Δ_ij更新；

2)求W，b的權更新值

，

；

3)求第epoch次學習修正後的各層W，b。

(10)用修正後各層W、b，由X求第epoch次學習各層輸出y₀，y₁，y₂及第epoch次學習誤差MSE

(11)epoch=epoch+1，

如果epoch≤MAX_EPOCH，轉到(5)；

否則，轉到(12)。

(12)輸出處理

1)如果MSE＜ε，

則學習達到目標誤差要求，輸出W₁，b₁，W₂，b₂。

2)如果MSE≥ε，

則學習沒有達到目標誤差要求，再次學習。

(13)結束

3.三層BP網路(含輸入層，隱含層，輸出層)預測總體演算法

首先應用Train3lBP_RPROP( )學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b，然後應用三層BP網路(含輸入層，隱含層，輸出層)預測。

函數：Simu3lBP( )。

1)輸入參數：

P個需預測的輸入數據向量x_p，p=1，2，…，P；

三層BP網路結構；

學習得到的各層權值W、偏差b。

2)計算P個需預測的輸入數據向量x_p(p=1，2，…，P)的網路輸出 y₂[S₂][P]，輸出預測結果y₂[S₂][P]。

四、總體演算法流程圖

BP網路總體演算法流程圖見附圖2。

五、數據流圖

BP網數據流圖見附圖1。

六、實例

實例一 全國銅礦化探異常數據BP 模型分類

1.全國銅礦化探異常數據准備

在全國銅礦化探數據上用穩健統計學方法選取銅異常下限值33.1，生成全國銅礦化探異常數據。

2.模型數據准備

根據全國銅礦化探異常數據，選取7類33個礦點的化探數據作為模型數據。這7類分別是岩漿岩型銅礦、斑岩型銅礦、矽卡岩型、海相火山型銅礦、陸相火山型銅礦、受變質型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。

3.測試數據准備

全國化探數據作為測試數據集。

4.BP網路結構

隱層數2，輸入層到輸出層向量維數分別為14，9、5、1。學習率設置為0.9，系統誤差1e-5。沒有動量項。

表8-1 模型數據表

續表

5.計算結果圖

如圖8-2、圖8-3。

圖8-2

圖8-3 全國銅礦礦床類型BP模型分類示意圖

實例二 全國金礦礦石量品位數據BP 模型分類

1.模型數據准備

根據全國金礦儲量品位數據，選取4類34個礦床數據作為模型數據，這4類分別是綠岩型金礦、與中酸性浸入岩有關的熱液型金礦、微細浸染型型金礦、火山熱液型金礦(表8-2)。

2.測試數據准備

模型樣本點和部分金礦點金屬量、礦石量、品位數據作為測試數據集。

3.BP網路結構

輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學習率設置為0.8，系統誤差1e-4，迭代次數5000。

表8-2 模型數據

4.計算結果

結果見表8-3、8-4。

表8-3 訓練學習結果

表8-4 預測結果(部分)

續表

Ⅳ 深度學習之卷積神經網路經典模型

LeNet-5模型 在CNN的應用中，文字識別系統所用的LeNet-5模型是非常經典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一個成功大規模應用在手寫數字識別問題的卷積神經網路，在MNIST數據集中的正確率可以高達99.2%。

下面詳細介紹一下LeNet-5模型工作的原理。
LeNet-5模型一共有7層，每層包含眾多參數，也就是卷積神經網路中的參數。雖然層數只有7層，這在如今龐大的神經網路中可是說是非常少的了，但是包含了卷積層，池化層，全連接層，可謂麻雀雖小五臟俱全了。為了方便，我們把卷積層稱為C層，下采樣層叫做下采樣層。
首先，輸入層輸入原始圖像，原始圖像被處理成32×32個像素點的值。然後，後面的隱層計在卷積和子抽樣之間交替進行。C1層是卷積層，包含了六個特徵圖。每個映射也就是28x28個神經元。卷積核可以是5x5的十字形，這28×28個神經元共享卷積核權值參數，通過卷積運算，原始信號特徵增強，同時也降低了雜訊，當卷積核不同時，提取到圖像中的特徵不同；C2層是一個池化層，池化層的功能在上文已經介紹過了，它將局部像素值平均化來實現子抽樣。
池化層包含了六個特徵映射，每個映射的像素值為14x14，這樣的池化層非常重要，可以在一定程度上保證網路的特徵被提取，同時運算量也大大降低，減少了網路結構過擬合的風險。因為卷積層與池化層是交替出現的，所以隱藏層的第三層又是一個卷積層，第二個卷積層由16個特徵映射構成，每個特徵映射用於加權和計算的卷積核為10x10的。第四個隱藏層，也就是第二個池化層同樣包含16個特徵映射，每個特徵映射中所用的卷積核是5x5的。第五個隱藏層是用5x5的卷積核進行運算，包含了120個神經元，也是這個網路中卷積運算的最後一層。
之後的第六層便是全連接層，包含了84個特徵圖。全連接層中對輸入進行點積之後加入偏置，然後經過一個激活函數傳輸給輸出層的神經元。最後一層，也就是第七層，為了得到輸出向量，設置了十個神經元來進行分類，相當於輸出一個包含十個元素的一維數組，向量中的十個元素即0到9。
AlexNet模型
AlexNet簡介
2012年Imagenet圖像識別大賽中，Alext提出的alexnet網路模型一鳴驚人，引爆了神經網路的應用熱潮，並且贏得了2012屆圖像識別大賽的冠軍，這也使得卷積神經網路真正意義上成為圖像處理上的核心演算法。上文介紹的LeNet-5出現在上個世紀，雖然是經典，但是迫於種種復雜的現實場景限制，只能在一些領域應用。不過，隨著SVM等手工設計的特徵的飛速發展，LeNet-5並沒有形成很大的應用狀況。隨著ReLU與dropout的提出，以及GPU帶來算力突破和互聯網時代大數據的爆發，卷積神經網路帶來歷史的突破，AlexNet的提出讓深度學習走上人工智慧的最前端。
圖像預處理
AlexNet的訓練數據採用ImageNet的子集中的ILSVRC2010數據集，包含了1000類，共1.2百萬的訓練圖像，50000張驗證集，150000張測試集。在進行網路訓練之前我們要對數據集圖片進行預處理。首先我們要將不同解析度的圖片全部變成256x256規格的圖像，變換方法是將圖片的短邊縮放到 256像素值，然後截取長邊的中間位置的256個像素值，得到256x256大小的圖像。除了對圖片大小進行預處理，還需要對圖片減均值，一般圖像均是由RGB三原色構成，均值按RGB三分量分別求得，由此可以更加突出圖片的特徵，更方便後面的計算。
此外，對了保證訓練的效果，我們仍需對訓練數據進行更為嚴苛的處理。在256x256大小的圖像中，截取227x227大小的圖像，在此之後對圖片取鏡像，這樣就使得原始數據增加了（256-224）x（256-224）x2= 2048倍。最後對RGB空間做PCA，然後對主成分做（0,0.1）的高斯擾動，結果使錯誤率下降1%。對測試數據而言，抽取以圖像4個角落的大小為224224的圖像，中心的224224大小的圖像以及它們的鏡像翻轉圖像，這樣便可以獲得10張圖像，我們便可以利用softmax進行預測，對所有預測取平均作為最終的分類結果。
ReLU激活函數
之前我們提到常用的非線性的激活函數是sigmoid，它能夠把輸入的連續實值全部確定在0和1之間。但是這帶來一個問題，當一個負數的絕對值很大時，那麼輸出就是0；如果是絕對值非常大的正數，輸出就是1。這就會出現飽和的現象，飽和現象中神經元的梯度會變得特別小，這樣必然會使得網路的學習更加困難。此外，sigmoid的output的值並不是0為均值，因為這會導致上一層輸出的非0均值信號會直接輸入到後一層的神經元上。所以AlexNet模型提出了ReLU函數，公式：f(x)=max(0,x)f(x)=max(0,x)。

用ReLU代替了Sigmoid，發現使用 ReLU 得到的SGD的收斂速度會比 sigmoid快很多，這成了AlexNet模型的優勢之一。
Dropout
AlexNet模型提出了一個有效的模型組合方式，相比於單模型，只需要多花費一倍的時間，這種方式就做Dropout。在整個神經網路中，隨機選取一半的神經元將它們的輸出變成0。這種方式使得網路關閉了部分神經元，減少了過擬合現象。同時訓練的迭代次數也得以增加。當時一個GTX580 GPU只有3GB內存，這使得大規模的運算成為不可能。但是，隨著硬體水平的發展，當時的GPU已經可以實現並行計算了，並行計算之後兩塊GPU可以互相通信傳輸數據，這樣的方式充分利用了GPU資源，所以模型設計利用兩個GPU並行運算，大大提高了運算效率。
模型分析

AlexNet模型共有8層結構，其中前5層為卷積層，其中前兩個卷積層和第五個卷積層有池化層，其他卷積層沒有。後面3層為全連接層，神經元約有六十五萬個，所需要訓練的參數約六千萬個。
圖片預處理過後，進過第一個卷積層C1之後，原始的圖像也就變成了55x55的像素大小，此時一共有96個通道。模型分為上下兩塊是為了方便GPU運算，48作為通道數目更加適合GPU的並行運算。上圖的模型里把48層直接變成了一個面，這使得模型看上去更像一個立方體，大小為55x55x48。在後面的第二個卷積層C2中，卷積核的尺寸為5x5x48，由此再次進行卷積運算。在C1，C2卷積層的卷積運算之後，都會有一個池化層，使得提取特徵之後的特徵圖像素值大大減小，方便了運算，也使得特徵更加明顯。而第三層的卷積層C3又是更加特殊了。第三層卷積層做了通道的合並，將之前兩個通道的數據再次合並起來，這是一種串接操作。第三層後，由於串接，通道數變成256。全卷積的卷積核尺寸也就變成了13×13×25613×13×256。一個有4096個這樣尺寸的卷積核分別對輸入圖像做4096次的全卷積操作，最後的結果就是一個列向量，一共有4096個數。這也就是最後的輸出，但是AlexNet最終是要分1000個類，所以通過第八層，也就是全連接的第三層，由此得到1000個類輸出。
Alexnet網路中各個層發揮了不同的作用，ReLU，多個CPU是為了提高訓練速度，重疊pool池化是為了提高精度，且不容易產生過擬合，局部歸一化響應是為了提高精度，而數據增益與dropout是為了減少過擬合。
VGG net
在ILSVRC-2014中，牛津大學的視覺幾何組提出的VGGNet模型在定位任務第一名和分類任務第一名[[i]]。如今在計算機視覺領域，卷積神經網路的良好效果深得廣大開發者的喜歡，並且上文提到的AlexNet模型擁有更好的效果，所以廣大從業者學習者試圖將其改進以獲得更好地效果。而後來很多人經過驗證認為，AlexNet模型中所謂的局部歸一化響應浪費了計算資源，但是對性能卻沒有很大的提升。VGG的實質是AlexNet結構的增強版，它側重強調卷積神經網路設計中的深度。將卷積層的深度提升到了19層，並且在當年的ImageNet大賽中的定位問題中獲得了第一名的好成績。整個網路向人們證明了我們是可以用很小的卷積核取得很好地效果，前提是我們要把網路的層數加深，這也論證了我們要想提高整個神經網路的模型效果，一個較為有效的方法便是將它的深度加深，雖然計算量會大大提高，但是整個復雜度也上升了，更能解決復雜的問題。雖然VGG網路已經誕生好幾年了，但是很多其他網路上效果並不是很好地情況下，VGG有時候還能夠發揮它的優勢，讓人有意想不到的收獲。

與AlexNet網路非常類似，VGG共有五個卷積層，並且每個卷積層之後都有一個池化層。當時在ImageNet大賽中，作者分別嘗試了六種網路結構。這六種結構大致相同，只是層數不同，少則11層，多達19層。網路結構的輸入是大小為224*224的RGB圖像，最終將分類結果輸出。當然，在輸入網路時，圖片要進行預處理。
VGG網路相比AlexNet網路，在網路的深度以及寬度上做了一定的拓展，具體的卷積運算還是與AlexNet網路類似。我們主要說明一下VGG網路所做的改進。第一點，由於很多研究者發現歸一化層的效果並不是很好，而且佔用了大量的計算資源，所以在VGG網路中作者取消了歸一化層；第二點，VGG網路用了更小的3x3的卷積核，而兩個連續的3x3的卷積核相當於5x5的感受野，由此類推，三個3x3的連續的卷積核也就相當於7x7的感受野。這樣的變化使得參數量更小，節省了計算資源，將資源留給後面的更深層次的網路。第三點是VGG網路中的池化層特徵池化核改為了2x2，而在AlexNet網路中池化核為3x3。這三點改進無疑是使得整個參數運算量下降，這樣我們在有限的計算平台上能夠獲得更多的資源留給更深層的網路。由於層數較多，卷積核比較小，這樣使得整個網路的特徵提取效果很好。其實由於VGG的層數較多，所以計算量還是相當大的，卷積層比較多成了它最顯著的特點。另外，VGG網路的拓展性能比較突出，結構比較簡潔，所以它的遷移性能比較好，遷移到其他數據集的時候泛化性能好。到現在為止，VGG網路還經常被用來提出特徵。所以當現在很多較新的模型效果不好時，使用VGG可能會解決這些問題。
GoogleNet
谷歌於2014年Imagenet挑戰賽（ILSVRC14）憑借GoogleNet再次斬獲第一名。這個通過增加了神經網路的深度和寬度獲得了更好地效果，在此過程中保證了計算資源的不變。這個網路論證了加大深度，寬度以及訓練數據的增加是現有深度學習獲得更好效果的主要方式。但是增加尺寸可能會帶來過擬合的問題，因為深度與寬度的加深必然會帶來過量的參數。此外，增加網路尺寸也帶來了對計算資源侵佔過多的缺點。為了保證計算資源充分利用的前提下去提高整個模型的性能，作者使用了Inception模型，這個模型在下圖中有展示，可以看出這個有點像金字塔的模型在寬度上使用並聯的不同大小的卷積核，增加了卷積核的輸出寬度。因為使用了較大尺度的卷積核增加了參數。使用了1*1的卷積核就是為了使得參數的數量最少。

Inception模塊
上圖表格為網路分析圖，第一行為卷積層，輸入為224×224×3 ，卷積核為7x7，步長為2，padding為3，輸出的維度為112×112×64，這裡面的7x7卷積使用了 7×1 然後 1×7 的方式，這樣便有(7+7)×64×3=2,688個參數。第二行為池化層，卷積核為3×33×3，滑動步長為2，padding為 1 ，輸出維度：56×56×64，計算方式：1/2×(112+2×1?3+1)=56。第三行，第四行與第一行，第二行類似。第 5 行 Inception mole中分為4條支線，輸入均為上層產生的 28×28×192 結果：第 1 部分，1×1 卷積層，輸出大小為28×28×64；第 2 部分，先1×1卷積層，輸出大小為28×28×96，作為輸入進行3×3卷積層，輸出大小為28×28×128；第 3部分，先1×1卷積層，輸出大小為28×28×32，作為輸入進行3×3卷積層，輸出大小為28×28×32；而第3 部分3×3的池化層，輸出大小為輸出大小為28×28×32。第5行的Inception mole會對上面是個結果的輸出結果並聯，由此增加網路寬度。
ResNet
2015年ImageNet大賽中，MSRA何凱明團隊的ResialNetworks力壓群雄，在ImageNet的諸多領域的比賽中上均獲得了第一名的好成績，而且這篇關於ResNet的論文Deep Resial Learning for Image Recognition也獲得了CVPR2016的最佳論文，實至而名歸。
上文介紹了的VGG以及GoogleNet都是增加了卷積神經網路的深度來獲得更好效果，也讓人們明白了網路的深度與廣度決定了訓練的效果。但是，與此同時，寬度與深度加深的同時，效果實際會慢慢變差。也就是說模型的層次加深，錯誤率提高了。模型的深度加深，以一定的錯誤率來換取學習能力的增強。但是深層的神經網路模型犧牲了大量的計算資源，學習能力提高的同時不應當產生比淺層神經網路更高的錯誤率。這個現象的產生主要是因為隨著神經網路的層數增加，梯度消失的現象就越來越明顯。所以為了解決這個問題，作者提出了一個深度殘差網路的結構Resial：

上圖就是殘差網路的基本結構，可以看出其實是增加了一個恆等映射，將原本的變換函數H(x)轉換成了F(x)+x。示意圖中可以很明顯看出來整個網路的變化，這樣網路不再是簡單的堆疊結構，這樣的話便很好地解決了由於網路層數增加而帶來的梯度原來越不明顯的問題。所以這時候網路可以做得很深，到目前為止，網路的層數都可以上千層，而能夠保證很好地效果。並且，這樣的簡單疊加並沒有給網路增加額外的參數跟計算量，同時也提高了網路訓練的效果與效率。
在比賽中，為了證明自己觀點是正確的，作者控制變數地設計幾個實驗。首先作者構建了兩個plain網路，這兩個網路分別為18層跟34層，隨後作者又設計了兩個殘差網路，層數也是分別為18層和34層。然後對這四個模型進行控制變數的實驗觀察數據量的變化。下圖便是實驗結果。實驗中，在plain網路上觀測到明顯的退化現象。實驗結果也表明，在殘差網路上，34層的效果明顯要好於18層的效果，足以證明殘差網路隨著層數增加性能也是增加的。不僅如此，殘差網路的在更深層的結構上收斂性能也有明顯的提升，整個實驗大為成功。

除此之外，作者還做了關於shortcut方式的實驗，如果殘差網路模塊的輸入輸出維度不一致，我們如果要使維度統一，必須要對維數較少的進行増維。而增維的最好效果是用0來填充。不過實驗數據顯示三者差距很小，所以線性投影並不是特別需要。使用0來填充維度同時也保證了模型的復雜度控制在比較低的情況下。
隨著實驗的深入，作者又提出了更深的殘差模塊。這種模型減少了各個層的參數量，將資源留給更深層數的模型，在保證復雜度很低的情況下，模型也沒有出現梯度消失很明顯的情況，因此目前模型最高可達1202層，錯誤率仍然控製得很低。但是層數如此之多也帶來了過擬合的現象，不過諸多研究者仍在改進之中，畢竟此時的ResNet已經相對於其他模型在性能上遙遙領先了。
殘差網路的精髓便是shortcut。從一個角度來看，也可以解讀為多種路徑組合的一個網路。如下圖：

ResNet可以做到很深，但是從上圖中可以體會到，當網路很深，也就是層數很多時，數據傳輸的路徑其實相對比較固定。我們似乎也可以將其理解為一個多人投票系統，大多數梯度都分布在論文中所謂的effective path上。
DenseNet
在Resnet模型之後，有人試圖對ResNet模型進行改進，由此便誕生了ResNeXt模型。

這是對上面介紹的ResNet模型結合了GoogleNet中的inception模塊思想，相比於Resnet來說更加有效。隨後，誕生了DenseNet模型，它直接將所有的模塊連接起來，整個模型更加簡單粗暴。稠密相連成了它的主要特點。

我們將DenseNet與ResNet相比較:

從上圖中可以看出，相比於ResNet，DenseNet參數量明顯減少很多，效果也更加優越，只是DenseNet需要消耗更多的內存。
總結
上面介紹了卷積神經網路發展史上比較著名的一些模型，這些模型非常經典，也各有優勢。在算力不斷增強的現在，各種新的網路訓練的效率以及效果也在逐漸提高。從收斂速度上看，VGG>Inception>DenseNet>ResNet,從泛化能力來看，Inception>DenseNet=ResNet>VGG，從運算量看來，Inception<DenseNet< ResNet<VGG，從內存開銷來看，Inception<ResNet< DenseNet<VGG。在本次研究中，我們對各個模型均進行了分析，但從效果來看，ResNet效果是最好的，優於Inception，優於VGG，所以我們第四章實驗中主要採用谷歌的Inception模型，也就是GoogleNet。

Ⅵ 神經網路的歷史是什麼

沃倫·麥卡洛克和沃爾特·皮茨（1943）基於數學和一種稱為閾值邏輯的演算法創造了一種神經網路的計算模型。這種模型使得神經網路的研究分裂為兩種不同研究思路。一種主要關注大腦中的生物學過程，另一種主要關注神經網路在人工智慧里的應用。

一、赫布型學習

二十世紀40年代後期，心理學家唐納德·赫布根據神經可塑性的機制創造了一種對學習的假說，現在稱作赫布型學習。赫布型學習被認為是一種典型的非監督式學習規則，它後來的變種是長期增強作用的早期模型。從1948年開始，研究人員將這種計算模型的思想應用到B型圖靈機上。

法利和韋斯利·A·克拉克（1954）首次使用計算機，當時稱作計算器，在MIT模擬了一個赫布網路。納撒尼爾·羅切斯特（1956）等人模擬了一台 IBM 704計算機上的抽象神經網路的行為。

弗蘭克·羅森布拉特創造了感知機。這是一種模式識別演算法，用簡單的加減法實現了兩層的計算機學習網路。羅森布拉特也用數學符號描述了基本感知機里沒有的迴路，例如異或迴路。這種迴路一直無法被神經網路處理，直到保羅·韋伯斯(1975)創造了反向傳播演算法。

在馬文·明斯基和西摩爾·派普特（1969）發表了一項關於機器學習的研究以後，神經網路的研究停滯不前。他們發現了神經網路的兩個關鍵問題。

第一是基本感知機無法處理異或迴路。第二個重要的問題是電腦沒有足夠的能力來處理大型神經網路所需要的很長的計算時間。直到計算機具有更強的計算能力之前，神經網路的研究進展緩慢。

二、反向傳播演算法與復興

後來出現的一個關鍵的進展是保羅·韋伯斯發明的反向傳播演算法（Werbos 1975）。這個演算法有效地解決了異或的問題，還有更普遍的訓練多層神經網路的問題。

在二十世紀80年代中期，分布式並行處理（當時稱作聯結主義）流行起來。戴維·魯姆哈特和詹姆斯·麥克里蘭德的教材對於聯結主義在計算機模擬神經活動中的應用提供了全面的論述。

神經網路傳統上被認為是大腦中的神經活動的簡化模型，雖然這個模型和大腦的生理結構之間的關聯存在爭議。人們不清楚人工神經網路能多大程度地反映大腦的功能。

支持向量機和其他更簡單的方法（例如線性分類器）在機器學習領域的流行度逐漸超過了神經網路，但是在2000年代後期出現的深度學習重新激發了人們對神經網路的興趣。

三、2006年之後的進展

人們用CMOS創造了用於生物物理模擬和神經形態計算的計算設備。最新的研究顯示了用於大型主成分分析和卷積神經網路的納米設備具有良好的前景。

如果成功的話，這會創造出一種新的神經計算設備，因為它依賴於學習而不是編程，並且它從根本上就是模擬的而不是數字化的，雖然它的第一個實例可能是數字化的CMOS設備。

在2009到2012年之間，Jürgen Schmidhuber在Swiss AI Lab IDSIA的研究小組研發的循環神經網路和深前饋神經網路贏得了8項關於模式識別和機器學習的國際比賽。

例如，Alex Graves et al.的雙向、多維的LSTM贏得了2009年ICDAR的3項關於連筆字識別的比賽，而且之前並不知道關於將要學習的3種語言的信息。

IDSIA的Dan Ciresan和同事根據這個方法編寫的基於GPU的實現贏得了多項模式識別的比賽，包括IJCNN 2011交通標志識別比賽等等。

他們的神經網路也是第一個在重要的基準測試中（例如IJCNN 2012交通標志識別和NYU的揚·勒丘恩（Yann LeCun）的MNIST手寫數字問題）能達到或超過人類水平的人工模式識別器。

類似1980年Kunihiko Fukushima發明的neocognitron和視覺標准結構（由David H. Hubel和Torsten Wiesel在初級視皮層中發現的那些簡單而又復雜的細胞啟發）那樣有深度的、高度非線性的神經結構可以被多倫多大學傑弗里·辛頓實驗室的非監督式學習方法所訓練。

2012年，神經網路出現了快速的發展，主要原因在於計算技術的提高，使得很多復雜的運算變得成本低廉。以AlexNet為標志，大量的深度網路開始出現。

2014年出現了殘差神經網路，該網路極大解放了神經網路的深度限制，出現了深度學習的概念。

構成

典型的人工神經網路具有以下三個部分：

1、結構（Architecture）結構指定了網路中的變數和它們的拓撲關系。例如，神經網路中的變數可以是神經元連接的權重（weights）和神經元的激勵值（activities of the neurons）。

2、激勵函數（Activation Rule）大部分神經網路模型具有一個短時間尺度的動力學規則，來定義神經元如何根據其他神經元的活動來改變自己的激勵值。一般激勵函數依賴於網路中的權重（即該網路的參數）。

3、學習規則（Learning Rule）學習規則指定了網路中的權重如何隨著時間推進而調整。這一般被看做是一種長時間尺度的動力學規則。一般情況下，學習規則依賴於神經元的激勵值。它也可能依賴於監督者提供的目標值和當前權重的值。

例如，用於手寫識別的一個神經網路，有一組輸入神經元。輸入神經元會被輸入圖像的數據所激發。在激勵值被加權並通過一個函數（由網路的設計者確定）後，這些神經元的激勵值被傳遞到其他神經元。

這個過程不斷重復，直到輸出神經元被激發。最後，輸出神經元的激勵值決定了識別出來的是哪個字母。

Ⅶ 求人推薦幾本有關神經網路和遺傳演算法的書籍

圖書. < 神經網路 >
作 者： 候媛彬，杜京義，汪梅 編著
出 版 社： 西安電子科技大學出版社
出版時間： 2007-8-1
字 數： 339000
版 次： 1
頁 數： 223
I S B N ： 9787560619026
分類： 圖書 >> 計算機/網路 >> 人工智慧
定價：￥26.00
內容簡介
神經網路是智能控制技術的主要分支之一。本書的主要內容有：神經網路的概念，神經網路的分類與學習方法，前向神經網路模型及其演算法，改進的BP網路及其控制、辨識建模，基於遺傳演算法的神經網路，基於模糊理論的神經網路，RBF網路及其在混沌背景下對微弱信號的測量與控制，反饋網路，Hopfield網路及其在字元識別中的應用，支持向量機及其故障診斷，小波神經網路及其在控制與辨識中的應用。
本書內容全面，重點突出，以講明基本概念和方法為主，盡量減少繁瑣的數學推導，並給出一些結合工程應用的例題。本書附有光碟，其中包括結合各章節內容所開發的30多個源程序，可直接在MATLAB界面下運行，此外，還包括用Authorware和Flash軟體製作的動畫課件。
本書既可作為自動化和電氣自動化專業及相關專業的研究生教材，也可供機電類工程技術人員選用，還可作為有興趣的讀者自學與應用的參考書。
作者簡介
侯媛彬，教授，女，博士生導師，1997年獲西安交通大學系統工程（Ⅰ）博士學位。西安科技大學礦山機電博士點學科帶頭人，西安科技大學省重點學科「控制理論與控制工程」學科帶頭人，中國自動化學會電氣專業委員會委員，陝西省自動化協會常務理事兼教育委員會主任。一直從事自動化、安全技術與工程方面的教學和研究工作。講授過博士、碩士和本科各層面的專業課程10多門。在國內外公開發表學術論文110餘篇，其中被EI和ISTP檢索30餘篇。出版專著、教材8部：承擔省部級科研項目及橫向項目10餘項；獲實用新型專利2項；獲省級科技進步獎3項：獲科研、教學方面的各種獎10多項；2006年獲省級師德標兵。