㈠ 神經網路Hopfield模型
一、Hopfield模型概述
1982年，美國加州工學院J.Hopfield發表一篇對人工神經網路研究頗有影響的論文。他提出了一種具有相互連接的反饋型人工神經網路模型——Hopfield人工神經網路。
Hopfield人工神經網路是一種反饋網路(Recurrent Network)，又稱自聯想記憶網路。其目的是為了設計一個網路，存儲一組平衡點，使得當給網路一組初始值時，網路通過自行運行而最終收斂到所存儲的某個平衡點上。
Hopfield網路是單層對稱全反饋網路，根據其激活函數的選取不同，可分為離散型Hopfield網路(Discrete Hopfield Neural Network，簡稱 DHNN)和連續型 Hopfield 網路(Continue Hopfield Neural Network，簡稱CHNN)。離散型Hopfield網路的激活函數為二值型階躍函數，主要用於聯想記憶、模式分類、模式識別。這個軟體為離散型Hopfield網路的設計、應用。
二、Hopfield模型原理
離散型Hopfield網路的設計目的是使任意輸入矢量經過網路循環最終收斂到網路所記憶的某個樣本上。
正交化的權值設計
這一方法的基本思想和出發點是為了滿足下面4個要求：
1)保證系統在非同步工作時的穩定性，即它的權值是對稱的，滿足
wij=wji，i，j=1，2…，N；
2)保證所有要求記憶的穩定平衡點都能收斂到自己；
3)使偽穩定點的數目盡可能地少；
4)使穩定點的吸引力盡可能地大。
正交化權值的計算公式推導如下：
1)已知有P個需要存儲的穩定平衡點x1，x2…，xP-1，xP，xp∈RN，計算N×(P-1)階矩陣A∈RN×(P-1)：
A=(x1-xPx2-xP…xP-1-xP)T。
2)對A做奇異值分解
A=USVT，
U=(u1u2…uN)，
V=(υ1υ2…υP-1)，
中國礦產資源評價新技術與評價新模型
Σ=diαg(λ1，λ2，…，λK)，O為零矩陣。
K維空間為N維空間的子空間，它由K個獨立的基組成：
K=rαnk(A)，
設{u1u2…uK}為A的正交基，而{uK+1uK+2…uN}為N維空間的補充正交基。下面利用U矩陣來設計權值。
3)構造
中國礦產資源評價新技術與評價新模型
總的連接權矩陣為：
Wt=Wp-T·Wm，
其中，T為大於-1的參數，預設值為10。
Wp和Wm均滿足對稱條件，即
(wp)ij=(wp)ji，
(wm)ij=(wm)ji，
因而Wt中分量也滿足對稱條件。這就保證了系統在非同步時能夠收斂並且不會出現極限環。
4)網路的偏差構造為
bt=xP-Wt·xP。
下面推導記憶樣本能夠收斂到自己的有效性。
(1)對於輸入樣本中的任意目標矢量xp，p=1，2，…，P，因為(xp-xP)是A中的一個矢量，它屬於A的秩所定義的K個基空間的矢量，所以必存在系數α1，α2，…，αK，使
xp-xP=α1u1+α2u2+…+αKuK，
即
xp=α1u1+α2u2+…+αKuK+xP，
對於U中任意一個ui，有
中國礦產資源評價新技術與評價新模型
由正交性質可知，上式中
當i=j，
當i≠j，
對於輸入模式xi，其網路輸出為
yi=sgn(Wtxi+bt)
=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)
=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]
=sgn[(Wp-T·Wm)(xi-xP)+xP]
=sgn[Wt(xi-xP)+xP]
=sgn[(xi-xP)+xP]
=xi。
(2)對於輸入模式xP，其網路輸出為
yP=sgn(WtxP+bt)
=sgn(WtxP+xP-WtxP)
=sgn(xP)
=xP。
(3)如果輸入一個不是記憶樣本的x，網路輸出為
y=sgn(Wtx+bt)
=sgn[(Wp-T·Wm)(x-xP)+xP]
=sgn[Wt(x-xP)+xP]。
因為x不是已學習過的記憶樣本，x-xP不是A中的矢量，則必然有
Wt(x-xP)≠x-xP，
並且再設計過程中可以通過調節Wt=Wp-T·Wm中的參數T的大小來控制(x-xP)與xP的符號，以保證輸入矢量x與記憶樣本之間存在足夠的大小余額，從而使sgn(Wtx+bt)≠x，使x不能收斂到自身。
用輸入模式給出一組目標平衡點，函數HopfieldDesign( )可以設計出 Hopfield 網路的權值和偏差，保證網路對給定的目標矢量能收斂到穩定的平衡點。
設計好網路後，可以應用函數HopfieldSimu( )，對輸入矢量進行分類，這些輸入矢量將趨近目標平衡點，最終找到他們的目標矢量，作為對輸入矢量進行分類。
三、總體演算法
1.Hopfield網路權值W[N][N]、偏差b[N]設計總體演算法
應用正交化權值設計方法，設計Hopfield網路；
根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]；
使Hopfield網路的穩定輸出矢量與給定的目標矢量一致。
1)輸入P個輸入模式X=(x[1]，x[2]，…，x[P-1]，x[P])
輸入參數，包括T、h；
2)由X[N][P]構造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；
3)對A[N][P-1]作奇異值分解A=USVT；
4)求A[N][P-1]的秩rank；
5)由U=(u[1]，u[2]，…，u[K])構造Wp[N][N]；
6)由U=(u[K+1]，…，u[N])構造Wm[N][N]；
7)構造Wt[N][N]=Wp[N][N]-T*Wm[N][N]；
8)構造bt[N]=X[N][P]-Wt[N][N]*X[N][P]；
9)構造W[N][N](9～13)，
構造W1[N][N]=h*Wt[N][N]；
10)求W1[N][N]的特徵值矩陣Val[N][N](對角線元素為特徵值，其餘為0)，特徵向量矩陣Vec[N][N]；
11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；
12)求Vec[N][N]的逆Invec[N][N]；
13)構造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；
14)構造b[N]，(14～15)，
C1=exp(h)-1，
C2=-(exp(-T*h)-1)/T；
15)構造
中國礦產資源評價新技術與評價新模型
Uˊ——U的轉置；
16)輸出W[N][N]，b[N]；
17)結束。
2.Hopfield網路預測應用總體演算法
Hopfield網路由一層N個斜坡函數神經元組成。
應用正交化權值設計方法，設計Hopfield網路。
根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]。
初始輸出為X[N][P]，
計算X[N][P]=f(W[N][N]*X[N][P]+b[N])，
進行T次迭代，
返回最終輸出X[N][P]，可以看作初始輸出的分類。
3.斜坡函數
中國礦產資源評價新技術與評價新模型
輸出范圍[-1，1]。
四、數據流圖
Hopfield網數據流圖見附圖3。
五、調用函數說明
1.一般實矩陣奇異值分解
(1)功能
用豪斯荷爾德(Householder)變換及變形QR演算法對一般實矩陣進行奇異值分解。
(2)方法說明
設A為m×n的實矩陣，則存在一個m×m的列正交矩陣U和n×n的列正交矩陣V，使
中國礦產資源評價新技術與評價新模型
成立。其中
Σ=diag(σ0，σ1，…σp)p⩽min(m，n)-1，
且σ0≥σ1≥…≥σp＞0，
上式稱為實矩陣A的奇異值分解式，σi(i=0，1，…，p)稱為A的奇異值。
奇異值分解分兩大步：
第一步：用豪斯荷爾德變換將A約化為雙對角線矩陣。即
中國礦產資源評價新技術與評價新模型
其中
中國礦產資源評價新技術與評價新模型
j具有如下形式：
中國礦產資源評價新技術與評價新模型
其中ρ為一個比例因子，以避免計算過程中的溢出現象與誤差的累積，Vj是一個列向量。即
Vj=(υ0，υ1，…，υn-1)，
則
中國礦產資源評價新技術與評價新模型
其中
中國礦產資源評價新技術與評價新模型
第二步：用變形的QR演算法進行迭代，計算所有的奇異值。即：用一系列的平面旋轉變換對雙對角線矩陣B逐步變換成對角矩陣。
在每一次的迭代中，用變換
中國礦產資源評價新技術與評價新模型
其中變換
在每次迭代時，經過初始化變換V01後，將在第0列的主對角線下方出現一個非0元素。在變換V01中，選擇位移植u的計算公式如下：
中國礦產資源評價新技術與評價新模型
最後還需要對奇異值按非遞增次序進行排列。
在上述變換過程中，若對於某個次對角線元素ej滿足
｜ej｜⩽ε(｜sj+1｜+｜sj｜)
則可以認為ej為0。
若對角線元素sj滿足
｜sj｜⩽ε(｜ej-1｜+｜ej｜)
則可以認為sj為0(即為0奇異值)。其中ε為給定的精度要求。
(3)調用說明
int bmuav(double*a，int m，int n，double*u，double*v，double eps，int ka)，
本函數返回一個整型標志值，若返回的標志值小於0，則表示出現了迭代60次還未求得某個奇異值的情況。此時，矩陣的分解式為UAVT；若返回的標志值大於0，則表示正常返回。
形參說明：
a——指向雙精度實型數組的指針，體積為m×n。存放m×n的實矩陣A；返回時，其對角線給出奇異值(以非遞增次序排列)，其餘元素為0；
m——整型變數，實矩陣A的行數；
n——整型變數，實矩陣A的列數；
u——指向雙精度實型數組的指針，體積為m×m。返回時存放左奇異向量U；
υ——指向雙精度實型數組的指針，體積為n×n。返回時存放右奇異向量VT；
esp——雙精度實型變數，給定的精度要求；
ka——整型變數，其值為max(m，n)+1。
2.求實對稱矩陣特徵值和特徵向量的雅可比過關法
(1)功能
用雅可比(Jacobi)方法求實對稱矩陣的全部特徵值與相應的特徵向量。
(2)方法說明
雅可比方法的基本思想如下。
設n階矩陣A為對稱矩陣。在n階對稱矩陣A的非對角線元素中選取一個絕對值最大的元素，設為apq。利用平面旋轉變換矩陣R0(p，q，θ)對A進行正交相似變換：
A1=R0(p，q，θ)TA，
其中R0(p，q，θ)的元素為
rpp=cosθ，rqq=cosθ，rpq=sinθ，
rqp=sinθ，rij=0，i，j≠p，q。
如果按下式確定角度θ，
中國礦產資源評價新技術與評價新模型
則對稱矩陣A經上述變換後，其非對角線元素的平方和將減少
綜上所述，用雅可比方法求n階對稱矩陣A的特徵值及相應特徵向量的步驟如下：
1)令S=In(In為單位矩陣)；
2)在A中選取非對角線元素中絕對值最大者，設為apq；
3)若｜apq｜＜ε，則迭代過程結束。此時對角線元素aii(i=0，1，…，n-1)即為特徵值λi，矩陣S的第i列為與λi相應的特徵向量。否則，繼續下一步；
4)計算平面旋轉矩陣的元素及其變換後的矩陣A1的元素。其計算公式如下
中國礦產資源評價新技術與評價新模型
5)S=S·R(p，q，θ)，轉(2)。
在選取非對角線上的絕對值最大的元素時用如下方法：
首先計算實對稱矩陣A的非對角線元素的平方和的平方根
中國礦產資源評價新技術與評價新模型
然後設置關口υ1=υ0/n，在非對角線元素中按行掃描選取第一個絕對值大於或等於υ1的元素αpq進行平面旋轉變換，直到所有非對角線元素的絕對值均小於υ1為止。再設關口υ2=υ1/n，重復這個過程。以此類推，這個過程一直作用到對於某個υk＜ε為止。
(3)調用說明
void cjcbj(double*a，int n，double*v，double eps)。
形參說明：
a——指向雙精度實型數組的指針，體積為n×n，存放n階實對稱矩陣A；返回時，其對角線存放n個特徵值；
n——整型變數，實矩陣A的階數；
υ——指向雙精度實型數組的指針，體積為n×n，返回特徵向量，其中第i列為與λi(即返回的αii，i=0，1，……，n-1)對應的特徵向量；
esp——雙精度實型變數。給定的精度要求。
3.矩陣求逆
(1)功能
用全選主元高斯-約當(Gauss-Jordan)消去法求n階實矩陣A的逆矩陣。
(2)方法說明
高斯-約當法(全選主元)求逆的步驟如下：
首先，對於k從0到n-1做如下幾步：
1)從第k行、第k列開始的右下角子陣中選取絕對值最大的元素，並記住此元素所在的行號和列號，再通過行交換和列交換將它交換到主元素位置上，這一步稱為全選主元；
2)
3)
4)αij-
5)-
最後，根據在全選主元過程中所記錄的行、列交換的信息進行恢復，恢復原則如下：在全選主元過程中，先交換的行、列後進行恢復；原來的行(列)交換用列(行)交換來恢復。
圖8-4 東昆侖—柴北緣地區基於HOPFIELD模型的銅礦分類結果圖
(3)調用說明
int brinv(double*a，int n)。
本函數返回一個整型標志位。若返回的標志位為0，則表示矩陣A奇異，還輸出信息「err**not inv」；若返回的標志位不為0，則表示正常返回。
形參說明：
a——指向雙精度實型數組的指針，體積為n×n。存放原矩陣A；返回時，存放其逆矩陣A-1；
n——整型變數，矩陣的階數。
六、實例
實例：柴北緣—東昆侖地區銅礦分類預測。
選取8種因素，分別是重砂異常存在標志、水化異常存在標志、化探異常峰值、地質圖熵值、Ms存在標志、Gs存在標志、Shdadlie到區的距離、構造線線密度。
構置原始變數，並根據原始數據構造預測模型。
HOPFIELD模型參數設置：訓練模式維數8，預測樣本個數774，參數個數8，迭代次數330。
結果分44類(圖8-4，表8-5)。
表8-5 原始數據表及分類結果（部分）
續表
㈡ 神經網路Kohonen模型
一、Kohonen模型概述
1981年芬蘭赫爾辛基大學Kohonen教授提出了一個比較完整的，分類性能較好的自組織特徵影射(Self-Organizing Feature Map)人工神經網路(簡稱SOM網路)方案。這種網路也稱為Kohonen特徵影射網路。
這種網路模擬大腦神經系統自組織特徵影射功能，它是一種競爭式學習網路，在學習中能無監督地進行自組織學習。
二、Hohonen模型原理
1.概述
SOM網路由輸入層和競爭層組成。輸入層神經元數為N，競爭層由M=R×C神經元組成，構成一個二維平面陣列或一個一維陣列(R=1)。輸入層和競爭層之間實現全互連接。
SOM網路的基本思想是網路競爭層各神經元競爭對輸入模式的響應機會，最後僅有一個神經元成為競爭的勝者，並對那些與獲勝神經元有關的各連接權朝著更有利於它競爭的方向調整，這一獲勝神經元就表示對輸入模式的分類。
SOM演算法是一種無教師示教的聚類方法，它能將任意輸入模式在輸出層映射成一維或二維離散圖形，並保持其拓撲結構不變。即在無教師的情況下，通過對輸入模式的自組織學習，在競爭層將分類結果表示出來。此外，網路通過對輸入模式的反復學習，可以使連接權矢量空間分布密度與輸入模式的概率分布趨於一致，即連接權矢量空間分布能反映輸入模式的統計特徵。
2.網路權值初始化
因為網路輸入很可能出現在中間區，因此，如果競爭層的初始權值選擇在輸入空間的中間區，則其學習效果會更加有效。
3.鄰域距離矩陣
SOM網路中的神經元可以按任何方式排列，這種排列可以用表示同一層神經元間的Manhattan距離的鄰域距離矩陣D來描述，而兩神經元的Manhattan距離是指神經元坐標相減後的矢量中，其元素絕對值之和。
4.Kohonen競爭學習規則
設SOM網路的輸入模式為Xp=(
Wj=(wj1，wj2，…，wjN)，j=1，2，…，M。
Kohonen網路自組織學習過程包括兩個部分：一是選擇最佳匹配神經元，二是權矢量自適應變化的更新過程。
確定輸入模式Xp與連接權矢量Wj的最佳匹配的評價函數是兩個矢量的歐氏距離最小，即
g，確定獲勝神經元g。
dg=mjin(dj)，j=1，2，…，M。
求輸入模式Xp在競爭層的獲勝神經元g及其在鄰域距離nd內的神經元的輸出。
中國礦產資源評價新技術與評價新模型
dgm為鄰域距離矩陣D的元素，為競爭層中獲勝神經元g與競爭層中其它神經元的距離。
求輸入模式Xp在競爭層的獲勝神經元g及其在鄰域距離nd內的神經元的權值修正值。
中國礦產資源評價新技術與評價新模型
式中：i=1，2，…，N；
lr為學習速率；
t為學習循環次數。
Δwjt(t+1)的其餘元素賦值為0。
進行連接權的調整
wji(t+1)=wji(t)+Δwji(t+1)。
5.權值學習中學習速率及鄰域距離的更新
(1)SOM網路的學習過程分為兩個階段
第一階段為粗學習與粗調整階段。在這一階段內，連接權矢量朝著輸入模式的方向進行調整，神經元的權值按照期望的方向在適應神經元位置的輸入空間建立次序，大致確定輸入模式在競爭層中所對應的影射位置。一旦各輸入模式在競爭層有了相對的影射位置後，則轉入精學習與細調整階段，即第二階段。在這一階段內，網路學習集中在對較小的范圍內的連接權進行調整，神經元的權值按照期望的方向在輸入空間伸展，直到保留到他們在粗調整階段所建立的拓撲次序。
學習速率應隨著學習的進行不斷減小。
(2)鄰域的作用與更新
在SOM網路中，腦神經細胞接受外界信息的刺激產生興奮與抑制的變化規律是通過鄰域的作用來體現的鄰域規定了與獲勝神經元g連接的權向量Wg進行同樣調整的其他神經元的范圍。在學習的最初階段，鄰域的范圍較大，隨著學習的深入進行，鄰域的范圍逐漸縮小。
(3)學習速率及鄰域距離的更新
在粗調整階段，
學習參數初始化
最大學習循環次數 MAX_STEP1=1000，
粗調整階段學習速率初值 LR1=1.4，
細調整階段學習速率初值 LR2=0.02，
最大鄰域距離 MAX_ND1=Dmax，
Dmax為鄰域距離矩陣D的最大元素值。
粗調階段
學習循環次數step≤MAX_STEP1，
學習速率lr從LR1調整到LR2，
鄰域距離nd 從MAX_ND1調整到1，
求更新系數r，
r=1-step/MAX_STEP1，
鄰域距離nd更新，
nd=1.00001+(MAX_ND1-1)×r。
學習速率lr更新，
lr=LR2+(LR1-LR2)×r。
在細調整階段，
學習參數初始化，
最大學習循環次數 MAX_STEP2=2000，
學習速率初值 LR2=0.02，
最大鄰域距離 MAX_ND2=1。
細調階段
MAX_STEP1＜step≤MAX_STEP1+MAX_STEP2，
學習速率lr慢慢從LR2減少，
鄰域距離nd設為1，
鄰域距離nd更新，
nd=MAX_ND2+0.00001。
學習速率lr更新，
lr=LR2×(MAX_STEP1/step)。
6.網路的回想——預測
SOM網路經學習後按照下式進行回想：
中國礦產資源評價新技術與評價新模型
Yj=0，j=1，2，…，M，(j≠g)。
將需要分類的輸入模式提供給網路的輸入層，按照上述方法尋找出競爭層中連接權矢量與輸入模式最接近的神經元，此時神經元有最大的激活值1，而其它神經元被抑制而取0值。這時神經元的狀態即表示對輸入模式的分類。
三、總體演算法
1.SOM權值學習總體演算法
(1)輸入參數X[N][P]。
(2)構造權值矩陣W[M][N]。
1)由X[N][P]求Xmid[N]，
2)由Xmid[N]構造權值W[M][N]。
(3)構造競爭層。
1)求競爭層神經元數M，
2)求鄰域距離矩陣D[M][M]，
3)求矩陣D[M][M]元素的最大值Dmax。
(4)學習參數初始化。
(5)學習權值W[M][N]。
1)學習參數學習速率lr，鄰域距離nd更新，分兩階段：
(i)粗調階段更新；
(ii)細調階段更新。
2)求輸入模式X[N][p]在競爭層的獲勝神經元win[p]。
(i)求X[N][p]與W[m][N]的歐氏距離dm；
(ii)按距離dm最短，求輸入模式X[N][p]在競爭層的獲勝神經元win[p]。
3)求輸入模式X[N][p]在競爭層的獲勝神經元win[p]及其在鄰域距離nd內的神經元的輸出Y[m][p]。
4)求輸入模式X[N][p]在競爭層的獲勝神經元win[p]及其
在鄰域距離nd內的神經元的權值修正值ΔW[m][N]，
從而得到輸入模式X[N][p]產生的權值修正值ΔW[M][N]。
5)權值修正W[M][N]=W[M][N]+ΔW[M][N]。
6)學習結束條件：
(i)學習循環到MAX_STEP次；
(ii)學習速率lr達到用戶指定的LR_MIN；
(iii)學習時間time達到用戶指定的TIME_LIM。
(6)輸出。
1)學習得到的權值矩陣W[M][N]；
2)鄰域距離矩陣D[M][M]。
(7)結束。
2.SOM預測總體演算法
(1)輸入需分類數據X[N][P]，鄰域距離矩陣D[M][M]。
(2)求輸入模式X[N][p]在競爭層的獲勝神經元win[p]。
1)求X[N][p]與W[m][N]的歐氏距離dm；
2)按距離dm最短，求輸入模式X[N][p]在競爭層的獲勝神經元win[p]。
(3)求獲勝神經元win[p]在競爭層排列的行列位置。
(4)輸出與輸入數據適應的獲勝神經元win[p]在競爭層排列的行列位置，作為分類結果。
(5)結束。
四、總體演算法流程圖
Kohonen總體演算法流程圖見附圖4。
五、數據流圖
Kohonen數據流圖見附圖4。
六、無模式識別總體演算法
假定有N個樣品，每個樣品測量M個變數，則有原始數據矩陣：
X=(xij)N×M，i=1，2，…，N，j=1，2，…，M。
(1)原始數據預處理
X=(xij)N×M處理為Z=(zij)N×M，
分3種處理方法：
1)襯度；
2)標准化；
3)歸一化。
程序默認用歸一化處理。
(2)構造Kohonen網
競爭層與輸入層之間的神經元的連接權值構成矩陣WQ×M。
WQ×M初始化。
(3)進入Kohonen網學習分類循環，用epoch記錄循環次數，epoch=1。
(4)在每個epoch循環中，對每個樣品n(n=1，2，…，N)進行分類。從1個樣品n=1開始。
(5)首先計算輸入層的樣品n的輸入數據znm(m=1，2，…，M)與競爭層Q個神經元對應權值wqm的距離。
(6)尋找輸入層的樣品n與競爭層Q個神經元的最小距離，距離最小的神經元Win[n]為獲勝神經元，將樣品n歸入獲勝神經元Win[n]所代表的類型中，從而實現對樣品n的分類。
(7)對樣品集中的每一個樣品進行分類：
n=n+1。
(如果n≤N，轉到5。否則，轉到8。)
(8)求分類後各神經元所對應的樣品的變數的重心，用對應的樣品的變數的中位數作為重心，用對應的樣品的變數的重心來更新各神經元的連接權值。
(9)epoch=epoch+1；
一次學習分類循環結束。
(10)如果滿足下列兩個條件之一，分類循環結束，轉到11；
否則，分類循環繼續進行，轉到4。
1)全部樣品都固定在某個神經元上，不再改變了；
2)學習分類循環達到最大迭代次數。
(11)輸出：
1)N個樣品共分成多少類，每類多少樣品，記錄每類的樣品編號；
2)如果某類中樣品個數超過1個，則輸出某類的樣品原始數據的每個變數的均值、最小值、最大值和均方差；
3)如果某類中樣品個數為1個，則輸出某類的樣品原始數據的各變數值；
4)輸出原始數據每個變數(j=1，2，…，M)的均值，最小值，最大值和均方差。
(12)結束。
七、無模式識別總體演算法流程圖
Kohonen無模式總體演算法流程圖見附圖5。
㈢ 神經網路BP模型
一、BP模型概述
誤差逆傳播(Error Back-Propagation)神經網路模型簡稱為BP(Back-Propagation)網路模型。
Pall Werbas博士於1974年在他的博士論文中提出了誤差逆傳播學習演算法。完整提出並被廣泛接受誤差逆傳播學習演算法的是以Rumelhart和McCelland為首的科學家小組。他們在1986年出版「Parallel Distributed Processing，Explorations in the Microstructure of Cognition」(《並行分布信息處理》)一書中，對誤差逆傳播學習演算法進行了詳盡的分析與介紹，並對這一演算法的潛在能力進行了深入探討。
BP網路是一種具有3層或3層以上的階層型神經網路。上、下層之間各神經元實現全連接，即下層的每一個神經元與上層的每一個神經元都實現權連接，而每一層各神經元之間無連接。網路按有教師示教的方式進行學習，當一對學習模式提供給網路後，神經元的激活值從輸入層經各隱含層向輸出層傳播，在輸出層的各神經元獲得網路的輸入響應。在這之後，按減小期望輸出與實際輸出的誤差的方向，從輸入層經各隱含層逐層修正各連接權，最後回到輸入層，故得名「誤差逆傳播學習演算法」。隨著這種誤差逆傳播修正的不斷進行，網路對輸入模式響應的正確率也不斷提高。
BP網路主要應用於以下幾個方面：
1)函數逼近：用輸入模式與相應的期望輸出模式學習一個網路逼近一個函數；
2)模式識別：用一個特定的期望輸出模式將它與輸入模式聯系起來；
3)分類：把輸入模式以所定義的合適方式進行分類；
4)數據壓縮：減少輸出矢量的維數以便於傳輸或存儲。
在人工神經網路的實際應用中，80%～90%的人工神經網路模型採用BP網路或它的變化形式，它也是前向網路的核心部分，體現了人工神經網路最精華的部分。
二、BP模型原理
下面以三層BP網路為例，說明學習和應用的原理。
1.數據定義
P對學習模式(xp，dp)，p=1，2，…，P；
輸入模式矩陣X[N][P]=(x1，x2，…，xP)；
目標模式矩陣d[M][P]=(d1，d2，…，dP)。
三層BP網路結構
輸入層神經元節點數S0=N，i=1，2，…，S0；
隱含層神經元節點數S1，j=1，2，…，S1；
神經元激活函數f1[S1]；
權值矩陣W1[S1][S0]；
偏差向量b1[S1]。
輸出層神經元節點數S2=M，k=1，2，…，S2；
神經元激活函數f2[S2]；
權值矩陣W2[S2][S1]；
偏差向量b2[S2]。
學習參數
目標誤差ϵ；
初始權更新值Δ0；
最大權更新值Δmax；
權更新值增大倍數η+；
權更新值減小倍數η-。
2.誤差函數定義
對第p個輸入模式的誤差的計算公式為
中國礦產資源評價新技術與評價新模型
y2kp為BP網的計算輸出。
3.BP網路學習公式推導
BP網路學習公式推導的指導思想是，對網路的權值W、偏差b修正，使誤差函數沿負梯度方向下降，直到網路輸出誤差精度達到目標精度要求，學習結束。
各層輸出計算公式
輸入層
y0i=xi，i=1，2，…，S0；
隱含層
中國礦產資源評價新技術與評價新模型
y1j=f1(z1j)，
j=1，2，…，S1；
輸出層
中國礦產資源評價新技術與評價新模型
y2k=f2(z2k)，
k=1，2，…，S2。
輸出節點的誤差公式
中國礦產資源評價新技術與評價新模型
對輸出層節點的梯度公式推導
中國礦產資源評價新技術與評價新模型
E是多個y2m的函數，但只有一個y2k與wkj有關，各y2m間相互獨立。
其中
中國礦產資源評價新技術與評價新模型
則
中國礦產資源評價新技術與評價新模型
設輸出層節點誤差為
δ2k=(dk-y2k)·f2′(z2k)，
則
中國礦產資源評價新技術與評價新模型
同理可得
中國礦產資源評價新技術與評價新模型
對隱含層節點的梯度公式推導
中國礦產資源評價新技術與評價新模型
E是多個y2k的函數，針對某一個w1ji，對應一個y1j，它與所有的y2k有關。因此，上式只存在對k的求和，其中
中國礦產資源評價新技術與評價新模型
則
中國礦產資源評價新技術與評價新模型
設隱含層節點誤差為
中國礦產資源評價新技術與評價新模型
則
中國礦產資源評價新技術與評價新模型
同理可得
中國礦產資源評價新技術與評價新模型
4.採用彈性BP演算法(RPROP)計算權值W、偏差b的修正值ΔW，Δb
1993年德國 Martin Riedmiller和Heinrich Braun 在他們的論文「A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm」中，提出Resilient Backpropagation演算法——彈性BP演算法(RPROP)。這種方法試圖消除梯度的大小對權步的有害影響，因此，只有梯度的符號被認為表示權更新的方向。
權改變的大小僅僅由權專門的「更新值」
中國礦產資源評價新技術與評價新模型
其中
權更新遵循規則：如果導數是正(增加誤差)，這個權由它的更新值減少。如果導數是負，更新值增加。
中國礦產資源評價新技術與評價新模型
RPROP演算法是根據局部梯度信息實現權步的直接修改。對於每個權，我們引入它的
各自的更新值
於在誤差函數E上的局部梯度信息，按照以下的學習規則更新
中國礦產資源評價新技術與評價新模型
其中0＜η-＜1＜η+。
在每個時刻，如果目標函數的梯度改變它的符號，它表示最後的更新太大，更新值
為了減少自由地可調參數的數目，增大倍數因子η+和減小倍數因子η–被設置到固定值
η+=1.2，
η-=0.5，
這兩個值在大量的實踐中得到了很好的效果。
RPROP演算法採用了兩個參數：初始權更新值Δ0和最大權更新值Δmax
當學習開始時，所有的更新值被設置為初始值Δ0，因為它直接確定了前面權步的大小，它應該按照權自身的初值進行選擇，例如，Δ0=0.1(默認設置)。
為了使權不至於變得太大，設置最大權更新值限制Δmax，默認上界設置為
Δmax=50.0。
在很多實驗中，發現通過設置最大權更新值Δmax到相當小的值，例如
Δmax=1.0。
我們可能達到誤差減小的平滑性能。
5.計算修正權值W、偏差b
第t次學習，權值W、偏差b的的修正公式
W(t)=W(t-1)+ΔW(t)，
b(t)=b(t-1)+Δb(t)，
其中，t為學習次數。
6.BP網路學習成功結束條件每次學習累積誤差平方和
中國礦產資源評價新技術與評價新模型
每次學習平均誤差
中國礦產資源評價新技術與評價新模型
當平均誤差MSE＜ε，BP網路學習成功結束。
7.BP網路應用預測
在應用BP網路時，提供網路輸入給輸入層，應用給定的BP網路及BP網路學習得到的權值W、偏差b，網路輸入經過從輸入層經各隱含層向輸出層的「順傳播」過程，計算出BP網的預測輸出。
8.神經元激活函數f
線性函數
f(x)=x，
f′(x)=1，
f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。
一般用於輸出層，可使網路輸出任何值。
S型函數S(x)
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。
f′(x)=f(x)[1-f(x)]，
f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，
一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。
在用於模式識別時，可用於輸出層，產生逼近於0或1的二值輸出。
雙曲正切S型函數
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。
f′(x)=1-f(x)·f(x)，
f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。
一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。
階梯函數
類型1
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
f′(x)=0。
類型2
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。
f′(x)=0。
斜坡函數
類型1
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。
中國礦產資源評價新技術與評價新模型
f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
類型2
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。
中國礦產資源評價新技術與評價新模型
f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
三、總體演算法
1.三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b初始化總體演算法
(1)輸入參數X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；
(2)計算輸入模式X[N][P]各個變數的最大值，最小值矩陣 Xmax[N]，Xmin[N]；
(3)隱含層的權值W1，偏差b1初始化。
情形1：隱含層激活函數f( )都是雙曲正切S型函數
1)計算輸入模式X[N][P]的每個變數的范圍向量Xrng[N]；
2)計算輸入模式X的每個變數的范圍均值向量Xmid[N]；
3)計算W，b的幅度因子Wmag；
4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；
5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；
6)計算W[S1][S0]，b[S1]；
7)計算隱含層的初始化權值W1[S1][S0]；
8)計算隱含層的初始化偏差b1[S1]；
9))輸出W1[S1][S0]，b1[S1]。
情形2：隱含層激活函數f( )都是S型函數
1)計算輸入模式X[N][P]的每個變數的范圍向量Xrng[N]；
2)計算輸入模式X的每個變數的范圍均值向量Xmid[N]；
3)計算W，b的幅度因子Wmag；
4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；
5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；
6)計算W[S1][S0]，b[S1]；
7)計算隱含層的初始化權值W1[S1][S0]；
8)計算隱含層的初始化偏差b1[S1]；
9)輸出W1[S1][S0]，b1[S1]。
情形3：隱含層激活函數f( )為其他函數的情形
1)計算輸入模式X[N][P]的每個變數的范圍向量Xrng[N]；
2)計算輸入模式X的每個變數的范圍均值向量Xmid[N]；
3)計算W，b的幅度因子Wmag；
4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；
5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；
6)計算W[S1][S0]，b[S1]；
7)計算隱含層的初始化權值W1[S1][S0]；
8)計算隱含層的初始化偏差b1[S1]；
9)輸出W1[S1][S0]，b1[S1]。
(4)輸出層的權值W2，偏差b2初始化
1)產生[-1，1]之間均勻分布的S2×S1維隨機數矩陣W2[S2][S1]；
2)產生[-1，1]之間均勻分布的S2×1維隨機數矩陣b2[S2]；
3)輸出W2[S2][S1]，b2[S2]。
2.應用彈性BP演算法(RPROP)學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b總體演算法
函數：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)
(1)輸入參數
P對模式(xp，dp)，p=1，2，…，P；
三層BP網路結構；
學習參數。
(2)學習初始化
1)
2)各層W，b的梯度值
(3)由輸入模式X求第一次學習各層輸出y0，y1，y2及第一次學習平均誤差MSE
(4)進入學習循環
epoch=1
(5)判斷每次學習誤差是否達到目標誤差要求
如果MSE＜ϵ，
則，跳出epoch循環，
轉到(12)。
(6)保存第epoch-1次學習產生的各層W，b的梯度值
(7)求第epoch次學習各層W，b的梯度值
1)求各層誤差反向傳播值δ；
2)求第p次各層W，b的梯度值
3)求p=1，2，…，P次模式產生的W，b的梯度值
(8)如果epoch=1，則將第epoch-1次學習的各層W，b的梯度值
(9)求各層W，b的更新
1)求權更新值Δij更新；
2)求W，b的權更新值
3)求第epoch次學習修正後的各層W，b。
(10)用修正後各層W、b，由X求第epoch次學習各層輸出y0，y1，y2及第epoch次學習誤差MSE
(11)epoch=epoch+1，
如果epoch≤MAX_EPOCH，轉到(5)；
否則，轉到(12)。
(12)輸出處理
1)如果MSE＜ε，
則學習達到目標誤差要求，輸出W1，b1，W2，b2。
2)如果MSE≥ε，
則學習沒有達到目標誤差要求，再次學習。
(13)結束
3.三層BP網路(含輸入層，隱含層，輸出層)預測總體演算法
首先應用Train3lBP_RPROP( )學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b，然後應用三層BP網路(含輸入層，隱含層，輸出層)預測。
函數：Simu3lBP( )。
1)輸入參數：
P個需預測的輸入數據向量xp，p=1，2，…，P；
三層BP網路結構；
學習得到的各層權值W、偏差b。
2)計算P個需預測的輸入數據向量xp(p=1，2，…，P)的網路輸出 y2[S2][P]，輸出預測結果y2[S2][P]。
四、總體演算法流程圖
BP網路總體演算法流程圖見附圖2。
五、數據流圖
BP網數據流圖見附圖1。
六、實例
實例一 全國銅礦化探異常數據BP 模型分類
1.全國銅礦化探異常數據准備
在全國銅礦化探數據上用穩健統計學方法選取銅異常下限值33.1，生成全國銅礦化探異常數據。
2.模型數據准備
根據全國銅礦化探異常數據，選取7類33個礦點的化探數據作為模型數據。這7類分別是岩漿岩型銅礦、斑岩型銅礦、矽卡岩型、海相火山型銅礦、陸相火山型銅礦、受變質型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。
3.測試數據准備
全國化探數據作為測試數據集。
4.BP網路結構
隱層數2，輸入層到輸出層向量維數分別為14，9、5、1。學習率設置為0.9，系統誤差1e-5。沒有動量項。
表8-1 模型數據表
續表
5.計算結果圖
如圖8-2、圖8-3。
圖8-2
圖8-3 全國銅礦礦床類型BP模型分類示意圖
實例二 全國金礦礦石量品位數據BP 模型分類
1.模型數據准備
根據全國金礦儲量品位數據，選取4類34個礦床數據作為模型數據，這4類分別是綠岩型金礦、與中酸性浸入岩有關的熱液型金礦、微細浸染型型金礦、火山熱液型金礦(表8-2)。
2.測試數據准備
模型樣本點和部分金礦點金屬量、礦石量、品位數據作為測試數據集。
3.BP網路結構
輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學習率設置為0.8，系統誤差1e-4，迭代次數5000。
表8-2 模型數據
4.計算結果
結果見表8-3、8-4。
表8-3 訓練學習結果
表8-4 預測結果(部分)
續表
㈣ 什麼叫神經網路模型
神經網路的基礎在於神經元。
神經元是以生物神經系統的神經細胞為基礎的生物模型。在人們對生物神經系統進行研究，以探討人工智慧的機制時，把神經元數學化，從而產生了神經元數學模型。
大量的形式相同的神經元連結在—起就組成了神經網路。神經網路是一個高度非線性動力學系統。雖然，每個神經元的結構和功能都不復雜，但是神經網路的動態行為則是十分復雜的；因此，用神經網路可以表達實際物理世界的各種現象。
神經網路模型是以神經元的數學模型為基礎來描述的。神經網路模型由網路拓撲．節點特點和學習規則來表示。神經網路對人們的巨大吸引力主要在下列幾點：
1．並行分布處理。
2．高度魯棒性和容錯能力。
3．分布存儲及學習能力。
4．能充分逼近復雜的非線性關系。
在控制領域的研究課題中，不確定性系統的控制問題長期以來都是控制理論研究的中心主題之一，但是這個問題一直沒有得到有效的解決。利用神經網路的學習能力，使它在對不確定性系統的控制過程中自動學習系統的特性，從而自動適應系統隨時間的特性變異，以求達到對系統的最優控制；顯然這是一種十分振奮人心的意向和方法。
人工神經網路的模型現在有數十種之多，應用較多的典型的神經網路模型包括BP網路、Hopfield網路、ART網路和Kohonen網路。
參考：http://ke..com/view/3406239.html?wtp=tt
㈤ 神經網路模型-27種神經網路模型們的簡介
【1】Perceptron(P) 感知機
【1】感知機
感知機是我們知道的最簡單和最古老的神經元模型，它接收一些輸入，然後把它們加總，通過激活函數並傳遞到輸出層。
【2】Feed Forward(FF)前饋神經網路
【2】前饋神經網路
前饋神經網路（FF），這也是一個很古老的方法——這種方法起源於50年代。它的工作原理通常遵循以下規則：
1.所有節點都完全連接
2.激活從輸入層流向輸出，無回環
3.輸入和輸出之間有一層（隱含層）
在大多數情況下，這種類型的網路使用反向傳播方法進行訓練。
【3】Radial Basis Network(RBF) RBF神經網路
【3】RBF神經網路
RBF 神經網路實際上是 激活函數是徑向基函數 而非邏輯函數的FF前饋神經網路（FF）。兩者之間有什麼區別呢？
邏輯函數--- 將某個任意值映射到[0 ,... 1]范圍內來，回答「是或否」問題。適用於分類決策系統，但不適用於連續變數。
相反， 徑向基函數--- 能顯示「我們距離目標有多遠」。 這完美適用於函數逼近和機器控制（例如作為PID控制器的替代）。
簡而言之，RBF神經網路其實就是， 具有不同激活函數和應用方向的前饋網路 。
【4】Deep Feed Forword(DFF)深度前饋神經網路
【4】DFF深度前饋神經網路
DFF深度前饋神經網路在90年代初期開啟了深度學習的潘多拉盒子。 這些依然是前饋神經網路，但有不止一個隱含層 。那麼，它到底有什麼特殊性？
在訓練傳統的前饋神經網路時，我們只向上一層傳遞了少量的誤差信息。由於堆疊更多的層次導致訓練時間的指數增長，使得深度前饋神經網路非常不實用。 直到00年代初，我們開發了一系列有效的訓練深度前饋神經網路的方法; 現在它們構成了現代機器學習系統的核心 ，能實現前饋神經網路的功能，但效果遠高於此。
【5】Recurrent Neural Network(RNN) 遞歸神經網路
【5】RNN遞歸神經網路
RNN遞歸神經網路引入不同類型的神經元——遞歸神經元。這種類型的第一個網路被稱為約旦網路（Jordan Network），在網路中每個隱含神經元會收到它自己的在固定延遲（一次或多次迭代）後的輸出。除此之外，它與普通的模糊神經網路非常相似。
當然，它有許多變化 — 如傳遞狀態到輸入節點，可變延遲等，但主要思想保持不變。這種類型的神經網路主要被使用在上下文很重要的時候——即過去的迭代結果和樣本產生的決策會對當前產生影響。最常見的上下文的例子是文本——一個單詞只能在前面的單詞或句子的上下文中進行分析。
【6】Long/Short Term Memory (LSTM) 長短時記憶網路
【6】LSTM長短時記憶網路
LSTM長短時記憶網路引入了一個存儲單元，一個特殊的單元，當數據有時間間隔（或滯後）時可以處理數據。遞歸神經網路可以通過「記住」前十個詞來處理文本，LSTM長短時記憶網路可以通過「記住」許多幀之前發生的事情處理視頻幀。 LSTM網路也廣泛用於寫作和語音識別。
存儲單元實際上由一些元素組成，稱為門，它們是遞歸性的，並控制信息如何被記住和遺忘。
【7】Gated Recurrent Unit (GRU)
【7】GRU是具有不同門的LSTM
GRU是具有不同門的LSTM。
聽起來很簡單，但缺少輸出門可以更容易基於具體輸入重復多次相同的輸出，目前此模型在聲音（音樂）和語音合成中使用得最多。
實際上的組合雖然有點不同：但是所有的LSTM門都被組合成所謂的更新門(Update Gate)，並且復位門(Reset Gate)與輸入密切相關。
它們比LSTM消耗資源少，但幾乎有相同的效果。
【8】Auto Encoder (AE) 自動編碼器
【8】AE自動編碼器
Autoencoders自動編碼器用於分類，聚類和特徵壓縮。
當您訓練前饋(FF)神經網路進行分類時，您主要必須在Y類別中提供X個示例，並且期望Y個輸出單元格中的一個被激活。 這被稱為「監督學習」。
另一方面，自動編碼器可以在沒有監督的情況下進行訓練。它們的結構 - 當隱藏單元數量小於輸入單元數量（並且輸出單元數量等於輸入單元數）時，並且當自動編碼器被訓練時輸出盡可能接近輸入的方式，強制自動編碼器泛化數據並搜索常見模式。
【9】Variational AE (VAE) 變分自編碼器
【9】VAE變分自編碼器
變分自編碼器，與一般自編碼器相比，它壓縮的是概率，而不是特徵。
盡管如此簡單的改變，但是一般自編碼器只能回答當「我們如何歸納數據？」的問題時，變分自編碼器回答了「兩件事情之間的聯系有多強大？我們應該在兩件事情之間分配誤差還是它們完全獨立的？」的問題。
【10】Denoising AE (DAE) 降噪自動編碼器
【10】DAE降噪自動編碼器
雖然自動編碼器很酷，但它們有時找不到最魯棒的特徵，而只是適應輸入數據（實際上是過擬合的一個例子）。
降噪自動編碼器（DAE）在輸入單元上增加了一些雜訊 - 通過隨機位來改變數據，隨機切換輸入中的位，等等。通過這樣做，一個強制降噪自動編碼器從一個有點嘈雜的輸入重構輸出，使其更加通用，強制選擇更常見的特徵。
【11】Sparse AE (SAE) 稀疏自編碼器
【11】SAE稀疏自編碼器
稀疏自編碼器（SAE）是另外一個有時候可以抽離出數據中一些隱藏分組樣試的自動編碼的形式。結構和AE是一樣的，但隱藏單元的數量大於輸入或輸出單元的數量。
【12】Markov Chain (MC) 馬爾科夫鏈
【12】Markov Chain (MC) 馬爾科夫鏈
馬爾可夫鏈（Markov Chain, MC）是一個比較老的圖表概念了，它的每一個端點都存在一種可能性。過去，我們用它來搭建像「在單詞hello之後有0.0053％的概率會出現dear，有0.03551%的概率出現you」這樣的文本結構。
這些馬爾科夫鏈並不是典型的神經網路，它可以被用作基於概率的分類（像貝葉斯過濾），用於聚類（對某些類別而言），也被用作有限狀態機。
【13】Hopfield Network (HN) 霍普菲爾網路
【13】HN霍普菲爾網路
霍普菲爾網路（HN）對一套有限的樣本進行訓練，所以它們用相同的樣本對已知樣本作出反應。
在訓練前，每一個樣本都作為輸入樣本，在訓練之中作為隱藏樣本，使用過之後被用作輸出樣本。
在HN試著重構受訓樣本的時候，他們可以用於給輸入值降噪和修復輸入。如果給出一半圖片或數列用來學習，它們可以反饋全部樣本。
【14】Boltzmann Machine (BM) 波爾滋曼機
【14】 BM 波爾滋曼機
波爾滋曼機（BM）和HN非常相像，有些單元被標記為輸入同時也是隱藏單元。在隱藏單元更新其狀態時，輸入單元就變成了輸出單元。（在訓練時，BM和HN一個一個的更新單元，而非並行）。
這是第一個成功保留模擬退火方法的網路拓撲。
多層疊的波爾滋曼機可以用於所謂的深度信念網路，深度信念網路可以用作特徵檢測和抽取。
【15】Restricted BM (RBM) 限制型波爾滋曼機
【15】 RBM 限制型波爾滋曼機
在結構上，限制型波爾滋曼機（RBM）和BM很相似，但由於受限RBM被允許像FF一樣用反向傳播來訓練（唯一的不同的是在反向傳播經過數據之前RBM會經過一次輸入層）。
【16】Deep Belief Network (DBN) 深度信念網路
【16】DBN 深度信念網路
像之前提到的那樣，深度信念網路（DBN）實際上是許多波爾滋曼機（被VAE包圍）。他們能被連在一起（在一個神經網路訓練另一個的時候），並且可以用已經學習過的樣式來生成數據。
【17】Deep Convolutional Network (DCN) 深度卷積網路
【17】 DCN 深度卷積網路
當今，深度卷積網路（DCN）是人工神經網路之星。它具有卷積單元（或者池化層）和內核，每一種都用以不同目的。
卷積核事實上用來處理輸入的數據，池化層是用來簡化它們（大多數情況是用非線性方程，比如max），來減少不必要的特徵。
他們通常被用來做圖像識別，它們在圖片的一小部分上運行（大約20x20像素）。輸入窗口一個像素一個像素的沿著圖像滑動。然後數據流向卷積層，卷積層形成一個漏斗（壓縮被識別的特徵）。從圖像識別來講，第一層識別梯度，第二層識別線，第三層識別形狀，以此類推，直到特定的物體那一級。DFF通常被接在卷積層的末端方便未來的數據處理。
【18】Deconvolutional Network (DN) 去卷積網路
【18】 DN 去卷積網路
去卷積網路（DN）是將DCN顛倒過來。DN能在獲取貓的圖片之後生成像（狗：0，蜥蜴：0，馬：0，貓：1）一樣的向量。DNC能在得到這個向量之後，能畫出一隻貓。
【19】Deep Convolutional Inverse Graphics Network (DCIGN) 深度卷積反轉圖像網路
【19】 DCIGN 深度卷積反轉圖像網路
深度卷積反轉圖像網路（DCIGN），長得像DCN和DN粘在一起，但也不完全是這樣。
事實上，它是一個自動編碼器，DCN和DN並不是作為兩個分開的網路，而是承載網路輸入和輸出的間隔區。大多數這種神經網路可以被用作圖像處理，並且可以處理他們以前沒有被訓練過的圖像。由於其抽象化的水平很高，這些網路可以用於將某個事物從一張圖片中移除，重畫，或者像大名鼎鼎的CycleGAN一樣將一匹馬換成一個斑馬。
【20】Generative Adversarial Network (GAN) 生成對抗網路
【20】 GAN 生成對抗網路
生成對抗網路（GAN）代表了有生成器和分辨器組成的雙網路大家族。它們一直在相互傷害——生成器試著生成一些數據，而分辨器接收樣本數據後試著分辨出哪些是樣本，哪些是生成的。只要你能夠保持兩種神經網路訓練之間的平衡，在不斷的進化中，這種神經網路可以生成實際圖像。
【21】Liquid State Machine (LSM) 液體狀態機
【21】 LSM 液體狀態機
液體狀態機（LSM）是一種稀疏的，激活函數被閾值代替了的（並不是全部相連的）神經網路。只有達到閾值的時候，單元格從連續的樣本和釋放出來的輸出中積累價值信息，並再次將內部的副本設為零。
這種想法來自於人腦，這些神經網路被廣泛的應用於計算機視覺，語音識別系統，但目前還沒有重大突破。
【22】Extreme Learning Machine (ELM) 極端學習機
【22】ELM 極端學習機
極端學習機（ELM）是通過產生稀疏的隨機連接的隱藏層來減少FF網路背後的復雜性。它們需要用到更少計算機的能量，實際的效率很大程度上取決於任務和數據。
【23】Echo State Network (ESN) 回聲狀態網路
【23】 ESN 回聲狀態網路
回聲狀態網路（ESN）是重復網路的細分種類。數據會經過輸入端，如果被監測到進行了多次迭代（請允許重復網路的特徵亂入一下），只有在隱藏層之間的權重會在此之後更新。
據我所知，除了多個理論基準之外，我不知道這種類型的有什麼實際應用。。。。。。。
【24】Deep Resial Network (DRN) 深度殘差網路
【24】 DRN 深度殘差網路
深度殘差網路（DRN）是有些輸入值的部分會傳遞到下一層。這一特點可以讓它可以做到很深的層級（達到300層），但事實上它們是一種沒有明確延時的RNN。
【25】Kohonen Network (KN) Kohonen神經網路
【25】 Kohonen神經網路
Kohonen神經網路（KN）引入了「單元格距離」的特徵。大多數情況下用於分類，這種網路試著調整它們的單元格使其對某種特定的輸入作出最可能的反應。當一些單元格更新了， 離他們最近的單元格也會更新。
像SVM一樣，這些網路總被認為不是「真正」的神經網路。
【26】Support Vector Machine (SVM)
【26】 SVM 支持向量機
支持向量機（SVM）用於二元分類工作，無論這個網路處理多少維度或輸入，結果都會是「是」或「否」。
SVM不是所有情況下都被叫做神經網路。
【27】Neural Turing Machine (NTM) 神經圖靈機
【27】NTM 神經圖靈機
神經網路像是黑箱——我們可以訓練它們，得到結果，增強它們，但實際的決定路徑大多數我們都是不可見的。
神經圖靈機（NTM）就是在嘗試解決這個問題——它是一個提取出記憶單元之後的FF。一些作者也說它是一個抽象版的LSTM。
記憶是被內容編址的，這個網路可以基於現狀讀取記憶，編寫記憶，也代表了圖靈完備神經網路。
㈥ 神經網路ART1模型
一、ART1模型概述
自適應共振理論(Adaptive Resonance Theory)簡稱ART，是於1976年由美國Boston大學S.Grossberg提出來的。
這一理論的顯著特點是，充分利用了生物神經細胞之間自興奮與側抑制的動力學原理，讓輸入模式通過網路雙向連接權的識別與比較，最後達到共振來完成對自身的記憶，並以同樣的方法實現網路的回想。當提供給網路回想的是一個網路中記憶的、或是與已記憶的模式十分相似的模式時，網路將會把這個模式回想出來，提出正確的分類。如果提供給網路回想的是一個網路中不存在的模式，則網路將在不影響已有記憶的前提下，將這一模式記憶下來，並將分配一個新的分類單元作為這一記憶模式的分類標志。
S.Grossberg和G.A.Carpenter經過多年研究和不斷發展，至今已提出了ART1，ART2和ART3三種網路結構。
ART1網路處理雙極型(或二進制)數據，即觀察矢量的分量是二值的，它只取0或1。
二、ART1模型原理
ART1網路是兩層結構，分輸入層(比較層)和輸出層(識別層)。從輸入層到輸出層由前饋連接權連接，從輸出層到輸入層由反饋連接權連接。
設網路輸入層有N個神經元，網路輸出層有M個神經元，二值輸入模式和輸出向量分別為：Xp=(
ART1網路的學習及工作過程，是通過反復地將輸入學習模式由輸入層向輸出層自下而上的識別和由輸出層向輸入層自上而下的比較過程來實現的。當這種自下而上的識別和自上而下的比較達到共振，即輸出向量可以正確反映輸入學習模式的分類，且網路原有記憶沒有受到不良影響時，網路對一個輸入學習模式的記憶分類則告完成。
ART1網路的學習及工作過程，可以分為初始化階段、識別階段、比較階段和探尋階段。
1.初始化階段
ART1網路需要初始化的參數主要有3個：
即W=(wnm)N×M，T=(tnm)N×M和ρ。
反饋連接權T=(tnm)N×M在網路的整個學習過程中取0或1二值形式。這一參數實際上反映了輸入層和輸出層之間反饋比較的范圍或強度。由於網路在初始化前沒有任何記憶，相當於一張白紙，即沒有選擇比較的余的。因此可將T的元素全部設置為1，即
tnm=1，n=1，2，…，N，m=1，2，…，M。(1)
這意味著網路在初始狀態時，輸入層和輸出層之間將進行全范圍比較，隨著學習過程的深入，再按一定規則選擇比較范圍。
前饋連接權W=(wnm)N×M在網路學習結束後，承擔著對學習模式的記憶任務。在對W初始化時，應該給所有學習模式提供一個平等競爭的機會，然後通過對輸入模式的競爭，按一定規則調整W。W的初始值按下式設置：
中國礦產資源評價新技術與評價新模型
ρ稱為網路的警戒參數，其取值范圍為0＜ρ≤1。
2.識別階段
ART1網路的學習識別階段發生在輸入學習模式由輸入層向輸出層的傳遞過程中。在這一階段，首先將一個輸入學習模式Xp=(
中國礦產資源評價新技術與評價新模型
中國礦產資源評價新技術與評價新模型
中國礦產資源評價新技術與評價新模型
至此，網路的識別過程只是告一段落，並沒有最後結束。此時，神經元m=g是否真正有資格代表對輸入學習模式Xp的正確分類，還有待於下面的比較和尋找階段來進一步確定。一般情況下需要對代表同一輸入學習模式的分類結果的神經元進行反復識別。
3.比較階段
ART1網路的比較階段的主要職能是完成以下檢查任務，每當給已學習結束的網路提供一個供識別的輸入模式時，首先檢查一下這個模式是否是已學習過的模式，如果是，則讓網路回想出這個模式的分類結果；如果不是，則對這個模式加以記憶，並分配一個還沒有利用過的輸出層神經元來代表這個模式的分類結果。
具體過程如下：把由輸出層每個神經元反饋到輸入層的各個神經元的反饋連接權向量Tm=(t1m，t2m，…，tNm)，m=1，2，…，M作為對已學習的輸入模式的一條條記錄，即讓向量Tm=(t1m，t2m，…，tNm)與輸出層第m個神經元所代表的某一學習輸入模式Xp=(
當需要網路對某個輸入模式進行回想時，這個輸入模式經過識別階段，競爭到神經元g作為自己的分類結果後，要檢查神經元g反饋回來的向量Tg是否與輸入模式相等。如果相等，則說明這是一個已記憶過的模式，神經元g代表了這個模式的分類結果，識別與比較產生了共振，網路不需要再經過尋找階段，直接進入下一個輸入模式的識別階段；如果不相符，則放棄神經元g的分類結果，進入尋找階段。
在比較階段，當用向量Tg與輸入模式XP進行比較時，允許二者之間有一定的差距，差距的大小由警戒參數ρ決定。
首先計算
中國礦產資源評價新技術與評價新模型
Cg表示向量Tg與輸入模式XP的擬合度。
在式中，
當Tg=XP時，Cg=1。
當Cg≥ρ時，說明擬合度大於要求，沒有超過警戒線。
以上兩種情況均可以承認識別結果。
當Cg≠1且Cg＞ρ時，按式(6)式(7)將前饋連接權Wg=(w1g，w2g，…，wNg)和反饋連接權Tg=(t1g，t2g，…，tNg)向著與XP更接近的方向調整。
中國礦產資源評價新技術與評價新模型
tng(t+1)=tng(t)*xn，n=1，2，…，N。(7)
當Cg＜ρ時，說明擬合度小於要求，超過警戒線，則拒絕識別結果，將神經元g重新復位為0，並將這個神經元排除在下次識別范圍之外，網路轉入尋找階段。
4.尋找階段
尋找階段是網路在比較階段拒絕識別結果之後轉入的一個反復探尋的階段，在這一階段中，網路將在餘下的輸出層神經元中搜索輸入模式Xp的恰當分類。只要在輸出向量Yp=(
三、總體演算法
設網路輸入層有N個神經元，網路輸出層有M個神經元，二值輸入模式和輸出向量分別為：Xp=(
(1)網路初始化
tnm(0)=1，
中國礦產資源評價新技術與評價新模型
n=1，2，…，N，m=1，2，…，M。
0＜ρ≤1。
(2)將輸入模式Xp=(
(3)計算輸出層各神經元輸入加權和
中國礦產資源評價新技術與評價新模型
(4)選擇XP的最佳分類結果
中國礦產資源評價新技術與評價新模型
令神經元g的輸出為1。
(5)計算
中國礦產資源評價新技術與評價新模型
中國礦產資源評價新技術與評價新模型
判斷
中國礦產資源評價新技術與評價新模型
當式(8)成立，轉到(7)，否則，轉到(6)。
(6)取消識別結果，將輸出層神經元g的輸出值復位為0，並將這一神經元排除在下一次識別的范圍之外，返回步驟(4)。當所有已利用過的神經元都無法滿足式(8)，則選擇一個新的神經元作為分類結果，轉到步驟(7)。
(7)承認識別結果，並按下式調整連接權
中國礦產資源評價新技術與評價新模型
tng(t+1)=tng(t)*xn，n=1，2，…，N。
(8)將步驟(6)復位的所有神經元重新加入識別范圍之內，返回步驟(2)對下一模式進行識別。
(9)輸出分類識別結果。
(10)結束。
四、實例
實例為ART1神經網路模型在柴北緣-東昆侖造山型金礦預測的應用。
1.建立綜合預測模型
柴北緣—東昆侖地區位於青海省的西部，是中央造山帶的西部成員——秦祁昆褶皺系的一部分，是典型的復合造山帶(殷鴻福等，1998)。根據柴北緣—東昆侖地區地質概括以及造山型金礦成礦特點，選擇與成礦相關密切的專題數據，建立柴北緣—東昆侖地區的綜合信息找礦模型：
1)金礦重砂異常數據是金礦的重要找礦標志。
2)金礦水化異常數據是金礦的重要找礦標志。
3)金礦的化探異常數據控制金礦床的分布。
4)金礦的空間分布與通過該區的深大斷裂有關。
5)研究區內斷裂密集程度控制金礦的產出。
6)重力構造的存在與否是金礦存在的一個標志。
7)磁力構造線的存在也是金礦存在的一個重要標志。
8)研究區地質復雜程度也對金礦的產出具有重要的作用。
9)研究區存在的礦(化)點是一個重要的標志。
2.劃分預測單元
預測工作是在單元上進行的，預測工作的結果是與單元有著較為直接的聯系，在找礦模型指導下，以最大限度地反映成礦信息和預測單元面積最小為原則，通過對研究區內地質、地球物理、地球化學等的綜合資料分析，對可能的成礦地段圈定了預測單元。採用網格化單元作為本次研究的預測單元，網格單元的大小是，40×40，將研究區劃分成774個預測單元。
3.變數選擇(表8-6)
4.ART1模型預測結果
ART1神經網路模型演算法中，給定不同的閾值，將改變預測分類的結果。本次實驗選取得閾值為ρ=0.41，系統根據此閾值進行計算獲得計算結果，並通過將不同的分類結果賦予不同的顏色，最終獲得ART模型預測單元的分類結果。分類的結果是形成29個類別。分類結果用不同的顏色表示，其具體結果地顯示見圖8-5。圖形中顏色只代表類別號，不代表分類的好壞。將礦點專題圖層疊加以後，可以看出，顏色為灰色的單元與礦的關系更為密切。
表8-6 預測變數標志的選擇表
圖8-5 東昆侖—柴北緣地區基於ARTL模型的金礦分類結果圖
㈦ 人工神經網路，人工神經網路是什麼意思
人工神經網路（Artificial Neural Network，即ANN ），是20世紀80 年代以來人工智慧領域興起的研究熱點。內它從信息處理角度對人容腦神經元網路進行抽象， 建立某種簡單模型，按不同的連接方式組成不同的網路。在工程與學術界也常直接簡稱為神經網路或類神經網路。神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重，這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式，權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。