神經網路模型的選擇

① 神經網路Hopfield模型

一、Hopfield模型概述

1982年，美國加州工學院J.Hopfield發表一篇對人工神經網路研究頗有影響的論文。他提出了一種具有相互連接的反饋型人工神經網路模型——Hopfield人工神經網路。

Hopfield人工神經網路是一種反饋網路(Recurrent Network)，又稱自聯想記憶網路。其目的是為了設計一個網路，存儲一組平衡點，使得當給網路一組初始值時，網路通過自行運行而最終收斂到所存儲的某個平衡點上。

Hopfield網路是單層對稱全反饋網路，根據其激活函數的選取不同，可分為離散型Hopfield網路(Discrete Hopfield Neural Network，簡稱 DHNN)和連續型 Hopfield 網路(Continue Hopfield Neural Network，簡稱CHNN)。離散型Hopfield網路的激活函數為二值型階躍函數，主要用於聯想記憶、模式分類、模式識別。這個軟體為離散型Hopfield網路的設計、應用。

二、Hopfield模型原理

離散型Hopfield網路的設計目的是使任意輸入矢量經過網路循環最終收斂到網路所記憶的某個樣本上。

正交化的權值設計

這一方法的基本思想和出發點是為了滿足下面4個要求：

1)保證系統在非同步工作時的穩定性，即它的權值是對稱的，滿足

w_ij=w_ji，i，j=1，2…，N；

2)保證所有要求記憶的穩定平衡點都能收斂到自己；

3)使偽穩定點的數目盡可能地少；

4)使穩定點的吸引力盡可能地大。

正交化權值的計算公式推導如下：

1)已知有P個需要存儲的穩定平衡點x₁，x₂…，x_P-1，x_P，x_p∈R^N，計算N×(P-1)階矩陣A∈R^N×(P-1)：

A=(x₁-x_Px₂-x_P…x_P-1-x_P)^T。

2)對A做奇異值分解

A=USV^T，

U=(u₁u₂…u_N)，

V=(υ₁υ₂…υ_P-1)，

中國礦產資源評價新技術與評價新模型

Σ=diαg(λ₁，λ₂，…，λ_K)，O為零矩陣。

K維空間為N維空間的子空間，它由K個獨立的基組成：

K=rαnk(A)，

設{u₁u₂…u_K}為A的正交基，而{u_K+1u_K+2…u_N}為N維空間的補充正交基。下面利用U矩陣來設計權值。

3)構造

中國礦產資源評價新技術與評價新模型

總的連接權矩陣為：

W_t=W_p-T·W_m，

其中，T為大於-1的參數，預設值為10。

W_p和W_m均滿足對稱條件，即

(w_p)_ij=(w_p)_ji，

(w_m)_ij=(w_m)_ji，

因而W_t中分量也滿足對稱條件。這就保證了系統在非同步時能夠收斂並且不會出現極限環。

4)網路的偏差構造為

b_t=x_P-W_t·x_P。

下面推導記憶樣本能夠收斂到自己的有效性。

(1)對於輸入樣本中的任意目標矢量x_p，p=1，2，…，P，因為(x_p-x_P)是A中的一個矢量，它屬於A的秩所定義的K個基空間的矢量，所以必存在系數α₁，α₂，…，α_K，使

x_p-x_P=α₁u₁+α₂u₂+…+α_Ku_K，

即

x_p=α₁u₁+α₂u₂+…+α_Ku_K+x_P，

對於U中任意一個u_i，有

中國礦產資源評價新技術與評價新模型

由正交性質可知，上式中

當i=j，

；

當i≠j，

；

對於輸入模式x_i，其網路輸出為

y_i=sgn(W_tx_i+b_t)

=sgn(W_px_i-T·W_mx_i+x_P-W_px_P+T·W_mx_P)

=sgn[W_p(x_i-x_P)-T·W_m(x_i-x_P)+x_P]

=sgn[(W_p-T·W_m)(x_i-x_P)+x_P]

=sgn[W_t(x_i-x_P)+x_P]

=sgn[(x_i-x_P)+x_P]

=x_i。

(2)對於輸入模式x_P，其網路輸出為

y_P=sgn(W_tx_P+b_t)

=sgn(W_tx_P+x_P-W_tx_P)

=sgn(x_P)

=x_P。

(3)如果輸入一個不是記憶樣本的x，網路輸出為

y=sgn(W_tx+b_t)

=sgn[(W_p-T·W_m)(x-x_P)+x_P]

=sgn[W_t(x-x_P)+x_P]。

因為x不是已學習過的記憶樣本，x-x_P不是A中的矢量，則必然有

W_t(x_-x_P)≠x-x_P，

並且再設計過程中可以通過調節W_t=W_p-T·W_m中的參數T的大小來控制(x-x_P)與x_P的符號，以保證輸入矢量x與記憶樣本之間存在足夠的大小余額，從而使sgn(W_tx+b_t)≠x，使x不能收斂到自身。

用輸入模式給出一組目標平衡點，函數HopfieldDesign( )可以設計出 Hopfield 網路的權值和偏差，保證網路對給定的目標矢量能收斂到穩定的平衡點。

設計好網路後，可以應用函數HopfieldSimu( )，對輸入矢量進行分類，這些輸入矢量將趨近目標平衡點，最終找到他們的目標矢量，作為對輸入矢量進行分類。

三、總體演算法

1.Hopfield網路權值W[N][N]、偏差b[N]設計總體演算法

應用正交化權值設計方法，設計Hopfield網路；

根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]；

使Hopfield網路的穩定輸出矢量與給定的目標矢量一致。

1)輸入P個輸入模式X=(x[1]，x[2]，…，x[P-1]，x[P])

輸入參數，包括T、h；

2)由X[N][P]構造A[N][P-1]=(x[1]-x[P]，x[2]-x[P]，…，x[P-1]-x[P])；

3)對A[N][P-1]作奇異值分解A=USV^T；

4)求A[N][P-1]的秩rank；

5)由U=(u[1]，u[2]，…，u[K])構造W_p[N][N]；

6)由U=(u[K+1]，…，u[N])構造W_m[N][N]；

7)構造W_t[N][N]=W_p[N][N]-T*W_m[N][N]；

8)構造b_t[N]=X[N][P]-W_t[N][N]*X[N][P]；

9)構造W[N][N](9～13)，

構造W1[N][N]=h*W_t[N][N]；

10)求W1[N][N]的特徵值矩陣Val[N][N](對角線元素為特徵值，其餘為0)，特徵向量矩陣Vec[N][N]；

11)求Eval[N][N]=diag{exp[diag(Val)]}[N][N]；

12)求Vec[N][N]的逆Invec[N][N]；

13)構造W[N][N]=Vec[N][N]*Eval[N][N]*Invec[N][N]；

14)構造b[N]，(14～15)，

C1=exp(h)-1，

C2=-(exp(-T*h)-1)/T；

15)構造

中國礦產資源評價新技術與評價新模型

Uˊ——U的轉置；

16)輸出W[N][N]，b[N]；

17)結束。

2.Hopfield網路預測應用總體演算法

Hopfield網路由一層N個斜坡函數神經元組成。

應用正交化權值設計方法，設計Hopfield網路。

根據給定的目標矢量設計產生權值W[N][N]，偏差b[N]。

初始輸出為X[N][P]，

計算X[N][P]=f(W[N][N]*X[N][P]+b[N])，

進行T次迭代，

返回最終輸出X[N][P]，可以看作初始輸出的分類。

3.斜坡函數

中國礦產資源評價新技術與評價新模型

輸出范圍[-1，1]。

四、數據流圖

Hopfield網數據流圖見附圖3。

五、調用函數說明

1.一般實矩陣奇異值分解

(1)功能

用豪斯荷爾德(Householder)變換及變形QR演算法對一般實矩陣進行奇異值分解。

(2)方法說明

設A為m×n的實矩陣，則存在一個m×m的列正交矩陣U和n×n的列正交矩陣V，使

中國礦產資源評價新技術與評價新模型

成立。其中

Σ=diag(σ₀，σ₁，…σ_p)p⩽min(m，n)-1，

且σ₀≥σ₁≥…≥σ_p＞0，

上式稱為實矩陣A的奇異值分解式，σ_i(i=0，1，…，p)稱為A的奇異值。

奇異值分解分兩大步：

第一步：用豪斯荷爾德變換將A約化為雙對角線矩陣。即

中國礦產資源評價新技術與評價新模型

其中

中國礦產資源評價新技術與評價新模型

中的每一個變換U_j(j=0，1，…，k-1)將A中的第j列主對角線以下的元素變為0，而

中的每一個變換V_j(j=0，1，…，l-1)將A中的第j行主對角線緊鄰的右次對角線元素右邊的元素變為0。]]

j具有如下形式：

中國礦產資源評價新技術與評價新模型

其中ρ為一個比例因子，以避免計算過程中的溢出現象與誤差的累積，V_j是一個列向量。即

V_j=(υ₀，υ₁，…，υ_n-1)，

則

中國礦產資源評價新技術與評價新模型

其中

中國礦產資源評價新技術與評價新模型

第二步：用變形的QR演算法進行迭代，計算所有的奇異值。即：用一系列的平面旋轉變換對雙對角線矩陣B逐步變換成對角矩陣。

在每一次的迭代中，用變換

中國礦產資源評價新技術與評價新模型

其中變換

將B中第j列主對角線下的一個非0元素變為0，同時在第j行的次對角線元素的右邊出現一個非0元素；而變換V_j，j+1將第j-1行的次對角線元素右邊的一個0元素變為0，同時在第j列的主對角線元素的下方出現一個非0元素。由此可知，經過一次迭代(j=0，1，…，p-1)後，B′仍為雙對角線矩陣。但隨著迭代的進行。最後收斂為對角矩陣，其對角線上的元素為奇異值。

在每次迭代時，經過初始化變換V₀₁後，將在第0列的主對角線下方出現一個非0元素。在變換V₀₁中，選擇位移植u的計算公式如下：

中國礦產資源評價新技術與評價新模型

最後還需要對奇異值按非遞增次序進行排列。

在上述變換過程中，若對於某個次對角線元素e_j滿足

｜e_j｜⩽ε(｜s_j+1｜+｜s_j｜)

則可以認為e_j為0。

若對角線元素s_j滿足

｜s_j｜⩽ε(｜e_j-1｜+｜e_j｜)

則可以認為s_j為0(即為0奇異值)。其中ε為給定的精度要求。

(3)調用說明

int bmuav(double^*a，int m，int n，double^*u，double^*v，double eps，int ka)，

本函數返回一個整型標志值，若返回的標志值小於0，則表示出現了迭代60次還未求得某個奇異值的情況。此時，矩陣的分解式為UAV^T；若返回的標志值大於0，則表示正常返回。

形參說明：

a——指向雙精度實型數組的指針，體積為m×n。存放m×n的實矩陣A；返回時，其對角線給出奇異值(以非遞增次序排列)，其餘元素為0；

m——整型變數，實矩陣A的行數；

n——整型變數，實矩陣A的列數；

u——指向雙精度實型數組的指針，體積為m×m。返回時存放左奇異向量U；

υ——指向雙精度實型數組的指針，體積為n×n。返回時存放右奇異向量V^T；

esp——雙精度實型變數，給定的精度要求；

ka——整型變數，其值為max(m，n)+1。

2.求實對稱矩陣特徵值和特徵向量的雅可比過關法

(1)功能

用雅可比(Jacobi)方法求實對稱矩陣的全部特徵值與相應的特徵向量。

(2)方法說明

雅可比方法的基本思想如下。

設n階矩陣A為對稱矩陣。在n階對稱矩陣A的非對角線元素中選取一個絕對值最大的元素，設為a_pq。利用平面旋轉變換矩陣R₀(p，q，θ)對A進行正交相似變換：

A₁=R₀(p，q，θ)^TA，

其中R₀(p，q，θ)的元素為

r_pp=cosθ，r_qq=cosθ，r_pq=sinθ，

r_qp=sinθ，r_ij=0，i，j≠p，q。

如果按下式確定角度θ，

中國礦產資源評價新技術與評價新模型

則對稱矩陣A經上述變換後，其非對角線元素的平方和將減少

，對角線元素的平方和增加

，而矩陣中所有元素的平方和保持不變。由此可知，對稱矩陣A每次經過一次變換，其非對角線元素的平方和「向零接近一步」。因此，只要反復進行上述變換，就可以逐步將矩陣A變為對角矩陣。對角矩陣中對角線上的元素λ₀，λ₁，…，λ_n-1即為特徵值，而每一步中的平面旋轉矩陣的乘積的第i列(i=0，1，…，n-1)即為與λ_i相應的特徵向量。

綜上所述，用雅可比方法求n階對稱矩陣A的特徵值及相應特徵向量的步驟如下：

1)令S=I_n(I_n為單位矩陣)；

2)在A中選取非對角線元素中絕對值最大者，設為a_pq；

3)若｜a_pq｜＜ε，則迭代過程結束。此時對角線元素a_ii(i=0，1，…，n-1)即為特徵值λ_i，矩陣S的第i列為與λ_i相應的特徵向量。否則，繼續下一步；

4)計算平面旋轉矩陣的元素及其變換後的矩陣A₁的元素。其計算公式如下

中國礦產資源評價新技術與評價新模型

5)S=S·R(p，q，θ)，轉(2)。

在選取非對角線上的絕對值最大的元素時用如下方法：

首先計算實對稱矩陣A的非對角線元素的平方和的平方根

中國礦產資源評價新技術與評價新模型

然後設置關口υ₁=υ₀/n，在非對角線元素中按行掃描選取第一個絕對值大於或等於υ₁的元素α_pq進行平面旋轉變換，直到所有非對角線元素的絕對值均小於υ₁為止。再設關口υ₂=υ₁/n，重復這個過程。以此類推，這個過程一直作用到對於某個υ_k＜ε為止。

(3)調用說明

void cjcbj(double^*a，int n，double^*v，double eps)。

形參說明：

a——指向雙精度實型數組的指針，體積為n×n，存放n階實對稱矩陣A；返回時，其對角線存放n個特徵值；

n——整型變數，實矩陣A的階數；

υ——指向雙精度實型數組的指針，體積為n×n，返回特徵向量，其中第i列為與λ_i(即返回的α_ii，i=0，1，……，n-1)對應的特徵向量；

esp——雙精度實型變數。給定的精度要求。

3.矩陣求逆

(1)功能

用全選主元高斯-約當(Gauss-Jordan)消去法求n階實矩陣A的逆矩陣。

(2)方法說明

高斯-約當法(全選主元)求逆的步驟如下：

首先，對於k從0到n-1做如下幾步：

1)從第k行、第k列開始的右下角子陣中選取絕對值最大的元素，並記住此元素所在的行號和列號，再通過行交換和列交換將它交換到主元素位置上，這一步稱為全選主元；

2)

；

3)

，i，j=0，1，…，n-1(i，j≠k)；

4)α_ij-

，i，j=0，1，…，n-1(i，j≠k)；

5)-

，i，j=0，1，…，n-1(i≠k)；

最後，根據在全選主元過程中所記錄的行、列交換的信息進行恢復，恢復原則如下：在全選主元過程中，先交換的行、列後進行恢復；原來的行(列)交換用列(行)交換來恢復。

圖8-4 東昆侖—柴北緣地區基於HOPFIELD模型的銅礦分類結果圖

(3)調用說明

int brinv(double^*a，int n)。

本函數返回一個整型標志位。若返回的標志位為0，則表示矩陣A奇異，還輸出信息「err^**not inv」；若返回的標志位不為0，則表示正常返回。

形參說明：

a——指向雙精度實型數組的指針，體積為n×n。存放原矩陣A；返回時，存放其逆矩陣A^-1；

n——整型變數，矩陣的階數。

六、實例

實例：柴北緣—東昆侖地區銅礦分類預測。

選取8種因素，分別是重砂異常存在標志、水化異常存在標志、化探異常峰值、地質圖熵值、Ms存在標志、Gs存在標志、Shdadlie到區的距離、構造線線密度。

構置原始變數，並根據原始數據構造預測模型。

HOPFIELD模型參數設置：訓練模式維數8，預測樣本個數774，參數個數8，迭代次數330。

結果分44類(圖8-4，表8-5)。

表8-5 原始數據表及分類結果（部分）

續表

② 深度學習之卷積神經網路經典模型

LeNet-5模型 在CNN的應用中，文字識別系統所用的LeNet-5模型是非常經典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一個成功大規模應用在手寫數字識別問題的卷積神經網路，在MNIST數據集中的正確率可以高達99.2%。

下面詳細介紹一下LeNet-5模型工作的原理。
LeNet-5模型一共有7層，每層包含眾多參數，也就是卷積神經網路中的參數。雖然層數只有7層，這在如今龐大的神經網路中可是說是非常少的了，但是包含了卷積層，池化層，全連接層，可謂麻雀雖小五臟俱全了。為了方便，我們把卷積層稱為C層，下采樣層叫做下采樣層。
首先，輸入層輸入原始圖像，原始圖像被處理成32×32個像素點的值。然後，後面的隱層計在卷積和子抽樣之間交替進行。C1層是卷積層，包含了六個特徵圖。每個映射也就是28x28個神經元。卷積核可以是5x5的十字形，這28×28個神經元共享卷積核權值參數，通過卷積運算，原始信號特徵增強，同時也降低了雜訊，當卷積核不同時，提取到圖像中的特徵不同；C2層是一個池化層，池化層的功能在上文已經介紹過了，它將局部像素值平均化來實現子抽樣。
池化層包含了六個特徵映射，每個映射的像素值為14x14，這樣的池化層非常重要，可以在一定程度上保證網路的特徵被提取，同時運算量也大大降低，減少了網路結構過擬合的風險。因為卷積層與池化層是交替出現的，所以隱藏層的第三層又是一個卷積層，第二個卷積層由16個特徵映射構成，每個特徵映射用於加權和計算的卷積核為10x10的。第四個隱藏層，也就是第二個池化層同樣包含16個特徵映射，每個特徵映射中所用的卷積核是5x5的。第五個隱藏層是用5x5的卷積核進行運算，包含了120個神經元，也是這個網路中卷積運算的最後一層。
之後的第六層便是全連接層，包含了84個特徵圖。全連接層中對輸入進行點積之後加入偏置，然後經過一個激活函數傳輸給輸出層的神經元。最後一層，也就是第七層，為了得到輸出向量，設置了十個神經元來進行分類，相當於輸出一個包含十個元素的一維數組，向量中的十個元素即0到9。
AlexNet模型
AlexNet簡介
2012年Imagenet圖像識別大賽中，Alext提出的alexnet網路模型一鳴驚人，引爆了神經網路的應用熱潮，並且贏得了2012屆圖像識別大賽的冠軍，這也使得卷積神經網路真正意義上成為圖像處理上的核心演算法。上文介紹的LeNet-5出現在上個世紀，雖然是經典，但是迫於種種復雜的現實場景限制，只能在一些領域應用。不過，隨著SVM等手工設計的特徵的飛速發展，LeNet-5並沒有形成很大的應用狀況。隨著ReLU與dropout的提出，以及GPU帶來算力突破和互聯網時代大數據的爆發，卷積神經網路帶來歷史的突破，AlexNet的提出讓深度學習走上人工智慧的最前端。
圖像預處理
AlexNet的訓練數據採用ImageNet的子集中的ILSVRC2010數據集，包含了1000類，共1.2百萬的訓練圖像，50000張驗證集，150000張測試集。在進行網路訓練之前我們要對數據集圖片進行預處理。首先我們要將不同解析度的圖片全部變成256x256規格的圖像，變換方法是將圖片的短邊縮放到 256像素值，然後截取長邊的中間位置的256個像素值，得到256x256大小的圖像。除了對圖片大小進行預處理，還需要對圖片減均值，一般圖像均是由RGB三原色構成，均值按RGB三分量分別求得，由此可以更加突出圖片的特徵，更方便後面的計算。
此外，對了保證訓練的效果，我們仍需對訓練數據進行更為嚴苛的處理。在256x256大小的圖像中，截取227x227大小的圖像，在此之後對圖片取鏡像，這樣就使得原始數據增加了（256-224）x（256-224）x2= 2048倍。最後對RGB空間做PCA，然後對主成分做（0,0.1）的高斯擾動，結果使錯誤率下降1%。對測試數據而言，抽取以圖像4個角落的大小為224224的圖像，中心的224224大小的圖像以及它們的鏡像翻轉圖像，這樣便可以獲得10張圖像，我們便可以利用softmax進行預測，對所有預測取平均作為最終的分類結果。
ReLU激活函數
之前我們提到常用的非線性的激活函數是sigmoid，它能夠把輸入的連續實值全部確定在0和1之間。但是這帶來一個問題，當一個負數的絕對值很大時，那麼輸出就是0；如果是絕對值非常大的正數，輸出就是1。這就會出現飽和的現象，飽和現象中神經元的梯度會變得特別小，這樣必然會使得網路的學習更加困難。此外，sigmoid的output的值並不是0為均值，因為這會導致上一層輸出的非0均值信號會直接輸入到後一層的神經元上。所以AlexNet模型提出了ReLU函數，公式：f(x)=max(0,x)f(x)=max(0,x)。

用ReLU代替了Sigmoid，發現使用 ReLU 得到的SGD的收斂速度會比 sigmoid快很多，這成了AlexNet模型的優勢之一。
Dropout
AlexNet模型提出了一個有效的模型組合方式，相比於單模型，只需要多花費一倍的時間，這種方式就做Dropout。在整個神經網路中，隨機選取一半的神經元將它們的輸出變成0。這種方式使得網路關閉了部分神經元，減少了過擬合現象。同時訓練的迭代次數也得以增加。當時一個GTX580 GPU只有3GB內存，這使得大規模的運算成為不可能。但是，隨著硬體水平的發展，當時的GPU已經可以實現並行計算了，並行計算之後兩塊GPU可以互相通信傳輸數據，這樣的方式充分利用了GPU資源，所以模型設計利用兩個GPU並行運算，大大提高了運算效率。
模型分析

AlexNet模型共有8層結構，其中前5層為卷積層，其中前兩個卷積層和第五個卷積層有池化層，其他卷積層沒有。後面3層為全連接層，神經元約有六十五萬個，所需要訓練的參數約六千萬個。
圖片預處理過後，進過第一個卷積層C1之後，原始的圖像也就變成了55x55的像素大小，此時一共有96個通道。模型分為上下兩塊是為了方便GPU運算，48作為通道數目更加適合GPU的並行運算。上圖的模型里把48層直接變成了一個面，這使得模型看上去更像一個立方體，大小為55x55x48。在後面的第二個卷積層C2中，卷積核的尺寸為5x5x48，由此再次進行卷積運算。在C1，C2卷積層的卷積運算之後，都會有一個池化層，使得提取特徵之後的特徵圖像素值大大減小，方便了運算，也使得特徵更加明顯。而第三層的卷積層C3又是更加特殊了。第三層卷積層做了通道的合並，將之前兩個通道的數據再次合並起來，這是一種串接操作。第三層後，由於串接，通道數變成256。全卷積的卷積核尺寸也就變成了13×13×25613×13×256。一個有4096個這樣尺寸的卷積核分別對輸入圖像做4096次的全卷積操作，最後的結果就是一個列向量，一共有4096個數。這也就是最後的輸出，但是AlexNet最終是要分1000個類，所以通過第八層，也就是全連接的第三層，由此得到1000個類輸出。
Alexnet網路中各個層發揮了不同的作用，ReLU，多個CPU是為了提高訓練速度，重疊pool池化是為了提高精度，且不容易產生過擬合，局部歸一化響應是為了提高精度，而數據增益與dropout是為了減少過擬合。
VGG net
在ILSVRC-2014中，牛津大學的視覺幾何組提出的VGGNet模型在定位任務第一名和分類任務第一名[[i]]。如今在計算機視覺領域，卷積神經網路的良好效果深得廣大開發者的喜歡，並且上文提到的AlexNet模型擁有更好的效果，所以廣大從業者學習者試圖將其改進以獲得更好地效果。而後來很多人經過驗證認為，AlexNet模型中所謂的局部歸一化響應浪費了計算資源，但是對性能卻沒有很大的提升。VGG的實質是AlexNet結構的增強版，它側重強調卷積神經網路設計中的深度。將卷積層的深度提升到了19層，並且在當年的ImageNet大賽中的定位問題中獲得了第一名的好成績。整個網路向人們證明了我們是可以用很小的卷積核取得很好地效果，前提是我們要把網路的層數加深，這也論證了我們要想提高整個神經網路的模型效果，一個較為有效的方法便是將它的深度加深，雖然計算量會大大提高，但是整個復雜度也上升了，更能解決復雜的問題。雖然VGG網路已經誕生好幾年了，但是很多其他網路上效果並不是很好地情況下，VGG有時候還能夠發揮它的優勢，讓人有意想不到的收獲。

與AlexNet網路非常類似，VGG共有五個卷積層，並且每個卷積層之後都有一個池化層。當時在ImageNet大賽中，作者分別嘗試了六種網路結構。這六種結構大致相同，只是層數不同，少則11層，多達19層。網路結構的輸入是大小為224*224的RGB圖像，最終將分類結果輸出。當然，在輸入網路時，圖片要進行預處理。
VGG網路相比AlexNet網路，在網路的深度以及寬度上做了一定的拓展，具體的卷積運算還是與AlexNet網路類似。我們主要說明一下VGG網路所做的改進。第一點，由於很多研究者發現歸一化層的效果並不是很好，而且佔用了大量的計算資源，所以在VGG網路中作者取消了歸一化層；第二點，VGG網路用了更小的3x3的卷積核，而兩個連續的3x3的卷積核相當於5x5的感受野，由此類推，三個3x3的連續的卷積核也就相當於7x7的感受野。這樣的變化使得參數量更小，節省了計算資源，將資源留給後面的更深層次的網路。第三點是VGG網路中的池化層特徵池化核改為了2x2，而在AlexNet網路中池化核為3x3。這三點改進無疑是使得整個參數運算量下降，這樣我們在有限的計算平台上能夠獲得更多的資源留給更深層的網路。由於層數較多，卷積核比較小，這樣使得整個網路的特徵提取效果很好。其實由於VGG的層數較多，所以計算量還是相當大的，卷積層比較多成了它最顯著的特點。另外，VGG網路的拓展性能比較突出，結構比較簡潔，所以它的遷移性能比較好，遷移到其他數據集的時候泛化性能好。到現在為止，VGG網路還經常被用來提出特徵。所以當現在很多較新的模型效果不好時，使用VGG可能會解決這些問題。
GoogleNet
谷歌於2014年Imagenet挑戰賽（ILSVRC14）憑借GoogleNet再次斬獲第一名。這個通過增加了神經網路的深度和寬度獲得了更好地效果，在此過程中保證了計算資源的不變。這個網路論證了加大深度，寬度以及訓練數據的增加是現有深度學習獲得更好效果的主要方式。但是增加尺寸可能會帶來過擬合的問題，因為深度與寬度的加深必然會帶來過量的參數。此外，增加網路尺寸也帶來了對計算資源侵佔過多的缺點。為了保證計算資源充分利用的前提下去提高整個模型的性能，作者使用了Inception模型，這個模型在下圖中有展示，可以看出這個有點像金字塔的模型在寬度上使用並聯的不同大小的卷積核，增加了卷積核的輸出寬度。因為使用了較大尺度的卷積核增加了參數。使用了1*1的卷積核就是為了使得參數的數量最少。

Inception模塊
上圖表格為網路分析圖，第一行為卷積層，輸入為224×224×3 ，卷積核為7x7，步長為2，padding為3，輸出的維度為112×112×64，這裡面的7x7卷積使用了 7×1 然後 1×7 的方式，這樣便有(7+7)×64×3=2,688個參數。第二行為池化層，卷積核為3×33×3，滑動步長為2，padding為 1 ，輸出維度：56×56×64，計算方式：1/2×(112+2×1?3+1)=56。第三行，第四行與第一行，第二行類似。第 5 行 Inception mole中分為4條支線，輸入均為上層產生的 28×28×192 結果：第 1 部分，1×1 卷積層，輸出大小為28×28×64；第 2 部分，先1×1卷積層，輸出大小為28×28×96，作為輸入進行3×3卷積層，輸出大小為28×28×128；第 3部分，先1×1卷積層，輸出大小為28×28×32，作為輸入進行3×3卷積層，輸出大小為28×28×32；而第3 部分3×3的池化層，輸出大小為輸出大小為28×28×32。第5行的Inception mole會對上面是個結果的輸出結果並聯，由此增加網路寬度。
ResNet
2015年ImageNet大賽中，MSRA何凱明團隊的ResialNetworks力壓群雄，在ImageNet的諸多領域的比賽中上均獲得了第一名的好成績，而且這篇關於ResNet的論文Deep Resial Learning for Image Recognition也獲得了CVPR2016的最佳論文，實至而名歸。
上文介紹了的VGG以及GoogleNet都是增加了卷積神經網路的深度來獲得更好效果，也讓人們明白了網路的深度與廣度決定了訓練的效果。但是，與此同時，寬度與深度加深的同時，效果實際會慢慢變差。也就是說模型的層次加深，錯誤率提高了。模型的深度加深，以一定的錯誤率來換取學習能力的增強。但是深層的神經網路模型犧牲了大量的計算資源，學習能力提高的同時不應當產生比淺層神經網路更高的錯誤率。這個現象的產生主要是因為隨著神經網路的層數增加，梯度消失的現象就越來越明顯。所以為了解決這個問題，作者提出了一個深度殘差網路的結構Resial：

上圖就是殘差網路的基本結構，可以看出其實是增加了一個恆等映射，將原本的變換函數H(x)轉換成了F(x)+x。示意圖中可以很明顯看出來整個網路的變化，這樣網路不再是簡單的堆疊結構，這樣的話便很好地解決了由於網路層數增加而帶來的梯度原來越不明顯的問題。所以這時候網路可以做得很深，到目前為止，網路的層數都可以上千層，而能夠保證很好地效果。並且，這樣的簡單疊加並沒有給網路增加額外的參數跟計算量，同時也提高了網路訓練的效果與效率。
在比賽中，為了證明自己觀點是正確的，作者控制變數地設計幾個實驗。首先作者構建了兩個plain網路，這兩個網路分別為18層跟34層，隨後作者又設計了兩個殘差網路，層數也是分別為18層和34層。然後對這四個模型進行控制變數的實驗觀察數據量的變化。下圖便是實驗結果。實驗中，在plain網路上觀測到明顯的退化現象。實驗結果也表明，在殘差網路上，34層的效果明顯要好於18層的效果，足以證明殘差網路隨著層數增加性能也是增加的。不僅如此，殘差網路的在更深層的結構上收斂性能也有明顯的提升，整個實驗大為成功。

除此之外，作者還做了關於shortcut方式的實驗，如果殘差網路模塊的輸入輸出維度不一致，我們如果要使維度統一，必須要對維數較少的進行増維。而增維的最好效果是用0來填充。不過實驗數據顯示三者差距很小，所以線性投影並不是特別需要。使用0來填充維度同時也保證了模型的復雜度控制在比較低的情況下。
隨著實驗的深入，作者又提出了更深的殘差模塊。這種模型減少了各個層的參數量，將資源留給更深層數的模型，在保證復雜度很低的情況下，模型也沒有出現梯度消失很明顯的情況，因此目前模型最高可達1202層，錯誤率仍然控製得很低。但是層數如此之多也帶來了過擬合的現象，不過諸多研究者仍在改進之中，畢竟此時的ResNet已經相對於其他模型在性能上遙遙領先了。
殘差網路的精髓便是shortcut。從一個角度來看，也可以解讀為多種路徑組合的一個網路。如下圖：

ResNet可以做到很深，但是從上圖中可以體會到，當網路很深，也就是層數很多時，數據傳輸的路徑其實相對比較固定。我們似乎也可以將其理解為一個多人投票系統，大多數梯度都分布在論文中所謂的effective path上。
DenseNet
在Resnet模型之後，有人試圖對ResNet模型進行改進，由此便誕生了ResNeXt模型。

這是對上面介紹的ResNet模型結合了GoogleNet中的inception模塊思想，相比於Resnet來說更加有效。隨後，誕生了DenseNet模型，它直接將所有的模塊連接起來，整個模型更加簡單粗暴。稠密相連成了它的主要特點。

我們將DenseNet與ResNet相比較:

從上圖中可以看出，相比於ResNet，DenseNet參數量明顯減少很多，效果也更加優越，只是DenseNet需要消耗更多的內存。
總結
上面介紹了卷積神經網路發展史上比較著名的一些模型，這些模型非常經典，也各有優勢。在算力不斷增強的現在，各種新的網路訓練的效率以及效果也在逐漸提高。從收斂速度上看，VGG>Inception>DenseNet>ResNet,從泛化能力來看，Inception>DenseNet=ResNet>VGG，從運算量看來，Inception<DenseNet< ResNet<VGG，從內存開銷來看，Inception<ResNet< DenseNet<VGG。在本次研究中，我們對各個模型均進行了分析，但從效果來看，ResNet效果是最好的，優於Inception，優於VGG，所以我們第四章實驗中主要採用谷歌的Inception模型，也就是GoogleNet。

③ 神經網路ART1模型

一、ART1模型概述

自適應共振理論(Adaptive Resonance Theory)簡稱ART，是於1976年由美國Boston大學S.Grossberg提出來的。

這一理論的顯著特點是，充分利用了生物神經細胞之間自興奮與側抑制的動力學原理，讓輸入模式通過網路雙向連接權的識別與比較，最後達到共振來完成對自身的記憶，並以同樣的方法實現網路的回想。當提供給網路回想的是一個網路中記憶的、或是與已記憶的模式十分相似的模式時，網路將會把這個模式回想出來，提出正確的分類。如果提供給網路回想的是一個網路中不存在的模式，則網路將在不影響已有記憶的前提下，將這一模式記憶下來，並將分配一個新的分類單元作為這一記憶模式的分類標志。

S.Grossberg和G.A.Carpenter經過多年研究和不斷發展，至今已提出了ART1，ART2和ART3三種網路結構。

ART1網路處理雙極型(或二進制)數據，即觀察矢量的分量是二值的，它只取0或1。

二、ART1模型原理

ART1網路是兩層結構，分輸入層(比較層)和輸出層(識別層)。從輸入層到輸出層由前饋連接權連接，從輸出層到輸入層由反饋連接權連接。

設網路輸入層有N個神經元，網路輸出層有M個神經元，二值輸入模式和輸出向量分別為：X_p=(

，

，…，

)，Y_p=(

，

，…，

)，p=1，2，…，P，其中P為輸入學習模式的個數。設前饋連接權和反饋連接權矩陣分別為W=(w_nm)_N×M，T=(t_nm)_N×M，n=1，2，…，N，m=1，2，…，M。

ART1網路的學習及工作過程，是通過反復地將輸入學習模式由輸入層向輸出層自下而上的識別和由輸出層向輸入層自上而下的比較過程來實現的。當這種自下而上的識別和自上而下的比較達到共振，即輸出向量可以正確反映輸入學習模式的分類，且網路原有記憶沒有受到不良影響時，網路對一個輸入學習模式的記憶分類則告完成。

ART1網路的學習及工作過程，可以分為初始化階段、識別階段、比較階段和探尋階段。

1.初始化階段

ART1網路需要初始化的參數主要有3個：

即W=(w_nm)_N×M，T=(t_nm)_N×M和ρ。

反饋連接權T=(t_nm)_N×M在網路的整個學習過程中取0或1二值形式。這一參數實際上反映了輸入層和輸出層之間反饋比較的范圍或強度。由於網路在初始化前沒有任何記憶，相當於一張白紙，即沒有選擇比較的余的。因此可將T的元素全部設置為1，即

t_nm=1，n=1，2，…，N，m=1，2，…，M。(1)

這意味著網路在初始狀態時，輸入層和輸出層之間將進行全范圍比較，隨著學習過程的深入，再按一定規則選擇比較范圍。

前饋連接權W=(w_nm)_N×M在網路學習結束後，承擔著對學習模式的記憶任務。在對W初始化時，應該給所有學習模式提供一個平等競爭的機會，然後通過對輸入模式的競爭，按一定規則調整W。W的初始值按下式設置：

中國礦產資源評價新技術與評價新模型

ρ稱為網路的警戒參數，其取值范圍為0＜ρ≤1。

2.識別階段

ART1網路的學習識別階段發生在輸入學習模式由輸入層向輸出層的傳遞過程中。在這一階段，首先將一個輸入學習模式X_p=(

，

，…，

)提供給網路的輸入層，然後把作為輸入學習模式的存儲媒介的前饋連接權W=(w_nm)_N×M與表示對這一輸入學習模式分類結果的輸出層的各個神經元進行比較，以尋找代表正確分類結果的神經元g。這一比較與尋找過程是通過尋找輸出層神經元最大加權輸入值，即神經元之間的競爭過程實現的，如下式所示：

中國礦產資源評價新技術與評價新模型

中國礦產資源評價新技術與評價新模型

中國礦產資源評價新技術與評價新模型

至此，網路的識別過程只是告一段落，並沒有最後結束。此時，神經元m=g是否真正有資格代表對輸入學習模式X_p的正確分類，還有待於下面的比較和尋找階段來進一步確定。一般情況下需要對代表同一輸入學習模式的分類結果的神經元進行反復識別。

3.比較階段

ART1網路的比較階段的主要職能是完成以下檢查任務，每當給已學習結束的網路提供一個供識別的輸入模式時，首先檢查一下這個模式是否是已學習過的模式，如果是，則讓網路回想出這個模式的分類結果；如果不是，則對這個模式加以記憶，並分配一個還沒有利用過的輸出層神經元來代表這個模式的分類結果。

具體過程如下：把由輸出層每個神經元反饋到輸入層的各個神經元的反饋連接權向量T_m=(t_1m，t_2m，…，t_Nm)，m=1，2，…，M作為對已學習的輸入模式的一條條記錄，即讓向量T_m=(t_1m，t_2m，…，t_Nm)與輸出層第m個神經元所代表的某一學習輸入模式X_p=(

，

，…，

)完全相等。

當需要網路對某個輸入模式進行回想時，這個輸入模式經過識別階段，競爭到神經元g作為自己的分類結果後，要檢查神經元g反饋回來的向量T_g是否與輸入模式相等。如果相等，則說明這是一個已記憶過的模式，神經元g代表了這個模式的分類結果，識別與比較產生了共振，網路不需要再經過尋找階段，直接進入下一個輸入模式的識別階段；如果不相符，則放棄神經元g的分類結果，進入尋找階段。

在比較階段，當用向量T_g與輸入模式X_P進行比較時，允許二者之間有一定的差距，差距的大小由警戒參數ρ決定。

首先計算

中國礦產資源評價新技術與評價新模型

C_g表示向量T_g與輸入模式X_P的擬合度。

在式中，

(t_ng*x_n)表示向量T_g=(t_1g，t_2g，…，t_Ng)與輸入模式X_p=(

，

，…，

)的邏輯「與」。

當T_g=X_P時，C_g=1。

當C_g≥ρ時，說明擬合度大於要求，沒有超過警戒線。

以上兩種情況均可以承認識別結果。

當C_g≠1且C_g＞ρ時，按式(6)式(7)將前饋連接權W_g=(w_1g，w_2g，…，w_Ng)和反饋連接權T_g=(t_1g，t_2g，…，t_Ng)向著與X_P更接近的方向調整。

中國礦產資源評價新技術與評價新模型

t_ng(t+1)=t_ng(t)*x_n，n=1，2，…，N。(7)

當C_g＜ρ時，說明擬合度小於要求，超過警戒線，則拒絕識別結果，將神經元g重新復位為0，並將這個神經元排除在下次識別范圍之外，網路轉入尋找階段。

4.尋找階段

尋找階段是網路在比較階段拒絕識別結果之後轉入的一個反復探尋的階段，在這一階段中，網路將在餘下的輸出層神經元中搜索輸入模式X_p的恰當分類。只要在輸出向量Y_p=(

，

，…

)中含有與這一輸入模式X_p相對應、或在警戒線以內相對應的分類單元，則網路可以得到與記憶模式相符的分類結果。如果在已記憶的分類結果中找不到與現在輸入的模式相對應的分類，但在輸出向量中還有未曾使用過的單元，則可以給這個輸入模式分配一個新的分類單元。在以上兩種情況下，網路的尋找過程總能獲得成功，也就是說共振終將發生。

三、總體演算法

設網路輸入層有N個神經元，網路輸出層有M個神經元，二值輸入模式和輸出向量分別為：X_p=(

，

，…，

)，Y_p=(

，

，…，

)p=1，2，…，p，其中p為輸入學習模式的個數。設前饋連接權和反饋連接權矩陣分別為W=(w_nm)_N×M，T=(t_nm)_N×M，n=1，2，…，N，m=1，2，…，M。

(1)網路初始化

t_nm(0)=1，

中國礦產資源評價新技術與評價新模型

n=1，2，…，N，m=1，2，…，M。

0＜ρ≤1。

(2)將輸入模式X_p=(

，

，…，

)提供給網路的輸入層

(3)計算輸出層各神經元輸入加權和

中國礦產資源評價新技術與評價新模型

(4)選擇X_P的最佳分類結果

中國礦產資源評價新技術與評價新模型

令神經元g的輸出為1。

(5)計算

中國礦產資源評價新技術與評價新模型

中國礦產資源評價新技術與評價新模型

判斷

中國礦產資源評價新技術與評價新模型

當式(8)成立，轉到(7)，否則，轉到(6)。

(6)取消識別結果，將輸出層神經元g的輸出值復位為0，並將這一神經元排除在下一次識別的范圍之外，返回步驟(4)。當所有已利用過的神經元都無法滿足式(8)，則選擇一個新的神經元作為分類結果，轉到步驟(7)。

(7)承認識別結果，並按下式調整連接權

中國礦產資源評價新技術與評價新模型

t_ng(t+1)=t_ng(t)*x_n，n=1，2，…，N。

(8)將步驟(6)復位的所有神經元重新加入識別范圍之內，返回步驟(2)對下一模式進行識別。

(9)輸出分類識別結果。

(10)結束。

四、實例

實例為ART1神經網路模型在柴北緣-東昆侖造山型金礦預測的應用。

1.建立綜合預測模型

柴北緣—東昆侖地區位於青海省的西部，是中央造山帶的西部成員——秦祁昆褶皺系的一部分，是典型的復合造山帶(殷鴻福等，1998)。根據柴北緣—東昆侖地區地質概括以及造山型金礦成礦特點，選擇與成礦相關密切的專題數據，建立柴北緣—東昆侖地區的綜合信息找礦模型：

1)金礦重砂異常數據是金礦的重要找礦標志。

2)金礦水化異常數據是金礦的重要找礦標志。

3)金礦的化探異常數據控制金礦床的分布。

4)金礦的空間分布與通過該區的深大斷裂有關。

5)研究區內斷裂密集程度控制金礦的產出。

6)重力構造的存在與否是金礦存在的一個標志。

7)磁力構造線的存在也是金礦存在的一個重要標志。

8)研究區地質復雜程度也對金礦的產出具有重要的作用。

9)研究區存在的礦(化)點是一個重要的標志。

2.劃分預測單元

預測工作是在單元上進行的，預測工作的結果是與單元有著較為直接的聯系，在找礦模型指導下，以最大限度地反映成礦信息和預測單元面積最小為原則，通過對研究區內地質、地球物理、地球化學等的綜合資料分析，對可能的成礦地段圈定了預測單元。採用網格化單元作為本次研究的預測單元，網格單元的大小是，40×40，將研究區劃分成774個預測單元。

3.變數選擇(表8-6)

4.ART1模型預測結果

ART1神經網路模型演算法中，給定不同的閾值，將改變預測分類的結果。本次實驗選取得閾值為ρ=0.41，系統根據此閾值進行計算獲得計算結果，並通過將不同的分類結果賦予不同的顏色，最終獲得ART模型預測單元的分類結果。分類的結果是形成29個類別。分類結果用不同的顏色表示，其具體結果地顯示見圖8-5。圖形中顏色只代表類別號，不代表分類的好壞。將礦點專題圖層疊加以後，可以看出，顏色為灰色的單元與礦的關系更為密切。

表8-6 預測變數標志的選擇表

圖8-5 東昆侖—柴北緣地區基於ARTL模型的金礦分類結果圖

④ 一文看懂四種基本的神經網路架構

原文鏈接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/

更多干貨就在我的個人博客 http://blackblog.tech 歡迎關注

剛剛入門神經網路，往往會對眾多的神經網路架構感到困惑，神經網路看起來復雜多樣，但是這么多架構無非也就是三類，前饋神經網路，循環網路，對稱連接網路，本文將介紹四種常見的神經網路，分別是CNN，RNN，DBN，GAN。通過這四種基本的神經網路架構，我們來對神經網路進行一定的了解。

神經網路是機器學習中的一種模型，是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。這種網路依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。
一般來說，神經網路的架構可以分為三類：

前饋神經網路：
這是實際應用中最常見的神經網路類型。第一層是輸入，最後一層是輸出。如果有多個隱藏層，我們稱之為「深度」神經網路。他們計算出一系列改變樣本相似性的變換。各層神經元的活動是前一層活動的非線性函數。

循環網路：
循環網路在他們的連接圖中定向了循環，這意味著你可以按照箭頭回到你開始的地方。他們可以有復雜的動態，使其很難訓練。他們更具有生物真實性。
循環網路的目的使用來處理序列數據。在傳統的神經網路模型中，是從輸入層到隱含層再到輸出層，層與層之間是全連接的，每層之間的節點是無連接的。但是這種普通的神經網路對於很多問題卻無能無力。例如，你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。
循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。

對稱連接網路：
對稱連接網路有點像循環網路，但是單元之間的連接是對稱的（它們在兩個方向上權重相同）。比起循環網路，對稱連接網路更容易分析。這個網路中有更多的限制，因為它們遵守能量函數定律。沒有隱藏單元的對稱連接網路被稱為「Hopfield 網路」。有隱藏單元的對稱連接的網路被稱為玻爾茲曼機。

其實之前的帖子講過一些關於感知機的內容，這里再復述一下。
首先還是這張圖
這是一個M-P神經元

一個神經元有n個輸入，每一個輸入對應一個權值w，神經元內會對輸入與權重做乘法後求和，求和的結果與偏置做差，最終將結果放入激活函數中，由激活函數給出最後的輸出，輸出往往是二進制的，0 狀態代表抑制，1 狀態代表激活。

可以把感知機看作是 n 維實例空間中的超平面決策面，對於超平面一側的樣本，感知器輸出 1，對於另一側的實例輸出 0，這個決策超平面方程是 w⋅x=0。 那些可以被某一個超平面分割的正反樣例集合稱為線性可分(linearly separable)樣例集合，它們就可以使用圖中的感知機表示。
與、或、非問題都是線性可分的問題，使用一個有兩輸入的感知機能容易地表示，而異或並不是一個線性可分的問題，所以使用單層感知機是不行的，這時候就要使用多層感知機來解決疑惑問題了。

如果我們要訓練一個感知機，應該怎麼辦呢？
我們會從隨機的權值開始，反復地應用這個感知機到每個訓練樣例，只要它誤分類樣例就修改感知機的權值。重復這個過程，直到感知機正確分類所有的樣例。每一步根據感知機訓練法則來修改權值，也就是修改與輸入 xi 對應的權 wi，法則如下：

這里 t 是當前訓練樣例的目標輸出，o 是感知機的輸出，η 是一個正的常數稱為學習速率。學習速率的作用是緩和每一步調整權的程度，它通常被設為一個小的數值（例如 0.1），而且有時會使其隨著權調整次數的增加而衰減。

多層感知機，或者說是多層神經網路無非就是在輸入層與輸出層之間加了多個隱藏層而已，後續的CNN，DBN等神經網路只不過是將重新設計了每一層的類型。感知機可以說是神經網路的基礎，後續更為復雜的神經網路都離不開最簡單的感知機的模型，

談到機器學習，我們往往還會跟上一個詞語，叫做模式識別，但是真實環境中的模式識別往往會出現各種問題。比如：
圖像分割：真實場景中總是摻雜著其它物體。很難判斷哪些部分屬於同一個對象。對象的某些部分可以隱藏在其他對象的後面。
物體光照：像素的強度被光照強烈影響。
圖像變形：物體可以以各種非仿射方式變形。例如，手寫也可以有一個大的圓圈或只是一個尖頭。
情景支持：物體所屬類別通常由它們的使用方式來定義。例如，椅子是為了讓人們坐在上面而設計的，因此它們具有各種各樣的物理形狀。
卷積神經網路與普通神經網路的區別在於，卷積神經網路包含了一個由卷積層和子采樣層構成的特徵抽取器。在卷積神經網路的卷積層中，一個神經元只與部分鄰層神經元連接。在CNN的一個卷積層中，通常包含若干個特徵平面(featureMap)，每個特徵平面由一些矩形排列的的神經元組成，同一特徵平面的神經元共享權值，這里共享的權值就是卷積核。卷積核一般以隨機小數矩陣的形式初始化，在網路的訓練過程中卷積核將學習得到合理的權值。共享權值（卷積核）帶來的直接好處是減少網路各層之間的連接，同時又降低了過擬合的風險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復雜度，減少了模型的參數。
卷積神經網路由三部分構成。第一部分是輸入層。第二部分由n個卷積層和池化層的組合組成。第三部分由一個全連結的多層感知機分類器構成。
這里舉AlexNet為例：

·輸入：224×224大小的圖片，3通道
·第一層卷積：11×11大小的卷積核96個，每個GPU上48個。
·第一層max-pooling：2×2的核。
·第二層卷積：5×5卷積核256個，每個GPU上128個。
·第二層max-pooling：2×2的核。
·第三層卷積：與上一層是全連接，3*3的卷積核384個。分到兩個GPU上個192個。
·第四層卷積：3×3的卷積核384個，兩個GPU各192個。該層與上一層連接沒有經過pooling層。
·第五層卷積：3×3的卷積核256個，兩個GPU上個128個。
·第五層max-pooling：2×2的核。
·第一層全連接：4096維，將第五層max-pooling的輸出連接成為一個一維向量，作為該層的輸入。
·第二層全連接：4096維
·Softmax層：輸出為1000，輸出的每一維都是圖片屬於該類別的概率。

卷積神經網路在模式識別領域有著重要應用，當然這里只是對卷積神經網路做了最簡單的講解，卷積神經網路中仍然有很多知識，比如局部感受野，權值共享，多卷積核等內容，後續有機會再進行講解。

傳統的神經網路對於很多問題難以處理，比如你要預測句子的下一個單詞是什麼，一般需要用到前面的單詞，因為一個句子中前後單詞並不是獨立的。RNN之所以稱為循環神經網路，即一個序列當前的輸出與前面的輸出也有關。具體的表現形式為網路會對前面的信息進行記憶並應用於當前輸出的計算中，即隱藏層之間的節點不再無連接而是有連接的，並且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。理論上，RNN能夠對任何長度的序列數據進行處理。
這是一個簡單的RNN的結構，可以看到隱藏層自己是可以跟自己進行連接的。

那麼RNN為什麼隱藏層能夠看到上一刻的隱藏層的輸出呢，其實我們把這個網路展開來開就很清晰了。

從上面的公式我們可以看出，循環層和全連接層的區別就是循環層多了一個權重矩陣 W。
如果反復把式2帶入到式1，我們將得到：

在講DBN之前，我們需要對DBN的基本組成單位有一定的了解，那就是RBM，受限玻爾茲曼機。
首先什麼是玻爾茲曼機？
[圖片上傳失敗...(image-d36b31-1519636788074)]
如圖所示為一個玻爾茲曼機，其藍色節點為隱層，白色節點為輸入層。
玻爾茲曼機和遞歸神經網路相比，區別體現在以下幾點：
1、遞歸神經網路本質是學習一個函數，因此有輸入和輸出層的概念，而玻爾茲曼機的用處在於學習一組數據的「內在表示」，因此其沒有輸出層的概念。
2、遞歸神經網路各節點鏈接為有向環，而玻爾茲曼機各節點連接成無向完全圖。

而受限玻爾茲曼機是什麼呢？
最簡單的來說就是加入了限制，這個限制就是將完全圖變成了二分圖。即由一個顯層和一個隱層構成，顯層與隱層的神經元之間為雙向全連接。

h表示隱藏層，v表示顯層
在RBM中，任意兩個相連的神經元之間有一個權值w表示其連接強度，每個神經元自身有一個偏置系數b（對顯層神經元）和c（對隱層神經元）來表示其自身權重。
具體的公式推導在這里就不展示了

DBN是一個概率生成模型，與傳統的判別模型的神經網路相對，生成模型是建立一個觀察數據和標簽之間的聯合分布，對P(Observation|Label)和 P(Label|Observation)都做了評估，而判別模型僅僅而已評估了後者，也就是P(Label|Observation)。
DBN由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經網路類型如圖所示。這些網路被「限制」為一個可視層和一個隱層，層間存在連接，但層內的單元間不存在連接。隱層單元被訓練去捕捉在可視層表現出來的高階數據的相關性。

生成對抗網路其實在之前的帖子中做過講解，這里在說明一下。
生成對抗網路的目標在於生成，我們傳統的網路結構往往都是判別模型，即判斷一個樣本的真實性。而生成模型能夠根據所提供的樣本生成類似的新樣本，注意這些樣本是由計算機學習而來的。
GAN一般由兩個網路組成，生成模型網路，判別模型網路。
生成模型 G 捕捉樣本數據的分布，用服從某一分布（均勻分布，高斯分布等）的雜訊 z 生成一個類似真實訓練數據的樣本，追求效果是越像真實樣本越好；判別模型 D 是一個二分類器，估計一個樣本來自於訓練數據（而非生成數據）的概率，如果樣本來自於真實的訓練數據，D 輸出大概率，否則，D 輸出小概率。
舉個例子：生成網路 G 好比假幣製造團伙，專門製造假幣，判別網路 D 好比警察，專門檢測使用的貨幣是真幣還是假幣，G 的目標是想方設法生成和真幣一樣的貨幣，使得 D 判別不出來，D 的目標是想方設法檢測出來 G 生成的假幣。
傳統的判別網路：

生成對抗網路：

下面展示一個cDCGAN的例子（前面帖子中寫過的）
生成網路

判別網路

最終結果，使用MNIST作為初始樣本，通過學習後生成的數字，可以看到學習的效果還是不錯的。

本文非常簡單的介紹了四種神經網路的架構，CNN，RNN，DBN，GAN。當然也僅僅是簡單的介紹，並沒有深層次講解其內涵。這四種神經網路的架構十分常見，應用也十分廣泛。當然關於神經網路的知識，不可能幾篇帖子就講解完，這里知識講解一些基礎知識，幫助大家快速入（zhuang）門（bi）。後面的帖子將對深度自動編碼器，Hopfield 網路長短期記憶網路（LSTM）進行講解。

⑤ 神經網路:欠擬合和過擬合

以我們前面講述的線性回歸為例，比如我們在訓練集上訓練出最優的模型，但是當我們將其使用到測試集時，測試的誤差很大，我們該怎麼辦？ 

我們一般採取的措施主要包括以下6種：

增加訓練樣本的數目（該方法適用於過擬合現象時，解決高方差。一般都是有效的，但是代價較大，如果下面的方法有效，可以優先採用下面的方式）；

嘗試減少特徵的數量（該方法適用於過擬合現象時，解決高方差）；

嘗試獲得更多的特徵（該方法適用於欠擬合現象時，解決高偏差）；

嘗試增加多項式特徵（該方法適用於欠擬合現象時，解決高偏差）；

嘗試減小正則化程度λ（該方法適用於欠擬合現象時，解決高偏差）；

嘗試增加正則化程度λ（該方法適用於過擬合現象時，解決高方差）；

上面的方法不是隨機選擇，是在合適的情況下（過擬合和欠擬合）選擇合適的方法，對於怎麼判斷一個模型是過擬合還是欠擬合，我們會在下面給出一些機器學習診斷法。

如何對一個假設進行評估？  

我們前面在講述線性回歸和邏輯回歸時，只是注重針對訓練數據集訓練出一個最優的參數，但是我們訓練處的模型對於測試集的性能好壞我們沒有進行判斷，我們只是訓練的模型使得損失函數最小，我們前面也討論過，在訓練數據集上損失函數最小並不能代表對於給定的測試數據，測試數據的評估非常准確，比如過擬合現象發生時，那我們如何評價一個假設的好壞呢？ 

主要的方法包括兩種： 

1.對於簡答的模型，我們可以採用將hθ(x)的圖像畫出，來判斷模型的好壞，但是這種方法對於特徵變數不是一個時，這種方法很難實現或者不可能實現。例如我們曾經看到過這樣的圖像，可以通過hθ(x)的圖像明顯可以看出，該假設存在著過擬合現象。 

2.另一種評估假設的方法為：將原來的數據集分為訓練集和測試集，一般我們是從原來的數據集中隨機選取（保證訓練集和測試集中都含有各種類型的數據）70%的數據作為訓練集，剩下的30%的樣本作為測試集。同時這種將原來數據集劃分為訓練集和測試集的方法可以用於幫助特徵選擇、多項式次數的選擇以及正則化參數的選擇等。數據集劃分的過程如下： 

以上面數據集為例，選取前7個為訓練集，後3個為測試集。用前7個數據集做訓練訓練出一個最優的模型，評價這個訓練出的模型的好壞可以使用測試集來進行判斷，判斷的標准可以使用測試集的損失函數來進行定量的衡量。 

對於回歸問題，測試集的損失函數計算公式如下： 

Jtest(θ)=12mtest∑i=1mtest(hθ(x(i)test)−y(i)test)2

而對於分類問題，測試集的損失函數計算公式如下： 

這種測量方式，如果測試樣本損失函數很大，則代表訓練出的模型泛化能力不好。 

對於分類問題，還有另外一種測量的方式，稱為誤分類率，它對於每一個測試樣本進行計算，計算的公式如下： 

error=1mtest∑i=1mtesterr(hθ(x(i)test),y(i)))

其中， 

模型的選擇和交叉驗證集：  

上述我們是在模型選擇好了之後進行訓練的，也就是上述我們都是確定了假設進行訓練的，但是我們怎麼對模型進行選擇呢，這一節我們來討論一下模型的選擇，以及和交叉驗證集的關系。 

模型選擇主要包括以下內容：1.怎樣選擇正確的特徵來構造學習演算法？2.怎樣選擇學習演算法中正則化參數λ?等問題。 

首先我們結合一個例子來引出模型的選擇和驗證集： 

例如我們有上面十個模型，我們對於給定的數據集選擇哪種模型呢？按照我們上面討論的將數據集劃分為訓練集和測試集，使用訓練集對上述模型進行訓練，然後使用測試集來進行選擇最佳的模型，比如最優的為第五個模型，但是這並不能衡量這個模型的泛化能力，因為測試集已經用於選擇最優的模型，這個模型對於其他未知數據的泛化能力還是未知的。 

所以針對上述問題我們可以將數據集劃分為訓練集、交叉驗證集和測試集。一般情況下，訓練集占總樣本的60%，交叉驗證集佔20%，測試集佔20%。其中訓練集用於訓練，交叉驗證集用於選擇最優的模型，測試集用於測試模型的泛化能力。 

模型選擇方法為： 

1. 使用訓練集訓練10個模型； 

2. 用10個模型分別對交叉驗證集計算出交叉驗證誤差（代價函數的值），其中計算公式為： 

3. 選取交叉驗證誤差最小的模型作為選擇的模型； 

4. 用測試集對選擇出的模型計算泛化能力（測試樣本的損失函數），計算公式如上文中討論的一樣。

假設對診斷偏差和方差（即過擬合還是欠擬合）的影響  

利用上述方法學習到的演算法性能不好一般會有兩種情況： 

1.會出現過擬合，也就是所謂的方差很大； 

2.會出現欠擬合，也就是所謂的偏差很大； 

首先應該確定演算法性能的不好，是由哪種原因造成的，然後針對不同的情況採取不同的改進策略，可以有效的改進當前的演算法。下面我們來講述一下怎麼判斷是過擬合還是欠擬合。 

以下面例子為例，來進行討論： 

我們可以通過繪制出訓練集的代價函數和交叉驗證驗證集的代價函數與方次d的關系來進行判斷是上述哪種情況的一種： 

對於訓練集，當d較小時，模型的擬合程度不是很好，所以訓練樣本集的代價函數比較大；隨著d的增加，模型的擬合程度不斷提高，代價函數不斷的減小； 

對於交叉驗證集，由於d比較小時，模型的擬合程度不是很好，對於新來的樣本預測結果會偏差很大，所以交叉驗證集的代價函數在初始階段會很大，而隨著d的增加會出現一個比較好的方次d，使得模型的擬合程度最佳，同時對於新來的樣本泛化能力很強，所以會有一個代價函數最小的點出現（該轉折點即是模型開始由欠擬合轉向過擬合的點），隨後隨著d的增加，由於過擬合，會存在對新的樣本預測結果不良的現象，所以代價函數會逐漸增大。 

當我們繪制出上述曲線時，我們就可以判斷出什麼時候是過擬合什麼時候欠擬合，判斷的標准如下： 

1. 當訓練誤差與交叉驗證集誤差接近時，並且都很大時，該模型高偏差（欠擬合）； 

2. 當訓練誤差遠小於驗證集誤差時，並且訓練誤差很小時，該模型高方差（過擬合）。 

判斷出該模型是過擬合或者欠擬合之後，然後使用上述提到的過擬合和欠擬合的解決方法，對演算法進行改進。

正則化對偏差和方差的影響  

我們前面講述過正則化可以有效的處理過擬合現象，但是我們上述所說的處理過擬合是在合適的λ情況下，那麼λ值的大小對模型的性能是怎樣影響的呢？我們採用上述與方次d對性能的影響相同的方式來分析λ的值對性能的影響。 

我們首先選擇一系列的λ值，通常λ的選擇是0~10之間呈現二倍關系的值（如：0，0.01，0.02，0.04，0.08，0.15，0.32，0.64，1.28，5.26，5.12，10） 

構建方式如下： 

選擇λ的方法如下： 

1.使用訓練集訓練處12個不同程度正則化模型； 

2.用12個模型分別對交叉驗證集計算出交叉驗證誤差； 

3.選擇得出交叉驗證誤差最小的模型； 

4.運用步驟3選出的模型對測試集計算得出推廣誤差

我們同樣可以將訓練集和交叉驗證集模型的代價函數與λ的值繪制在一張圖上。對於訓練集、驗證集和測試集的代價函數計算公式為： 

需要注意的是，當計算訓練集、交叉驗證集和測試集誤差時，不計算正則項，然後繪制出訓練集和交叉驗證集代價函數與λ值的關系，如下圖所示： 

1. 當λ較小時，訓練誤差較小（過擬合）而交叉驗證集誤差較大； 

2. 隨著λ的增加（從過擬合到欠擬合的過程），訓練集誤差逐漸增大（欠擬合），而交叉驗證集誤差則是先減小後增大。

學習曲線  

學習曲線也是一種可以判斷演算法是否處於過擬合還是欠擬合的情況，學習曲線是將訓練集誤差和交叉驗證集誤差作為訓練集實例數量（m）的函數繪制的圖像。學習曲先不僅可以幫助我們是不是處於過擬合或者欠擬合，它還可以幫助我們判斷是否為了提高演算法的性能需要我們收集多的數據。 

假設我們有100行數據，我們從第一行數據開始，逐漸增加數據進行訓練，得到每次訓練數據的代價函數值。當數據很少時，訓練模型能夠非常完美的擬合很少的數據，但是訓練出的模型卻不能泛化其他的數據，所以當數據很少時，訓練集的代價函數很小，但是交叉驗證集的代價函數很大，隨著樣本的增加，訓練集的代價函數逐漸增大，交叉驗證集的代價函數逐漸減小。繪制的曲線如下圖所示： 

1. 如何用學習曲線識別欠擬合： 

假設我們的模型處於欠擬合的情況下，擬合曲線如下圖所示： 

我們可以看出，無論我們怎樣增加樣本數據，誤差都不會有很大改觀。同時在欠擬合的情況下，會出現隨著樣本的增加，訓練集代價函數和交叉驗證集代價函數都很大的情況，在這種情況下，就沒有必要花費時間在收集數據上了，同時這也是一種判斷模型是過擬合還是欠擬合的方法。 

2. 如何使用學習曲線識別過擬合： 

假設我們有一個非常高次的多項式模型（比如最高次項達到100次），並且正則化非常小時，從下圖可以看出，當交叉驗證集誤差遠大於訓練集誤差時，往訓練集增加更多數據可以提高模型的效果。 

對於過擬合現象時，會出現訓練集代價函數一直都很小（雖然是增加的趨勢），但是驗證集的損失函數會很大（雖然是減小的趨勢），同時訓練集代價函數和驗證集代價函數相差會很大，可以使用這種方法來判斷該模型處於過擬合階段。

對於神經網路我們在討論一下過擬合和欠擬合現象：  

使用較小的神經網路，類似於參數較少的情況，容易導致高偏差和欠擬合，但是計算代價小；使用較大的神經網路，類似於參數較多的情況，容易導致高方差和過擬合，雖然計算代價比較大，但是可以通過正則化手段來調整而更加適應數據。 

對於 神經網路的模型選擇 ：我們一般選擇較大的神經網路並採用正則化處理，而不會選擇較小的神經網路。 

對於 神經網路隱藏層的層數選擇 ，一般我們從一層開始逐漸增加層數，為了更好的選擇出最佳的層數，可以針對不同隱藏層層數的神經網路進行訓練，然後選擇交叉驗證集代價函數最小的神經網路。

⑥ 神經網路BP模型

一、BP模型概述

誤差逆傳播(Error Back-Propagation)神經網路模型簡稱為BP(Back-Propagation)網路模型。

Pall Werbas博士於1974年在他的博士論文中提出了誤差逆傳播學習演算法。完整提出並被廣泛接受誤差逆傳播學習演算法的是以Rumelhart和McCelland為首的科學家小組。他們在1986年出版「Parallel Distributed Processing，Explorations in the Microstructure of Cognition」(《並行分布信息處理》)一書中，對誤差逆傳播學習演算法進行了詳盡的分析與介紹，並對這一演算法的潛在能力進行了深入探討。

BP網路是一種具有3層或3層以上的階層型神經網路。上、下層之間各神經元實現全連接，即下層的每一個神經元與上層的每一個神經元都實現權連接，而每一層各神經元之間無連接。網路按有教師示教的方式進行學習，當一對學習模式提供給網路後，神經元的激活值從輸入層經各隱含層向輸出層傳播，在輸出層的各神經元獲得網路的輸入響應。在這之後，按減小期望輸出與實際輸出的誤差的方向，從輸入層經各隱含層逐層修正各連接權，最後回到輸入層，故得名「誤差逆傳播學習演算法」。隨著這種誤差逆傳播修正的不斷進行，網路對輸入模式響應的正確率也不斷提高。

BP網路主要應用於以下幾個方面：

1)函數逼近：用輸入模式與相應的期望輸出模式學習一個網路逼近一個函數；

2)模式識別：用一個特定的期望輸出模式將它與輸入模式聯系起來；

3)分類：把輸入模式以所定義的合適方式進行分類；

4)數據壓縮：減少輸出矢量的維數以便於傳輸或存儲。

在人工神經網路的實際應用中，80%～90%的人工神經網路模型採用BP網路或它的變化形式，它也是前向網路的核心部分，體現了人工神經網路最精華的部分。

二、BP模型原理

下面以三層BP網路為例，說明學習和應用的原理。

1.數據定義

P對學習模式(x_p，d_p)，p=1，2，…，P；

輸入模式矩陣X[N][P]=(x₁，x₂，…，x_P)；

目標模式矩陣d[M][P]=(d₁，d₂，…，d_P)。

三層BP網路結構

輸入層神經元節點數S0=N，i=1，2，…，S0；

隱含層神經元節點數S1，j=1，2，…，S1；

神經元激活函數f1[S1]；

權值矩陣W1[S1][S0]；

偏差向量b1[S1]。

輸出層神經元節點數S2=M，k=1，2，…，S2；

神經元激活函數f2[S2]；

權值矩陣W2[S2][S1]；

偏差向量b2[S2]。

學習參數

目標誤差ϵ；

初始權更新值Δ₀；

最大權更新值Δ_max；

權更新值增大倍數η⁺；

權更新值減小倍數η^-。

2.誤差函數定義

對第p個輸入模式的誤差的計算公式為

中國礦產資源評價新技術與評價新模型

y2_kp為BP網的計算輸出。

3.BP網路學習公式推導

BP網路學習公式推導的指導思想是，對網路的權值W、偏差b修正，使誤差函數沿負梯度方向下降，直到網路輸出誤差精度達到目標精度要求，學習結束。

各層輸出計算公式

輸入層

y0_i=x_i，i=1，2，…，S0；

隱含層

中國礦產資源評價新技術與評價新模型

y1_j=f1(z1_j)，

j=1，2，…，S1；

輸出層

中國礦產資源評價新技術與評價新模型

y2_k=f2(z2_k)，

k=1，2，…，S2。

輸出節點的誤差公式

中國礦產資源評價新技術與評價新模型

對輸出層節點的梯度公式推導

中國礦產資源評價新技術與評價新模型

E是多個y2_m的函數，但只有一個y2_k與w_kj有關，各y2_m間相互獨立。

其中

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

設輸出層節點誤差為

δ2_k=(d_k-y2_k)·f2′(z2_k)，

則

中國礦產資源評價新技術與評價新模型

同理可得

中國礦產資源評價新技術與評價新模型

對隱含層節點的梯度公式推導

中國礦產資源評價新技術與評價新模型

E是多個y2_k的函數，針對某一個w1_ji，對應一個y1_j，它與所有的y2_k有關。因此，上式只存在對k的求和，其中

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

設隱含層節點誤差為

中國礦產資源評價新技術與評價新模型

則

中國礦產資源評價新技術與評價新模型

同理可得

中國礦產資源評價新技術與評價新模型

4.採用彈性BP演算法(RPROP)計算權值W、偏差b的修正值ΔW，Δb

1993年德國 Martin Riedmiller和Heinrich Braun 在他們的論文「A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm」中，提出Resilient Backpropagation演算法——彈性BP演算法(RPROP)。這種方法試圖消除梯度的大小對權步的有害影響，因此，只有梯度的符號被認為表示權更新的方向。

權改變的大小僅僅由權專門的「更新值」

確定

中國礦產資源評價新技術與評價新模型

其中

表示在模式集的所有模式(批學習)上求和的梯度信息，(t)表示t時刻或第t次學習。

權更新遵循規則：如果導數是正(增加誤差)，這個權由它的更新值減少。如果導數是負，更新值增加。

中國礦產資源評價新技術與評價新模型

RPROP演算法是根據局部梯度信息實現權步的直接修改。對於每個權，我們引入它的

各自的更新值

，它獨自確定權更新值的大小。這是基於符號相關的自適應過程，它基

於在誤差函數E上的局部梯度信息，按照以下的學習規則更新

中國礦產資源評價新技術與評價新模型

其中0＜η^-＜1＜η⁺。

在每個時刻，如果目標函數的梯度改變它的符號，它表示最後的更新太大，更新值

應由權更新值減小倍數因子η^-得到減少；如果目標函數的梯度保持它的符號，更新值應由權更新值增大倍數因子η⁺得到增大。

為了減少自由地可調參數的數目，增大倍數因子η⁺和減小倍數因子η^–被設置到固定值

η⁺=1.2，

η^-=0.5，

這兩個值在大量的實踐中得到了很好的效果。

RPROP演算法採用了兩個參數：初始權更新值Δ₀和最大權更新值Δ_max

當學習開始時，所有的更新值被設置為初始值Δ₀，因為它直接確定了前面權步的大小，它應該按照權自身的初值進行選擇，例如，Δ₀=0.1(默認設置)。

為了使權不至於變得太大，設置最大權更新值限制Δ_max，默認上界設置為

Δ_max=50.0。

在很多實驗中，發現通過設置最大權更新值Δ_max到相當小的值，例如

Δ_max=1.0。

我們可能達到誤差減小的平滑性能。

5.計算修正權值W、偏差b

第t次學習，權值W、偏差b的的修正公式

W^(t)=W^(t-1)+ΔW^(t)，

b^(t)=b^(t-1)+Δb^(t)，

其中，t為學習次數。

6.BP網路學習成功結束條件每次學習累積誤差平方和

中國礦產資源評價新技術與評價新模型

每次學習平均誤差

中國礦產資源評價新技術與評價新模型

當平均誤差MSE＜ε，BP網路學習成功結束。

7.BP網路應用預測

在應用BP網路時，提供網路輸入給輸入層，應用給定的BP網路及BP網路學習得到的權值W、偏差b，網路輸入經過從輸入層經各隱含層向輸出層的「順傳播」過程，計算出BP網的預測輸出。

8.神經元激活函數f

線性函數

f(x)=x，

f′(x)=1，

f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。

一般用於輸出層，可使網路輸出任何值。

S型函數S(x)

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。

f′(x)=f(x)[1-f(x)]，

f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，

]。

一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

在用於模式識別時，可用於輸出層，產生逼近於0或1的二值輸出。

雙曲正切S型函數

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。

f′(x)=1-f(x)·f(x)，

f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。

一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。

階梯函數

類型1

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

f′(x)=0。

類型2

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。

f′(x)=0。

斜坡函數

類型1

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。

中國礦產資源評價新技術與評價新模型

f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

類型2

中國礦產資源評價新技術與評價新模型

f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。

中國礦產資源評價新技術與評價新模型

f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。

三、總體演算法

1.三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b初始化總體演算法

(1)輸入參數X[N][P]，S₀，S₁，f₁[S₁]，S₂，f₂[S₂]；

(2)計算輸入模式X[N][P]各個變數的最大值，最小值矩陣 X_max[N]，X_min[N]；

(3)隱含層的權值W₁，偏差b₁初始化。

情形1：隱含層激活函數f( )都是雙曲正切S型函數

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣Randnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9))輸出W₁[S₁][S₀]，b₁[S₁]。

情形2：隱含層激活函數f( )都是S型函數

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣R_andnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9)輸出W₁[S₁][S₀]，b₁[S₁]。

情形3：隱含層激活函數f( )為其他函數的情形

1)計算輸入模式X[N][P]的每個變數的范圍向量X_rng[N]；

2)計算輸入模式X的每個變數的范圍均值向量X_mid[N]；

3)計算W，b的幅度因子W_mag；

4)產生[-1，1]之間均勻分布的S₀×1維隨機數矩陣R_and[S₁]；

5)產生均值為0，方差為1的正態分布的S₁×S₀維隨機數矩陣R_andnr[S₁][S₀]，隨機數范圍大致在[-1，1]；

6)計算W[S₁][S₀]，b[S₁]；

7)計算隱含層的初始化權值W₁[S₁][S₀]；

8)計算隱含層的初始化偏差b₁[S₁]；

9)輸出W₁[S₁][S₀]，b₁[S₁]。

(4)輸出層的權值W₂，偏差b₂初始化

1)產生[-1，1]之間均勻分布的S₂×S₁維隨機數矩陣W₂[S₂][S₁]；

2)產生[-1，1]之間均勻分布的S₂×1維隨機數矩陣b₂[S₂]；

3)輸出W₂[S₂][S₁]，b₂[S₂]。

2.應用彈性BP演算法(RPROP)學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b總體演算法

函數：Train3BP_RPROP(S₀，X，P，S₁，W₁，b₁，f₁，S₂，W₂，b₂，f₂，d，TP)

(1)輸入參數

P對模式(x_p，d_p)，p=1，2，…，P；

三層BP網路結構；

學習參數。

(2)學習初始化

1)

；

2)各層W，b的梯度值

，

初始化為零矩陣。

(3)由輸入模式X求第一次學習各層輸出y₀，y₁，y₂及第一次學習平均誤差MSE

(4)進入學習循環

epoch=1

(5)判斷每次學習誤差是否達到目標誤差要求

如果MSE＜ϵ，

則，跳出epoch循環，

轉到(12)。

(6)保存第epoch-1次學習產生的各層W，b的梯度值

，

(7)求第epoch次學習各層W，b的梯度值

，

1)求各層誤差反向傳播值δ；

2)求第p次各層W，b的梯度值

，

；

3)求p=1，2，…，P次模式產生的W，b的梯度值

，

的累加。

(8)如果epoch=1，則將第epoch-1次學習的各層W，b的梯度值

，

設為第epoch次學習產生的各層W，b的梯度值

，

。

(9)求各層W，b的更新

1)求權更新值Δ_ij更新；

2)求W，b的權更新值

，

；

3)求第epoch次學習修正後的各層W，b。

(10)用修正後各層W、b，由X求第epoch次學習各層輸出y₀，y₁，y₂及第epoch次學習誤差MSE

(11)epoch=epoch+1，

如果epoch≤MAX_EPOCH，轉到(5)；

否則，轉到(12)。

(12)輸出處理

1)如果MSE＜ε，

則學習達到目標誤差要求，輸出W₁，b₁，W₂，b₂。

2)如果MSE≥ε，

則學習沒有達到目標誤差要求，再次學習。

(13)結束

3.三層BP網路(含輸入層，隱含層，輸出層)預測總體演算法

首先應用Train3lBP_RPROP( )學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b，然後應用三層BP網路(含輸入層，隱含層，輸出層)預測。

函數：Simu3lBP( )。

1)輸入參數：

P個需預測的輸入數據向量x_p，p=1，2，…，P；

三層BP網路結構；

學習得到的各層權值W、偏差b。

2)計算P個需預測的輸入數據向量x_p(p=1，2，…，P)的網路輸出 y₂[S₂][P]，輸出預測結果y₂[S₂][P]。

四、總體演算法流程圖

BP網路總體演算法流程圖見附圖2。

五、數據流圖

BP網數據流圖見附圖1。

六、實例

實例一 全國銅礦化探異常數據BP 模型分類

1.全國銅礦化探異常數據准備

在全國銅礦化探數據上用穩健統計學方法選取銅異常下限值33.1，生成全國銅礦化探異常數據。

2.模型數據准備

根據全國銅礦化探異常數據，選取7類33個礦點的化探數據作為模型數據。這7類分別是岩漿岩型銅礦、斑岩型銅礦、矽卡岩型、海相火山型銅礦、陸相火山型銅礦、受變質型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。

3.測試數據准備

全國化探數據作為測試數據集。

4.BP網路結構

隱層數2，輸入層到輸出層向量維數分別為14，9、5、1。學習率設置為0.9，系統誤差1e-5。沒有動量項。

表8-1 模型數據表

續表

5.計算結果圖

如圖8-2、圖8-3。

圖8-2

圖8-3 全國銅礦礦床類型BP模型分類示意圖

實例二 全國金礦礦石量品位數據BP 模型分類

1.模型數據准備

根據全國金礦儲量品位數據，選取4類34個礦床數據作為模型數據，這4類分別是綠岩型金礦、與中酸性浸入岩有關的熱液型金礦、微細浸染型型金礦、火山熱液型金礦(表8-2)。

2.測試數據准備

模型樣本點和部分金礦點金屬量、礦石量、品位數據作為測試數據集。

3.BP網路結構

輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學習率設置為0.8，系統誤差1e-4，迭代次數5000。

表8-2 模型數據

4.計算結果

結果見表8-3、8-4。

表8-3 訓練學習結果

表8-4 預測結果(部分)

續表

⑦ 神經網路參數如何確定

神經網路各個網路參數設定原則：

①、網路節點  網路輸入層神經元節點數就是系統的特徵因子(自變數)個數，輸出層神經元節點數就是系統目標個數。隱層節點選按經驗選取，一般設為輸入層節點數的75%。如果輸入層有7個節點，輸出層1個節點，那麼隱含層可暫設為5個節點，即構成一個7-5-1 BP神經網路模型。在系統訓練時，實際還要對不同的隱層節點數4、5、6個分別進行比較，最後確定出最合理的網路結構。

②、初始權值的確定  初始權值是不應完全相等的一組值。已經證明，即便確定  存在一組互不相等的使系統誤差更小的權值，如果所設Wji的的初始值彼此相等，它們將在學習過程中始終保持相等。故而，在程序中，我們設計了一個隨機發生器程序，產生一組一0.5~+0.5的隨機數，作為網路的初始權值。

③、最小訓練速率  在經典的BP演算法中，訓練速率是由經驗確定，訓練速率越大，權重變化越大，收斂越快；但訓練速率過大，會引起系統的振盪，因此，訓練速率在不導致振盪前提下，越大越好。因此，在DPS中，訓練速率會自動調整，並盡可能取大一些的值，但用戶可規定一個最小訓練速率。該值一般取0.9。

④、動態參數  動態系數的選擇也是經驗性的，一般取0.6 ~0.8。

⑤、允許誤差  一般取0.001~0.00001，當2次迭代結果的誤差小於該值時，系統結束迭代計算，給出結果。

⑥、迭代次數  一般取1000次。由於神經網路計算並不能保證在各種參數配置下迭代結果收斂，當迭代結果不收斂時，允許最大的迭代次數。

⑦、Sigmoid參數 該參數調整神經元激勵函數形式，一般取0.9~1.0之間。

⑧、數據轉換。在DPS系統中，允許對輸入層各個節點的數據進行轉換，提供轉換的方法有取對數、平方根轉換和數據標准化轉換。

(7)神經網路模型的選擇擴展閱讀：

神經網路的研究內容相當廣泛，反映了多學科交叉技術領域的特點。主要的研究工作集中在以下幾個方面：

1.生物原型

從生理學、心理學、解剖學、腦科學、病理學等方面研究神經細胞、神經網路、神經系統的生物原型結構及其功能機理。

2.建立模型

根據生物原型的研究，建立神經元、神經網路的理論模型。其中包括概念模型、知識模型、物理化學模型、數學模型等。

3.演算法

在理論模型研究的基礎上構作具體的神經網路模型，以實現計算機模擬或准備製作硬體，包括網路學習演算法的研究。這方面的工作也稱為技術模型研究。

神經網路用到的演算法就是向量乘法，並且廣泛採用符號函數及其各種逼近。並行、容錯、可以硬體實現以及自我學習特性，是神經網路的幾個基本優點，也是神經網路計算方法與傳統方法的區別所在。

⑧ 神經網路Kohonen模型

一、Kohonen模型概述

1981年芬蘭赫爾辛基大學Kohonen教授提出了一個比較完整的，分類性能較好的自組織特徵影射(Self-Organizing Feature Map)人工神經網路(簡稱SOM網路)方案。這種網路也稱為Kohonen特徵影射網路。

這種網路模擬大腦神經系統自組織特徵影射功能，它是一種競爭式學習網路，在學習中能無監督地進行自組織學習。

二、Hohonen模型原理

1.概述

SOM網路由輸入層和競爭層組成。輸入層神經元數為N，競爭層由M=R×C神經元組成，構成一個二維平面陣列或一個一維陣列(R=1)。輸入層和競爭層之間實現全互連接。

SOM網路的基本思想是網路競爭層各神經元競爭對輸入模式的響應機會，最後僅有一個神經元成為競爭的勝者，並對那些與獲勝神經元有關的各連接權朝著更有利於它競爭的方向調整，這一獲勝神經元就表示對輸入模式的分類。

SOM演算法是一種無教師示教的聚類方法，它能將任意輸入模式在輸出層映射成一維或二維離散圖形，並保持其拓撲結構不變。即在無教師的情況下，通過對輸入模式的自組織學習，在競爭層將分類結果表示出來。此外，網路通過對輸入模式的反復學習，可以使連接權矢量空間分布密度與輸入模式的概率分布趨於一致，即連接權矢量空間分布能反映輸入模式的統計特徵。

2.網路權值初始化

因為網路輸入很可能出現在中間區，因此，如果競爭層的初始權值選擇在輸入空間的中間區，則其學習效果會更加有效。

3.鄰域距離矩陣

SOM網路中的神經元可以按任何方式排列，這種排列可以用表示同一層神經元間的Manhattan距離的鄰域距離矩陣D來描述，而兩神經元的Manhattan距離是指神經元坐標相減後的矢量中，其元素絕對值之和。

4.Kohonen競爭學習規則

設SOM網路的輸入模式為X_p=(

，

，…，

)，p=1，2.…，P。競爭層神經元的輸出值為Y_j(j=1，2，…，M)，競爭層神經元j與輸入層神經元之間的連接權矢量為

W_j=(w_j1，w_j2，…，w_jN)，j=1，2，…，M。

Kohonen網路自組織學習過程包括兩個部分：一是選擇最佳匹配神經元，二是權矢量自適應變化的更新過程。

確定輸入模式X_p與連接權矢量W_j的最佳匹配的評價函數是兩個矢量的歐氏距離最小，即

，j=1，2，…，M，]]

g，確定獲勝神經元g。

d_g=m_jin(d_j)，j=1，2，…，M。

求輸入模式X_p在競爭層的獲勝神經元g及其在鄰域距離nd內的神經元的輸出。

中國礦產資源評價新技術與評價新模型

d_gm為鄰域距離矩陣D的元素，為競爭層中獲勝神經元g與競爭層中其它神經元的距離。

求輸入模式X_p在競爭層的獲勝神經元g及其在鄰域距離nd內的神經元的權值修正值。

中國礦產資源評價新技術與評價新模型

式中：i=1，2，…，N；

lr為學習速率；

t為學習循環次數。

Δw_jt(t+1)的其餘元素賦值為0。

進行連接權的調整

w_ji(t+1)=w_ji(t)+Δw_ji(t+1)。

5.權值學習中學習速率及鄰域距離的更新

(1)SOM網路的學習過程分為兩個階段

第一階段為粗學習與粗調整階段。在這一階段內，連接權矢量朝著輸入模式的方向進行調整，神經元的權值按照期望的方向在適應神經元位置的輸入空間建立次序，大致確定輸入模式在競爭層中所對應的影射位置。一旦各輸入模式在競爭層有了相對的影射位置後，則轉入精學習與細調整階段，即第二階段。在這一階段內，網路學習集中在對較小的范圍內的連接權進行調整，神經元的權值按照期望的方向在輸入空間伸展，直到保留到他們在粗調整階段所建立的拓撲次序。

學習速率應隨著學習的進行不斷減小。

(2)鄰域的作用與更新

在SOM網路中，腦神經細胞接受外界信息的刺激產生興奮與抑制的變化規律是通過鄰域的作用來體現的鄰域規定了與獲勝神經元g連接的權向量W_g進行同樣調整的其他神經元的范圍。在學習的最初階段，鄰域的范圍較大，隨著學習的深入進行，鄰域的范圍逐漸縮小。

(3)學習速率及鄰域距離的更新

在粗調整階段，

學習參數初始化

最大學習循環次數 MAX_STEP1=1000，

粗調整階段學習速率初值 LR1=1.4，

細調整階段學習速率初值 LR2=0.02，

最大鄰域距離 MAX_ND1=Dmax，

Dmax為鄰域距離矩陣D的最大元素值。

粗調階段

學習循環次數step≤MAX_STEP1，

學習速率lr從LR1調整到LR2，

鄰域距離nd 從MAX_ND1調整到1，

求更新系數r，

r=1-step/MAX_STEP1，

鄰域距離nd更新，

nd=1.00001+(MAX_ND1-1)×r。

學習速率lr更新，

lr=LR2+(LR1-LR2)×r。

在細調整階段，

學習參數初始化，

最大學習循環次數 MAX_STEP2=2000，

學習速率初值 LR2=0.02，

最大鄰域距離 MAX_ND2=1。

細調階段

MAX_STEP1＜step≤MAX_STEP1+MAX_STEP2，

學習速率lr慢慢從LR2減少，

鄰域距離nd設為1，

鄰域距離nd更新，

nd=MAX_ND2+0.00001。

學習速率lr更新，

lr=LR2×(MAX_STEP1/step)。

6.網路的回想——預測

SOM網路經學習後按照下式進行回想：

中國礦產資源評價新技術與評價新模型

Y_j=0，j=1，2，…，M，(j≠g)。

將需要分類的輸入模式提供給網路的輸入層，按照上述方法尋找出競爭層中連接權矢量與輸入模式最接近的神經元，此時神經元有最大的激活值1，而其它神經元被抑制而取0值。這時神經元的狀態即表示對輸入模式的分類。

三、總體演算法

1.SOM權值學習總體演算法

(1)輸入參數X[N][P]。

(2)構造權值矩陣W[M][N]。

1)由X[N][P]求Xmid[N]，

2)由Xmid[N]構造權值W[M][N]。

(3)構造競爭層。

1)求競爭層神經元數M，

2)求鄰域距離矩陣D[M][M]，

3)求矩陣D[M][M]元素的最大值Dmax。

(4)學習參數初始化。

(5)學習權值W[M][N]。

1)學習參數學習速率lr，鄰域距離nd更新，分兩階段：

(i)粗調階段更新；

(ii)細調階段更新。

2)求輸入模式X[N][p]在競爭層的獲勝神經元win[p]。

(i)求X[N][p]與W[m][N]的歐氏距離dm；

(ii)按距離dm最短，求輸入模式X[N][p]在競爭層的獲勝神經元win[p]。

3)求輸入模式X[N][p]在競爭層的獲勝神經元win[p]及其在鄰域距離nd內的神經元的輸出Y[m][p]。

4)求輸入模式X[N][p]在競爭層的獲勝神經元win[p]及其

在鄰域距離nd內的神經元的權值修正值ΔW[m][N]，

從而得到輸入模式X[N][p]產生的權值修正值ΔW[M][N]。

5)權值修正W[M][N]=W[M][N]+ΔW[M][N]。

6)學習結束條件：

(i)學習循環到MAX_STEP次；

(ii)學習速率lr達到用戶指定的LR_MIN；

(iii)學習時間time達到用戶指定的TIME_LIM。

(6)輸出。

1)學習得到的權值矩陣W[M][N]；

2)鄰域距離矩陣D[M][M]。

(7)結束。

2.SOM預測總體演算法

(1)輸入需分類數據X[N][P]，鄰域距離矩陣D[M][M]。

(2)求輸入模式X[N][p]在競爭層的獲勝神經元win[p]。

1)求X[N][p]與W[m][N]的歐氏距離dm；

2)按距離dm最短，求輸入模式X[N][p]在競爭層的獲勝神經元win[p]。

(3)求獲勝神經元win[p]在競爭層排列的行列位置。

(4)輸出與輸入數據適應的獲勝神經元win[p]在競爭層排列的行列位置，作為分類結果。

(5)結束。

四、總體演算法流程圖

Kohonen總體演算法流程圖見附圖4。

五、數據流圖

Kohonen數據流圖見附圖4。

六、無模式識別總體演算法

假定有N個樣品，每個樣品測量M個變數，則有原始數據矩陣：

X=(x_ij)_N×M，i=1，2，…，N，j=1，2，…，M。

(1)原始數據預處理

X=(x_ij)_N×M處理為Z=(z_ij)_N×M，

分3種處理方法：

1)襯度；

2)標准化；

3)歸一化。

程序默認用歸一化處理。

(2)構造Kohonen網

競爭層與輸入層之間的神經元的連接權值構成矩陣W_Q×M。

W_Q×M初始化。

(3)進入Kohonen網學習分類循環，用epoch記錄循環次數，epoch=1。

(4)在每個epoch循環中，對每個樣品n(n=1，2，…，N)進行分類。從1個樣品n=1開始。

(5)首先計算輸入層的樣品n的輸入數據z_nm(m=1，2，…，M)與競爭層Q個神經元對應權值w_qm的距離。

(6)尋找輸入層的樣品n與競爭層Q個神經元的最小距離，距離最小的神經元Win[n]為獲勝神經元，將樣品n歸入獲勝神經元Win[n]所代表的類型中，從而實現對樣品n的分類。

(7)對樣品集中的每一個樣品進行分類：

n=n+1。

(如果n≤N，轉到5。否則，轉到8。)

(8)求分類後各神經元所對應的樣品的變數的重心，用對應的樣品的變數的中位數作為重心，用對應的樣品的變數的重心來更新各神經元的連接權值。

(9)epoch=epoch+1；

一次學習分類循環結束。

(10)如果滿足下列兩個條件之一，分類循環結束，轉到11；

否則，分類循環繼續進行，轉到4。

1)全部樣品都固定在某個神經元上，不再改變了；

2)學習分類循環達到最大迭代次數。

(11)輸出：

1)N個樣品共分成多少類，每類多少樣品，記錄每類的樣品編號；

2)如果某類中樣品個數超過1個，則輸出某類的樣品原始數據的每個變數的均值、最小值、最大值和均方差；

3)如果某類中樣品個數為1個，則輸出某類的樣品原始數據的各變數值；

4)輸出原始數據每個變數(j=1，2，…，M)的均值，最小值，最大值和均方差。

(12)結束。

七、無模式識別總體演算法流程圖

Kohonen無模式總體演算法流程圖見附圖5。

⑨ 人工神經網路的網路模型

人工神經網路模型主要考慮網路連接的拓撲結構、神經元的特徵、學習規則等。目前，已有近40種神經網路模型，其中有反傳網路、感知器、自組織映射、Hopfield網路、波耳茲曼機、適應諧振理論等。根據連接的拓撲結構，神經網路模型可以分為：
網路內神經元間有反饋，可以用一個無向的完備圖表示。這種神經網路的信息處理是狀態的變換，可以用動力學系統理論處理。系統的穩定性與聯想記憶功能有密切關系。Hopfield網路、波耳茲曼機均屬於這種類型。