『壹』 神經網路BP模型
一、BP模型概述
誤差逆傳播(Error Back-Propagation)神經網路模型簡稱為BP(Back-Propagation)網路模型。
Pall Werbas博士於1974年在他的博士論文中提出了誤差逆傳播學習演算法。完整提出並被廣泛接受誤差逆傳播學習演算法的是以Rumelhart和McCelland為首的科學家小組。他們在1986年出版「Parallel Distributed Processing，Explorations in the Microstructure of Cognition」(《並行分布信息處理》)一書中，對誤差逆傳播學習演算法進行了詳盡的分析與介紹，並對這一演算法的潛在能力進行了深入探討。
BP網路是一種具有3層或3層以上的階層型神經網路。上、下層之間各神經元實現全連接，即下層的每一個神經元與上層的每一個神經元都實現權連接，而每一層各神經元之間無連接。網路按有教師示教的方式進行學習，當一對學習模式提供給網路後，神經元的激活值從輸入層經各隱含層向輸出層傳播，在輸出層的各神經元獲得網路的輸入響應。在這之後，按減小期望輸出與實際輸出的誤差的方向，從輸入層經各隱含層逐層修正各連接權，最後回到輸入層，故得名「誤差逆傳播學習演算法」。隨著這種誤差逆傳播修正的不斷進行，網路對輸入模式響應的正確率也不斷提高。
BP網路主要應用於以下幾個方面：
1)函數逼近：用輸入模式與相應的期望輸出模式學習一個網路逼近一個函數；
2)模式識別：用一個特定的期望輸出模式將它與輸入模式聯系起來；
3)分類：把輸入模式以所定義的合適方式進行分類；
4)數據壓縮：減少輸出矢量的維數以便於傳輸或存儲。
在人工神經網路的實際應用中，80%～90%的人工神經網路模型採用BP網路或它的變化形式，它也是前向網路的核心部分，體現了人工神經網路最精華的部分。
二、BP模型原理
下面以三層BP網路為例，說明學習和應用的原理。
1.數據定義
P對學習模式(xp，dp)，p=1，2，…，P；
輸入模式矩陣X[N][P]=(x1，x2，…，xP)；
目標模式矩陣d[M][P]=(d1，d2，…，dP)。
三層BP網路結構
輸入層神經元節點數S0=N，i=1，2，…，S0；
隱含層神經元節點數S1，j=1，2，…，S1；
神經元激活函數f1[S1]；
權值矩陣W1[S1][S0]；
偏差向量b1[S1]。
輸出層神經元節點數S2=M，k=1，2，…，S2；
神經元激活函數f2[S2]；
權值矩陣W2[S2][S1]；
偏差向量b2[S2]。
學習參數
目標誤差ϵ；
初始權更新值Δ0；
最大權更新值Δmax；
權更新值增大倍數η+；
權更新值減小倍數η-。
2.誤差函數定義
對第p個輸入模式的誤差的計算公式為
中國礦產資源評價新技術與評價新模型
y2kp為BP網的計算輸出。
3.BP網路學習公式推導
BP網路學習公式推導的指導思想是，對網路的權值W、偏差b修正，使誤差函數沿負梯度方向下降，直到網路輸出誤差精度達到目標精度要求，學習結束。
各層輸出計算公式
輸入層
y0i=xi，i=1，2，…，S0；
隱含層
中國礦產資源評價新技術與評價新模型
y1j=f1(z1j)，
j=1，2，…，S1；
輸出層
中國礦產資源評價新技術與評價新模型
y2k=f2(z2k)，
k=1，2，…，S2。
輸出節點的誤差公式
中國礦產資源評價新技術與評價新模型
對輸出層節點的梯度公式推導
中國礦產資源評價新技術與評價新模型
E是多個y2m的函數，但只有一個y2k與wkj有關，各y2m間相互獨立。
其中
中國礦產資源評價新技術與評價新模型
則
中國礦產資源評價新技術與評價新模型
設輸出層節點誤差為
δ2k=(dk-y2k)·f2′(z2k)，
則
中國礦產資源評價新技術與評價新模型
同理可得
中國礦產資源評價新技術與評價新模型
對隱含層節點的梯度公式推導
中國礦產資源評價新技術與評價新模型
E是多個y2k的函數，針對某一個w1ji，對應一個y1j，它與所有的y2k有關。因此，上式只存在對k的求和，其中
中國礦產資源評價新技術與評價新模型
則
中國礦產資源評價新技術與評價新模型
設隱含層節點誤差為
中國礦產資源評價新技術與評價新模型
則
中國礦產資源評價新技術與評價新模型
同理可得
中國礦產資源評價新技術與評價新模型
4.採用彈性BP演算法(RPROP)計算權值W、偏差b的修正值ΔW，Δb
1993年德國 Martin Riedmiller和Heinrich Braun 在他們的論文「A Direct Adaptive Method for Faster Backpropagation Learning：The RPROP Algorithm」中，提出Resilient Backpropagation演算法——彈性BP演算法(RPROP)。這種方法試圖消除梯度的大小對權步的有害影響，因此，只有梯度的符號被認為表示權更新的方向。
權改變的大小僅僅由權專門的「更新值」
中國礦產資源評價新技術與評價新模型
其中
權更新遵循規則：如果導數是正(增加誤差)，這個權由它的更新值減少。如果導數是負，更新值增加。
中國礦產資源評價新技術與評價新模型
RPROP演算法是根據局部梯度信息實現權步的直接修改。對於每個權，我們引入它的
各自的更新值
於在誤差函數E上的局部梯度信息，按照以下的學習規則更新
中國礦產資源評價新技術與評價新模型
其中0＜η-＜1＜η+。
在每個時刻，如果目標函數的梯度改變它的符號，它表示最後的更新太大，更新值
為了減少自由地可調參數的數目，增大倍數因子η+和減小倍數因子η–被設置到固定值
η+=1.2，
η-=0.5，
這兩個值在大量的實踐中得到了很好的效果。
RPROP演算法採用了兩個參數：初始權更新值Δ0和最大權更新值Δmax
當學習開始時，所有的更新值被設置為初始值Δ0，因為它直接確定了前面權步的大小，它應該按照權自身的初值進行選擇，例如，Δ0=0.1(默認設置)。
為了使權不至於變得太大，設置最大權更新值限制Δmax，默認上界設置為
Δmax=50.0。
在很多實驗中，發現通過設置最大權更新值Δmax到相當小的值，例如
Δmax=1.0。
我們可能達到誤差減小的平滑性能。
5.計算修正權值W、偏差b
第t次學習，權值W、偏差b的的修正公式
W(t)=W(t-1)+ΔW(t)，
b(t)=b(t-1)+Δb(t)，
其中，t為學習次數。
6.BP網路學習成功結束條件每次學習累積誤差平方和
中國礦產資源評價新技術與評價新模型
每次學習平均誤差
中國礦產資源評價新技術與評價新模型
當平均誤差MSE＜ε，BP網路學習成功結束。
7.BP網路應用預測
在應用BP網路時，提供網路輸入給輸入層，應用給定的BP網路及BP網路學習得到的權值W、偏差b，網路輸入經過從輸入層經各隱含層向輸出層的「順傳播」過程，計算出BP網的預測輸出。
8.神經元激活函數f
線性函數
f(x)=x，
f′(x)=1，
f(x)的輸入范圍(-∞，+∞)，輸出范圍(-∞，+∞)。
一般用於輸出層，可使網路輸出任何值。
S型函數S(x)
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1)。
f′(x)=f(x)[1-f(x)]，
f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，
一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(0，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。
在用於模式識別時，可用於輸出層，產生逼近於0或1的二值輸出。
雙曲正切S型函數
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍(-1，1)。
f′(x)=1-f(x)·f(x)，
f′(x)的輸入范圍(-∞，+∞)，輸出范圍(0，1]。
一般用於隱含層，可使范圍(-∞，+∞)的輸入，變成(-1，1)的網路輸出，對較大的輸入，放大系數較小；而對較小的輸入，放大系數較大，所以可用來處理和逼近非線性的輸入/輸出關系。
階梯函數
類型1
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
f′(x)=0。
類型2
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍{-1，1}。
f′(x)=0。
斜坡函數
類型1
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍[0，1]。
中國礦產資源評價新技術與評價新模型
f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
類型2
中國礦產資源評價新技術與評價新模型
f(x)的輸入范圍(-∞，+∞)，輸出范圍[-1，1]。
中國礦產資源評價新技術與評價新模型
f′(x)的輸入范圍(-∞，+∞)，輸出范圍{0，1}。
三、總體演算法
1.三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b初始化總體演算法
(1)輸入參數X[N][P]，S0，S1，f1[S1]，S2，f2[S2]；
(2)計算輸入模式X[N][P]各個變數的最大值，最小值矩陣 Xmax[N]，Xmin[N]；
(3)隱含層的權值W1，偏差b1初始化。
情形1：隱含層激活函數f( )都是雙曲正切S型函數
1)計算輸入模式X[N][P]的每個變數的范圍向量Xrng[N]；
2)計算輸入模式X的每個變數的范圍均值向量Xmid[N]；
3)計算W，b的幅度因子Wmag；
4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；
5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；
6)計算W[S1][S0]，b[S1]；
7)計算隱含層的初始化權值W1[S1][S0]；
8)計算隱含層的初始化偏差b1[S1]；
9))輸出W1[S1][S0]，b1[S1]。
情形2：隱含層激活函數f( )都是S型函數
1)計算輸入模式X[N][P]的每個變數的范圍向量Xrng[N]；
2)計算輸入模式X的每個變數的范圍均值向量Xmid[N]；
3)計算W，b的幅度因子Wmag；
4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；
5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；
6)計算W[S1][S0]，b[S1]；
7)計算隱含層的初始化權值W1[S1][S0]；
8)計算隱含層的初始化偏差b1[S1]；
9)輸出W1[S1][S0]，b1[S1]。
情形3：隱含層激活函數f( )為其他函數的情形
1)計算輸入模式X[N][P]的每個變數的范圍向量Xrng[N]；
2)計算輸入模式X的每個變數的范圍均值向量Xmid[N]；
3)計算W，b的幅度因子Wmag；
4)產生[-1，1]之間均勻分布的S0×1維隨機數矩陣Rand[S1]；
5)產生均值為0，方差為1的正態分布的S1×S0維隨機數矩陣Randnr[S1][S0]，隨機數范圍大致在[-1，1]；
6)計算W[S1][S0]，b[S1]；
7)計算隱含層的初始化權值W1[S1][S0]；
8)計算隱含層的初始化偏差b1[S1]；
9)輸出W1[S1][S0]，b1[S1]。
(4)輸出層的權值W2，偏差b2初始化
1)產生[-1，1]之間均勻分布的S2×S1維隨機數矩陣W2[S2][S1]；
2)產生[-1，1]之間均勻分布的S2×1維隨機數矩陣b2[S2]；
3)輸出W2[S2][S1]，b2[S2]。
2.應用彈性BP演算法(RPROP)學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b總體演算法
函數：Train3BP_RPROP(S0，X，P，S1，W1，b1，f1，S2，W2，b2，f2，d，TP)
(1)輸入參數
P對模式(xp，dp)，p=1，2，…，P；
三層BP網路結構；
學習參數。
(2)學習初始化
1)
2)各層W，b的梯度值
(3)由輸入模式X求第一次學習各層輸出y0，y1，y2及第一次學習平均誤差MSE
(4)進入學習循環
epoch=1
(5)判斷每次學習誤差是否達到目標誤差要求
如果MSE＜ϵ，
則，跳出epoch循環，
轉到(12)。
(6)保存第epoch-1次學習產生的各層W，b的梯度值
(7)求第epoch次學習各層W，b的梯度值
1)求各層誤差反向傳播值δ；
2)求第p次各層W，b的梯度值
3)求p=1，2，…，P次模式產生的W，b的梯度值
(8)如果epoch=1，則將第epoch-1次學習的各層W，b的梯度值
(9)求各層W，b的更新
1)求權更新值Δij更新；
2)求W，b的權更新值
3)求第epoch次學習修正後的各層W，b。
(10)用修正後各層W、b，由X求第epoch次學習各層輸出y0，y1，y2及第epoch次學習誤差MSE
(11)epoch=epoch+1，
如果epoch≤MAX_EPOCH，轉到(5)；
否則，轉到(12)。
(12)輸出處理
1)如果MSE＜ε，
則學習達到目標誤差要求，輸出W1，b1，W2，b2。
2)如果MSE≥ε，
則學習沒有達到目標誤差要求，再次學習。
(13)結束
3.三層BP網路(含輸入層，隱含層，輸出層)預測總體演算法
首先應用Train3lBP_RPROP( )學習三層BP網路(含輸入層，隱含層，輸出層)權值W、偏差b，然後應用三層BP網路(含輸入層，隱含層，輸出層)預測。
函數：Simu3lBP( )。
1)輸入參數：
P個需預測的輸入數據向量xp，p=1，2，…，P；
三層BP網路結構；
學習得到的各層權值W、偏差b。
2)計算P個需預測的輸入數據向量xp(p=1，2，…，P)的網路輸出 y2[S2][P]，輸出預測結果y2[S2][P]。
四、總體演算法流程圖
BP網路總體演算法流程圖見附圖2。
五、數據流圖
BP網數據流圖見附圖1。
六、實例
實例一 全國銅礦化探異常數據BP 模型分類
1.全國銅礦化探異常數據准備
在全國銅礦化探數據上用穩健統計學方法選取銅異常下限值33.1，生成全國銅礦化探異常數據。
2.模型數據准備
根據全國銅礦化探異常數據，選取7類33個礦點的化探數據作為模型數據。這7類分別是岩漿岩型銅礦、斑岩型銅礦、矽卡岩型、海相火山型銅礦、陸相火山型銅礦、受變質型銅礦、海相沉積型銅礦，另添加了一類沒有銅異常的模型(表8-1)。
3.測試數據准備
全國化探數據作為測試數據集。
4.BP網路結構
隱層數2，輸入層到輸出層向量維數分別為14，9、5、1。學習率設置為0.9，系統誤差1e-5。沒有動量項。
表8-1 模型數據表
續表
5.計算結果圖
如圖8-2、圖8-3。
圖8-2
圖8-3 全國銅礦礦床類型BP模型分類示意圖
實例二 全國金礦礦石量品位數據BP 模型分類
1.模型數據准備
根據全國金礦儲量品位數據，選取4類34個礦床數據作為模型數據，這4類分別是綠岩型金礦、與中酸性浸入岩有關的熱液型金礦、微細浸染型型金礦、火山熱液型金礦(表8-2)。
2.測試數據准備
模型樣本點和部分金礦點金屬量、礦石量、品位數據作為測試數據集。
3.BP網路結構
輸入層為三維，隱層1層，隱層為三維，輸出層為四維，學習率設置為0.8，系統誤差1e-4，迭代次數5000。
表8-2 模型數據
4.計算結果
結果見表8-3、8-4。
表8-3 訓練學習結果
表8-4 預測結果(部分)
續表
『貳』 神經網路簡述
機器學習中談論的神經網路是指「神經網路學習」，或者說，是機器學習和神經網路這兩個學科領域的交叉部分[1]。
在這里，神經網路更多的是指計算機科學家模擬人類大腦結構和智能行為，發明的一類演算法的統稱。
神經網路是眾多優秀仿生演算法中的一種，讀書時曾接觸過蟻群優化演算法，曾驚訝於其強大之處，但神經網路的強大，顯然蟻群優化還不能望其項背。
A、起源與第一次高潮。有人認為，神經網路的最早討論，源於現代計算機科學的先驅——阿蘭.圖靈在1948年的論文中描述的「B型組織機器」[2]。二十世紀50年代出現了以感知機、Adaling為代表的一系列成功，這是神經網路發展的第一個高潮[1]。
B、第一次低谷。1969年，馬文.明斯基出版《感知機》一書，書中論斷直接將神經網路打入冷宮，導致神經網路十多年的「冰河期」。值得一提的是，在這期間的1974年，哈佛大學Paul Webos發明BP演算法，但當時未受到應有的重視[1]。
C、第二次高潮。1983年，加州理工學院的物理學家John Hopfield利用神經網路，在旅行商問題上獲得當時最好結果，引起轟動；Rumelhart等人重新發明了BP演算法，BP演算法迅速走紅，掀起神經網路第二次高潮[1]。
D、第二次低谷。二十世紀90年代中期，統計學習理論和支持向量機興起，較之於這些演算法，神經網路的理論基礎不清晰等缺點更加凸顯，神經網路研究進入第二次低谷[1]。
E、深度學習的崛起。2010年前後，隨著計算能力的提升和大數據的涌現，以神經網路為基礎的「深度學習」崛起，科技巨頭公司谷歌、Facebook、網路投入巨資研發，神經網路迎來第三次高潮[1]。2016年3月9日至15日，Google人工智慧程序AlphaGo對陣韓國圍棋世界冠軍李世乭，以4:1大比分獲勝，比眾多專家預言早了十年。這次比賽，迅速在全世界經濟、科研、計算機產業各領域掀起人工智慧和深度學習的熱烈討論。
F、展望。從幾個方面討論一下。
1)、近期在Google AlphaGo掀起的熱潮中，民眾的熱情與期待最大，甚至有少許恐慌情緒；計算機產業和互聯網產業熱情也非常巨大，對未來充滿期待，各大巨頭公司對其投入大量資源；學術界的反應倒是比較冷靜的。學術界的冷靜，是因為神經網路和深度神經網路的理論基礎還沒有出現長足的進步，其缺點還沒有根本改善。這也從另一個角度說明了深度神經網路理論進步的空間很大。
2)、"當代神經網路是基於我們上世紀六十年代掌握的腦知識。"關於人類大腦的科學與知識正在爆炸式增長。[3]世界上很多學術團隊正在基於大腦機制新的認知建立新的模型[3]。我個人對此報樂觀態度，從以往的仿生演算法來看，經過億萬年進化的自然界對科技發展的促進從來沒有停止過。
3)、還說AlphaGo，它並不是理論和演算法的突破，而是基於已有演算法的工程精品。AlhphaGo的工作，為深度學習的應用提供了非常廣闊的想像空間。分布式技術提供了巨大而廉價的計算能力，巨量數據的積累提供了豐富的訓練樣本，深度學習開始騰飛，這才剛剛開始。
一直沿用至今的，是McChlloch和Pitts在1943年依據腦神經信號傳輸結構抽象出的簡單模型，所以也被稱作」M-P神經元模型「。
其中，
f函數像一般形如下圖的函數，既考慮階躍性，又考慮光滑可導性。
實際常用如下公式，因形如S，故被稱作sigmoid函數。
把很多個這樣的神經元按一定層次連接起來，就得到了神經網路。
兩層神經元組成，輸入層接收外界輸入信號，輸出層是M-P神經元(只有輸出層是)。
感知機的數學模型和單個M-P神經元的數學模型是一樣的，如因為輸入層只需接收輸入信號，不是M-P神經元。
感知機只有輸出層神經元是B-P神經元，學習能力非常有限。對於現行可分問題，可以證明學習過程一定會收斂。而對於非線性問題，感知機是無能為力的。
BP神經網路全稱叫作誤差逆傳播(Error Propagation)神經網路，一般是指基於誤差逆傳播演算法的多層前饋神經網路。這里為了不佔篇幅，BP神經網路將起篇另述。
BP演算法是迄今最為成功的神經網路學習演算法，也是最有代表性的神經網路學習演算法。BP演算法不僅用於多層前饋神經網路，還用於其他類型神經網路的訓練。
RBF網路全程徑向基函數(Radial Basis Function)網路，是一種單隱層前饋神經網路，其與BP網路最大的不同是採用徑向基函數作為隱層神經元激活函數。
卷積神經網路(Convolutional neural networks，簡稱CNNs)是一種深度學習的前饋神經網路，在大型圖片處理中取得巨大成功。卷積神經網路將起篇另述。
循環神經網路(Recurrent Neural Networks，RNNs)與傳統的FNNs不同，RNNs引入定向循環，能夠處理那些輸入之間前後關聯的問題。RNNs已經在眾多自然語言處理(Natural Language Processing, NLP)中取得了巨大成功以及廣泛應用[5]。RNNs將起篇另述。[5]
[1]、《機器學習》，周志華著
[2]、《模式識別（第二版）》，Richard O.Duda等著，李宏東等譯
[3]、《揭秘IARPA項目：解碼大腦演算法或將徹底改變機器學習》，Emily Singerz著，機器之心編譯出品
[4]、圖片來源於互聯網
[5]、 循環神經網路(RNN, Recurrent Neural Networks)介紹
『叄』 深入淺出BP神經網路演算法的原理
深入淺出BP神經網路演算法的原理
相信每位剛接觸神經網路的時候都會先碰到BP演算法的問題，如何形象快速地理解BP神經網路就是我們學習的高級樂趣了（畫外音：樂趣？你在跟我談樂趣？）
本篇博文就是要簡單粗暴地幫助各位童鞋快速入門採取BP演算法的神經網路。
BP神經網路是怎樣的一種定義？看這句話：一種按「誤差逆傳播演算法訓練」的多層前饋網路。
BP的思想就是：利用輸出後的誤差來估計輸出層前一層的誤差，再用這層誤差來估計更前一層誤差，如此獲取所有各層誤差估計。這里的誤差估計可以理解為某種偏導數，我們就是根據這種偏導數來調整各層的連接權值，再用調整後的連接權值重新計算輸出誤差。直到輸出的誤差達到符合的要求或者迭代次數溢出設定值。
說來說去，「誤差」這個詞說的很多嘛，說明這個演算法是不是跟誤差有很大的關系？
沒錯，BP的傳播對象就是「誤差」，傳播目的就是得到所有層的估計誤差。
它的學習規則是：使用最速下降法，通過反向傳播（就是一層一層往前傳）不斷調整網路的權值和閾值，最後使全局誤差系數最小。
它的學習本質就是：對各連接權值的動態調整。
拓撲結構如上圖：輸入層（input），隱藏層（hide layer），輸出層（output）
BP網路的優勢就是能學習和儲存大量的輸入輸出的關系，而不用事先指出這種數學關系。那麼它是如何學習的？
BP利用處處可導的激活函數來描述該層輸入與該層輸出的關系，常用S型函數δ來當作激活函數。
我們現在開始有監督的BP神經網路學習演算法：
1、正向傳播得到輸出層誤差e
=>輸入層輸入樣本=>各隱藏層=>輸出層
2、判斷是否反向傳播
=>若輸出層誤差與期望不符=>反向傳播
3、誤差反向傳播
=>誤差在各層顯示=>修正各層單元的權值，直到誤差減少到可接受程度。
演算法闡述起來比較簡單，接下來通過數學公式來認識BP的真實面目。
假設我們的網路結構是一個含有N個神經元的輸入層，含有P個神經元的隱層，含有Q個神經元的輸出層。
這些變數分別如下：
認識好以上變數後，開始計算：
一、用（-1，1）內的隨機數初始化誤差函數，並設定精度ε，最多迭代次數M
二、隨機選取第k個輸入樣本及對應的期望輸出
重復以下步驟至誤差達到要求：
三、計算隱含層各神經元的輸入和輸出
四、計算誤差函數e對輸出層各神經元的偏導數，根據輸出層期望輸出和實際輸出以及輸出層輸入等參數計算。
五、計算誤差函數對隱藏層各神經元的偏導數，根據後一層（這里即輸出層）的靈敏度（稍後介紹靈敏度）δo(k)，後一層連接權值w，以及該層的輸入值等參數計算
六、利用第四步中的偏導數來修正輸出層連接權值
七、利用第五步中的偏導數來修正隱藏層連接權值
八、計算全局誤差（m個樣本，q個類別）
比較具體的計算方法介紹好了，接下來用比較簡潔的數學公式來大致地概括這個過程，相信看完上述的詳細步驟都會有些了解和領悟。
假設我們的神經網路是這樣的，此時有兩個隱藏層。
我們先來理解靈敏度是什麼？
看下面一個公式：
這個公式是誤差對b的一個偏導數，這個b是怎麼？它是一個基，靈敏度δ就是誤差對基的變化率，也就是導數。
因為?u/?b=1，所以?E/?b=?E/?u=δ，也就是說bias基的靈敏度?E/?b=δ等於誤差E對一個節點全部輸入u的導數?E/?u。
也可以認為這里的靈敏度等於誤差E對該層輸入的導數，注意了，這里的輸入是上圖U級別的輸入，即已經完成層與層權值計算後的輸入。
每一個隱藏層第l層的靈敏度為：
這里的「?」表示每個元素相乘，不懂的可與上面詳細公式對比理解
而輸出層的靈敏度計算方法不同，為：
而最後的修正權值為靈敏度乘以該層的輸入值，注意了，這里的輸入可是未曾乘以權值的輸入，即上圖的Xi級別。
對於每一個權值(W)ij都有一個特定的學習率ηIj，由演算法學習完成。
『肆』 BP神經網路(誤差反傳網路)
雖然每個人工神經元很簡單，但是只要把多個人工
神經元按一定方式連接起來就構成了一個能處理復雜信息的神經網路。採用BP演算法的多層前饋網路是目前應用最廣泛的神經網路，稱之為BP神經網路。它的最大功能就是能映射復雜的非線性函數關系。
對於已知的模型空間和數據空間，我們知道某個模型和他對應的數據，但是無法寫出它們之間的函數關系式，但是如果有大量的一一對應的模型和數據樣本集合，利用BP神經網路可以模擬(映射)它們之間的函數關系。
一個三層BP網路如圖8.11所示，分為輸入層、隱層、輸出層。它是最常用的BP網路。理論分析證明三層網路已經能夠表達任意復雜的連續函數關系了。只有在映射不連續函數時(如鋸齒波)才需要兩個隱層[8]。
圖8.11中，X=(x1，…，xi，…，xn)T為輸入向量，如加入x0=-1，可以為隱層神經元引入閥值;隱層輸出向量為:Y=(y1，…，yi，…，ym)T，如加入y0=-1，可以為輸出層神經元引入閥值;輸出層輸出向量為:O=(o1，…，oi，…，ol)T;輸入層到隱層之間的權值矩陣用V表示，V=(V1，…，Vj，…，Vl)T，其中列向量Vj表示隱層第j個神經元的權值向量;隱層到輸出層之間的權值矩陣用W表示，W=(W1，…，Wk，…，Wl)T，
其中列向量Wk表示輸出層第k個神經元的權值向量。
圖8.11 三層BP網路[8]
BP演算法的基本思想是:預先給定一一對應的輸入輸出樣本集。學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經過各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符，則轉入誤差的反向傳播。將輸出誤差以某種形式通過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有神經元，獲得各層的誤差信號，用它們可以對各層的神經元的權值進行調整(關於如何修改權值參見韓立群著作[8])，循環不斷地利用輸入輸出樣本集進行權值調整，以使所有輸入樣本的輸出誤差都減小到滿意的精度。這個過程就稱為網路的學習訓練過程。當網路訓練完畢後，它相當於映射(表達)了輸入輸出樣本之間的函數關系。
在地球物理勘探中，正演過程可以表示為如下函數:
d=f(m) (8.31)
它的反函數為
m=f-1(d) (8.32)
如果能夠獲得這個反函數，那麼就解決了反演問題。一般來說，難以寫出這個反函數，但是我們可以用BP神經網路來映射這個反函數m=f-1(d)。對於地球物理反問題，如果把觀測數據當作輸入數據，模型參數當作輸出數據，事先在模型空間隨機產生大量樣本進行正演計算，獲得對應的觀測數據樣本，利用它們對BP網路進行訓練，則訓練好的網路就相當於是地球物理數據方程的反函數。可以用它進行反演，輸入觀測數據，網路就會輸出它所對應的模型。
BP神經網路在能夠進行反演之前需要進行學習訓練。訓練需要大量的樣本，產生這些樣本需要大量的正演計算，此外在學習訓練過程也需要大量的時間。但是BP神經網路一旦訓練完畢，在反演中的計算時間可以忽略。
要想使BP神經網路比較好地映射函數關系，需要有全面代表性的樣本，但是由於模型空間的無限性，難以獲得全面代表性的樣本集合。用這樣的樣本訓練出來的BP網路，只能反映樣本所在的較小范圍數據空間和較小范圍模型空間的函數關系。對於超出它們的觀測數據就無法正確反演。目前BP神經網路在一維反演有較多應用，在二維、三維反演應用較少，原因就是難以產生全面代表性的樣本空間。