bp神經網路例題

A. 對如下BP神經網路，寫出它的計算公式（含學習公式），並對其初始權值以及樣本x1=1，x

B. 用MATLAB建立bp神經網路模型，求高手，在線等

Matlab神經網路工具箱提供了一系列用於建立和訓練bp神經網路模型的函數命令，很難一時講全。下面僅以一個例子列舉部分函數的部分用法。更多的函數和用法請仔細查閱Neural Network Toolbox的幫助文檔。

例子：利用bp神經網路模型建立z=sin(x+y)的模型並檢驗效果

%第1步。隨機生成200個采樣點用於訓練
x=unifrnd(-5,5,1,200);
y=unifrnd(-5,5,1,200);
z=sin(x+y);
%第2步。建立神經網路模型。其中參數一是輸入數據的范圍，參數二是各層神經元數量，參數三是各層傳遞函數類型。
N=newff([-5 5;-5 5],[5,5,1],{'tansig','tansig','purelin'});
%第3步。訓練。這里用批訓練函數train。也可用adapt函數進行增長訓練。
N=train(N,[x;y],z);
%第4步。檢驗訓練成果。
[X,Y]=meshgrid(linspace(-5,5));
Z=sim(N,[X(:),Y(:)]');
figure
mesh(X,Y,reshape(Z,100,100));
hold on;
plot3(x,y,z,'.')

C. BP神經網路

神經網路能很好地解決不同的機器學習問題。神經網路模型是許多邏輯單元按照不同層級組織起來的網路，每一層的輸出變數都是下一層的輸入變數。

上圖顯示了人工神經網路是一個分層模型，邏輯上可以分為三層：

輸入層 ：輸入層接收特徵向量 x

輸出層 ：輸出層產出最終的預測 h

隱含層 ：隱含層介於輸入層與輸出層之間，之所以稱之為隱含層，是因為當中產生的值並不像輸入層使用的樣本矩陣 X或者輸出層用到的標簽矩陣 y 那樣直接可見。

下面引入一些標記法來幫助描述模型：

!$ a^{(j)}_{i} $ 代表第j層的第i個激活單元。 !$ heta^{(j)} $ 代表從第 j 層映射到第 j+1 層時的權重的矩陣，例如 !$ heta^{(1)} $ 代表從第一層映射到第二層的權重的矩陣。其尺寸為：以第 j+1層的激活單元數量為行數，以第 j 層的激活單元數加一為列數的矩陣。例如：上圖所示的神經網路中 !$ heta^{(1)} $ 的尺寸為 3*4。

對於上圖所示的模型，激活單元和輸出分別表達為：

!$ a^{(2)}_{1} = g( heta^{(1)}_{10}x_0 + heta^{(1)}_{11}x_1 + heta^{(1)}_{12}x_2 + heta^{(1)}_{13}x_3 ) $

!$a^{(2)}_{2} = g( heta^{(1)}_{20}x_0 + heta^{(1)}_{21}x_1 + heta^{(1)}_{22}x_2 + heta^{(1)}_{23}x_3 ) $

!$a^{(2)}_{3} = g( heta^{(1)}_{30}x_0 + heta^{(1)}_{31}x_1 + heta^{(1)}_{32}x_2 + heta^{(1)}_{33}x_3 ) $

!$h_{ heta}{(x)} = g( heta^{(2)}_{10}a^{2}_{0} + heta^{(2)}_{11}a^{2}_{1} + heta^{(2)}_{12}a^{2}_{2} + heta^{(2)}_{13}a^{2}_{3} ) $

下面用向量化的方法以上面的神經網路為例，試著計算第二層的值：

對於多類分類問題來說:

我們可將神經網路的分類定義為兩種情況:二類分類和多類分類。

二類分類： !$ S_{L} = 0,y = 0,y = 1$

多類分類： !$ S_{L} = k, y_{i} = 1表示分到第i類；(k>2)$

在神經網路中，我們可以有很多輸出變數，我們的 !$h_{ heta}{(x)} $ 是一個維度為K的向量，並且我們訓練集中的因變數也是同樣維度的一個向量，因此我們的代價函數會比邏輯回歸更加復雜一些，為： !$ h_{ heta}{(x)} in R^{K}(h_{ heta}{(x)})_{i} = i^{th} output$

我們希望通過代價函數來觀察演算法預測的結果與真實情況的誤差有多大，唯一不同的是，對於每一行特徵，我們都會給出K個預測，基本上我們可以利用循環，對每一行特徵都預測K個不同結果，然後在利用循環在K個預測中選擇可能性最高的一個，將其與y中的實際數據進行比較。

正則化的那一項只是排除了每一層 !$ heta_0$ 後，每一層的 矩陣的和。最里層的循環j循環所有的行（由 +1 層的激活單元數決定），循環i則循環所有的列，由該層（ !$ s_l$ 層）的激活單元數所決定。即： !$h_{ heta}{(x)}$ 與真實值之間的距離為每個樣本-每個類輸出的加和，對參數進行 regularization 的 bias 項處理所有參數的平方和。

由於神經網路允許多個隱含層，即各層的神經元都會產出預測，因此，就不能直接利用傳統回歸問題的梯度下降法來最小化 !$J( heta)$ ，而需要逐層考慮預測誤差，並且逐層優化。為此，在多層神經網路中，使用反向傳播演算法（Backpropagation Algorithm）來優化預測，首先定義各層的預測誤差為向量 !$ δ^{(l)} $

訓練過程：

當我們對一個較為復雜的模型（例如神經網路）使用梯度下降演算法時，可能會存在一些不容易察覺的錯誤，意味著，雖然代價看上去在不斷減小，但最終的結果可能並不是最優解。

為了避免這樣的問題，我們採取一種叫做梯度的數值檢驗（ Numerical Gradient Checking ）方法。這種方法的思想是通過估計梯度值來檢驗我們計算的導數值是否真的是我們要求的。

對梯度的估計採用的方法是在代價函數上沿著切線的方向選擇離兩個非常近的點然後計算兩個點的平均值用以估計梯度。即對於某個特定的 ，我們計算出在 !$ heta - epsilon$ 處和 !$ heta + epsilon$ 的代價值（是一個非常小的值，通常選取 0.001），然後求兩個代價的平均，用以估計在 !$ heta$ 處的代價值。

當 !$ heta$ 是一個向量時，我們則需要對偏導數進行檢驗。因為代價函數的偏導數檢驗只針對一個參數的改變進行檢驗，下面是一個只針對 !$ heta_1$ 進行檢驗的示例：

如果上式成立，則證明網路中BP演算法有效，此時關閉梯度校驗演算法（因為梯度的近似計算效率很慢），繼續網路的訓練過程。

D. BP神經網路(誤差反傳網路)

雖然每個人工神經元很簡單，但是只要把多個人工

神經元按一定方式連接起來就構成了一個能處理復雜信息的神經網路。採用BP演算法的多層前饋網路是目前應用最廣泛的神經網路，稱之為BP神經網路。它的最大功能就是能映射復雜的非線性函數關系。

對於已知的模型空間和數據空間，我們知道某個模型和他對應的數據，但是無法寫出它們之間的函數關系式，但是如果有大量的一一對應的模型和數據樣本集合，利用BP神經網路可以模擬(映射)它們之間的函數關系。

一個三層BP網路如圖8.11所示，分為輸入層、隱層、輸出層。它是最常用的BP網路。理論分析證明三層網路已經能夠表達任意復雜的連續函數關系了。只有在映射不連續函數時(如鋸齒波)才需要兩個隱層^[8]。

圖8.11中，X=(x₁，…，x_i，…，x_n)^T為輸入向量，如加入x₀=-1，可以為隱層神經元引入閥值;隱層輸出向量為:Y=(y₁，…，y_i，…，y_m)^T，如加入y₀=-1，可以為輸出層神經元引入閥值;輸出層輸出向量為:O=(o₁，…，o_i，…，o_l)^T;輸入層到隱層之間的權值矩陣用V表示，V=(V₁，…，V_j，…，V_l)^T，其中列向量V_j表示隱層第j個神經元的權值向量;隱層到輸出層之間的權值矩陣用W表示，W=(W₁，…，W_k，…，W_l)^T，

其中列向量W_k表示輸出層第k個神經元的權值向量。

圖8.11 三層BP網路^[8]

BP演算法的基本思想是:預先給定一一對應的輸入輸出樣本集。學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經過各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符，則轉入誤差的反向傳播。將輸出誤差以某種形式通過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有神經元，獲得各層的誤差信號，用它們可以對各層的神經元的權值進行調整(關於如何修改權值參見韓立群著作^[8])，循環不斷地利用輸入輸出樣本集進行權值調整，以使所有輸入樣本的輸出誤差都減小到滿意的精度。這個過程就稱為網路的學習訓練過程。當網路訓練完畢後，它相當於映射(表達)了輸入輸出樣本之間的函數關系。

在地球物理勘探中，正演過程可以表示為如下函數:

d=f(m) (8.31)

它的反函數為

m=f^-1(d) (8.32)

如果能夠獲得這個反函數，那麼就解決了反演問題。一般來說，難以寫出這個反函數，但是我們可以用BP神經網路來映射這個反函數m=f^-1(d)。對於地球物理反問題，如果把觀測數據當作輸入數據，模型參數當作輸出數據，事先在模型空間隨機產生大量樣本進行正演計算，獲得對應的觀測數據樣本，利用它們對BP網路進行訓練，則訓練好的網路就相當於是地球物理數據方程的反函數。可以用它進行反演，輸入觀測數據，網路就會輸出它所對應的模型。

BP神經網路在能夠進行反演之前需要進行學習訓練。訓練需要大量的樣本，產生這些樣本需要大量的正演計算，此外在學習訓練過程也需要大量的時間。但是BP神經網路一旦訓練完畢，在反演中的計算時間可以忽略。

要想使BP神經網路比較好地映射函數關系，需要有全面代表性的樣本，但是由於模型空間的無限性，難以獲得全面代表性的樣本集合。用這樣的樣本訓練出來的BP網路，只能反映樣本所在的較小范圍數據空間和較小范圍模型空間的函數關系。對於超出它們的觀測數據就無法正確反演。目前BP神經網路在一維反演有較多應用，在二維、三維反演應用較少，原因就是難以產生全面代表性的樣本空間。

E. BP神經網路 已知輸入有12個變數，輸出變數數為1個，建立3層BP神經網路，用matlab編程，具體數據如下

net=newff(P,T,20,{'logsig' 'logsig'},'traingd');
net.trainParam.goal=0.001;
net.trainParam.epochs=2000;
net=train(net,P,T);

F. 基於MATLAB的BP神經網路設計預測滑坡災害問題

解決好如下幾個問題：

①輸入層：輸入特徵量個數，特徵量。比如輸入層為[x1 x2 x3]T。應有到山體滑坡就是刻畫表徵山體滑坡的特徵量，這些量要歸一化處理。
②隱含層：設置多少層隱含層，網路下有相關計算公式來確定。
③權值修正迭代演算法，選擇什麼樣的演算法是輸入盡快逼近輸出，且誤差最小
④輸出層：輸出的情況有多少種,該實體對象的狀態。比如滑坡，未滑坡。
⑤樣本的選取：樣本要涵蓋所有的輸出，樣本數量理論上越多越好。也可根據情況選擇，盡量是輸出情況對應的輸入樣本比例接近。
舉個實例：
比如車型劃分，主要劃分為大車、小車兩類。
輸入層就是車型劃分的特徵量：比如選車長、軸數、車高三個特徵量，那麼輸入層為3，[車長 軸數 車高]T
隱含層：設置可以設為5.設置太少不好。具體參照公式
迭代演算法:可選擇梯度下降法
輸出層：也就是我們實體的狀況：2中車型，大車 小車。可以定為[1 0]T
[0 1]T
樣本大小車[車長 軸數 車高]形成的特徵輸入，控制大小車樣本接近1:1.
如上確定好了後，形成了3*5*2的bp網路。訓練即可。
參考如下實例：地震bp預測
http://wenku..com/view/856fa45f3b3567ec102d8a2d.html