bp神經網路在圖像處理中的應用

A. 哪些神經網路可以用在圖像特徵提取上

BP神經網路、離散Hopfield網路、LVQ神經網路等等都可以。

1.BP（Back Propagation）神經網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hidden layer)和輸出層(output layer)。
2.Hopfiled神經網路是一種遞歸神經網路，由約翰·霍普菲爾德在1982年發明。Hopfield網路是一種結合存儲系統和二元系統的神經網路。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（local minimum），而非全局極小（global minimum）的情況也可能發生。Hopfiled網路也提供了模擬人類記憶的模型。
3.LVQ神經網路由三層組成，即輸入層、隱含層和輸出層，網路在輸入層與隱含層間為完全連接，而在隱含層與輸出層間為部分連接，每個輸出層神經元與隱含層神經元的不同組相連接。隱含層和輸出層神經元之間的連接權值固定為1。輸入層和隱含層神經元間連接的權值建立參考矢量的分量（對每個隱含神經元指定一個參考矢量）。在網路訓練過程中，這些權值被修改。隱含層神經元（又稱為Kohnen神經元）和輸出神經元都具有二進制輸出值。當某個輸入模式被送至網路時，參考矢量最接近輸入模式的隱含神經元因獲得激發而贏得競爭，因而允許它產生一個「1」，而其它隱含層神經元都被迫產生「0」。與包含獲勝神經元的隱含層神經元組相連接的輸出神經元也發出「1」，而其它輸出神經元均發出「0」。產生「1」的輸出神經元給出輸入模式的類，由此可見，每個輸出神經元被用於表示不同的類。

B. 神經網路在圖像識別中有哪些應用

卷積神經網路有以下幾種應用可供研究：

1、基於卷積網路的形狀識別

物體的形狀是人的視覺系統分析和識別物體的基礎，幾何形狀是物體的本質特徵的表現，並具有平移、縮放和旋轉不變等特點，所以在模式識別領域，對於形狀的分析和識別具有十分重要的意義，而二維圖像作為三維圖像的特例以及組成部分，因此二維圖像的識別是三維圖像識別的基礎。

2、基於卷積網路的人臉檢測

卷槐橋積神經網路與傳統的人臉檢測方法不同，它是通過直接作用於輸陪簡入樣本，用樣本來訓練網路並最終實現檢測任務的。它是非參數型的人臉檢測方法，可以省去傳統方法中建模、參數估計以及參數檢驗、重建模型等的一系列復雜過程。本文針對圖像中任意大小、位置、姿勢、方向、膚色、面部表情和光照條件的人臉。

3、文字識別系統

在經典的模式識別中，一般是事先提取特徵。提取諸多特徵後，要對這些特徵進行相關性分析，找到最能代表字元的特徵，去掉對分類無關和自相關的特徵。然而，這些特徵的提取太過依賴人的經驗和主觀意識，提取到的特徵的不同對分類性能影響很大，甚至提取的特徵的順序也蘆明褲會影響最後的分類性能。同時，圖像預處理的好壞也會影響到提取的特徵。

C. 前饋神經網路、BP神經網路、卷積神經網路的區別與聯系

一、計算方法不同

1、前饋神經網路：一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層．各層間沒有反饋。

2、BP神經網路：是一種按照誤差逆向傳播演算法訓練的多層前饋神經網路。

3、卷積神經網路：包含卷積計算且具有深度結構的前饋神經網路。

二、用途不同

1、前饋神經網路：主要應用包括感知器網路、BP網路和RBF網路。

2、BP神經網路：

（1）函數逼近：用輸入向量和相應的輸出向量訓練一個網路逼近一個函數；

（2）模式識別：用一個待定的輸出向量將它與輸入向量聯系起來；

（3）分類：把輸入向量所定義的合適方式進行分類；

（4）數據壓縮：減少輸出向量維數以便於傳輸或存儲。

3、卷積神經網路：可應用於圖像識別、物體識別等計算機視覺、自然語言處理、物理學和遙感科學等領域。

聯系：

BP神經網路和卷積神經網路都屬於前饋神經網路，三者都屬於人工神經網路。因此，三者原理和結構相同。

三、作用不同

1、前饋神經網路：結構簡單，應用廣泛，能夠以任意精度逼近任意連續函數及平方可積函數．而且可以精確實現任意有限訓練樣本集。

2、BP神經網路：具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。

3、卷積神經網路：具有表徵學習能力，能夠按其階層結構對輸入信息進行平移不變分類。

(3)bp神經網路在圖像處理中的應用擴展閱讀：

1、BP神經網路優劣勢

BP神經網路無論在網路理論還是在性能方面已比較成熟。其突出優點就是具有很強的非線性映射能力和柔性的網路結構。網路的中間層數、各層的神經元個數可根據具體情況任意設定，並且隨著結構的差異其性能也有所不同。但是BP神經網路也存在以下的一些主要缺陷。

①學習速度慢，即使是一個簡單的問題，一般也需要幾百次甚至上千次的學習才能收斂。

②容易陷入局部極小值。

③網路層數、神經元個數的選擇沒有相應的理論指導。

④網路推廣能力有限。

2、人工神經網路的特點和優越性，主要表現在以下三個方面

①具有自學習功能。例如實現圖像識別時，只在先把許多不同的圖像樣板和對應的應識別的結果輸入人工神經網路，網路就會通過自學習功能，慢慢學會識別類似的圖像。自學習功能對於預測有特別重要的意義。預期未來的人工神經網路計算機將為人類提供經濟預測、效益預測，其應用前途是很遠大的。

②具有聯想存儲功能。用人工神經網路的反饋網路就可以實現這種聯想。

③具有高速尋找優化解的能力。尋找一個復雜問題的優化解，往往需要很大的計算量，利用一個針對某問題而設計的反饋型人工神經網路，發揮計算機的高速運算能力，可能很快找到優化解。

D. 基於優化的BP神經網路遙感影像分類

羅小波¹ 劉明培^1，2

（1.重慶郵電大學計算機學院中韓GIS研究所，重慶，；2.西南大學資源環境學院，重慶，400065）

摘要：在網路結構給定的情況下，利用遺傳演算法的全局尋優能力得到一組權值和閾值作為BP神經網路的初始權值和閾值，來避免BP神經網路易陷入局部極小的缺陷，同時也可以提高網路的收斂速度。然後再利用BP神經網路的局部尋優能力，對權值和閾值進行進一步的精細調整。實驗結果表明，把這種基於遺傳演算法的BP神經網路應用於遙感影像監督分類，具有較高的分類精度。

關鍵詞：BP神經網路；遺傳演算法；遙感影像分類

1 引言

隨著遙感技術的快速發展，遙感技術已經廣泛應用於各個領域。其中，遙感影像分類是其重要組成部分。近年來，隨著人工神經網路理論的快速發展，神經網路技術日益成為遙感影像分類中的有效手段，特別是對高光譜等影像數據，更是具有許多獨特的優勢。

一般我們把採用BP （Back-propogation）演算法的多層感知器叫做BP 神經網路，它是目前研究得最完善、應用最廣泛的神經網路之一。與經典的最大似然法相比，BP神經網路最大的優勢就是不要求訓練樣本正態分布。但是，它具有結構難以確定、容易陷入局部極小、不易收斂等缺陷。在本文中，網路的結構由用戶根據問題的復雜度確定。在進行網路訓練之前，利用遺傳演算法的全局尋優能力確定網路的初始權值和閾值；然後利用BP學習演算法的局部尋優能力對網路進行進一步的精細調整。最後利用訓練後的網路進行遙感影像監督分類。結果表明，基於遺傳演算法的BP神經網路進行遙感影像監督分類，具有較高的分類精度。

2 BP 神經網路

2.1 網路結構

BP神經網路的結構一般包括輸入層、中間隱層、輸出層。在模式識別中，輸入層的神經元個數等於輸入的特徵個數，輸出層的神經元個數等於需要分類的類別數。隱層可以為一層或多層，但一般的實際應用中一層隱層就可以滿足要求。而各隱層的神經元個數需要根據實際問題的復雜度而定。以單隱層為例，其結構示意圖如圖1。

為了實現一種通用的遙感影像分類手段，除了提供默認的網路結構外，還為使用者提供了根據實際問題的復雜度自行確定網路隱層數與各隱層神經元數的功能。這為一些高級用戶提供了靈活性，但這種靈活性在一定程度上增加了使用的難度，有時也需要一個實驗的過程，才能取得滿意的效果。

圖1 BP 神經網路結構

2.2 BP 學習演算法

演算法的基本步驟如下：

（1）將全部權值與節點的閾值預置為一個小的隨機數。

（2）載入輸入與輸出。在n個輸入節點上載入一n維向量X，並指定每一輸出節點的期望值。每次訓練可以選取新的同類或者異類樣本，直到權值對各類樣本達到穩定。

（3）計算實際輸出y₁，y₂，…，y_n。

（4）修正權值。權值修正採用了最小均方（LMS）演算法的思想，其過程是從輸出節點開始，反向地向第一隱層傳播由總誤差誘發的權值修正。下一時刻的互連權值W_ij （t＋1）由下式給出：

土地信息技術的創新與土地科學技術發展：2006年中國土地學會學術年會論文集

式中，j為本節點的輸出；i則是隱層或者輸入層節點的序號；

或者是節點i的輸出，或者是外部輸入；η 為學習率；α為動量率；δ_j為誤差項，其取值有兩種情況：

A.若j為輸出節點，則：

δ_j＝y_j（1 －y_j）（t_j －y_j）

其中，t_j為輸出節點 j 的期望值，y_j為該節點的實際輸出值；

B.若j為內部隱含節點，則：

土地信息技術的創新與土地科學技術發展：2006年中國土地學會學術年會論文集

其中k為j節點所在層之上各層的全部節點。

（5）在達到預定的誤差精度或者循環次數後退出，否則，轉（2）。

2.3 基於遺傳演算法的網路學習演算法

遺傳演算法具有全局尋優、不易陷入局部極小的優點，但局部尋優的能力較差。而BP學習演算法卻具有局部尋優的優勢。因此，如果將兩種演算法結合起來構成混合訓練演算法，則可以相互取長補短獲得較好的分類效果。主要思路如下：

（1）利用遺傳演算法確定最優個體

A.把全部權值、閾值作為基因進行實數編碼，形成具有M個基因的遺傳個體結構，其中M等於所有權值、閾值的個數。

B.設定種群規模N，隨機初始化這N個具有M個基因的結構。

C.適應度的計算：分別用訓練樣本集對N組權值、閾值進行訓練，得出各自網路期望輸出與網路實際輸出的總誤差e，適應度f＝1.0－e。

D.進行遺傳運算元操作，包括選擇運算元、交叉運算元和變異運算元，形成新的群體：其中，選擇運算元採用了輪盤賭的方法，交叉運算元採用了兩點交叉。

E.反復進行C、D兩步，直到滿足停止條件為止。停止條件為：超出最大代數、最優個體精度達到了規定的精度。

（2）把經過 GA 優化後的最優個體進行解碼操作，形成 BP 神經網路的初始權值和閾值。

（3）採用BP學習演算法對網路進行訓練，直到滿足停止條件。停止條件為：①達到最大迭代次數；②總體誤差小於規定的最小誤差。

網路訓練結束後，把待分數據輸入訓練好的神經網路，進行分類，就可以得到分類結果影像圖。

3 應用實例

實現環境為VC＋ ＋6.0，並基於Mapgis的二次開發平台，因為二次平台提供了一些遙感影像的基本處理函數，如底層的一些讀取文件的基本操作。

實驗中使用的遙感影像大小為500×500，如圖1所示。該影像是一美國城市1985年的遙感影像圖。根據同地區的SPOT影像及相關資料，把該區地物類別分為8類，各類所對應的代碼為：C1為水體、C2為草地、C3為綠化林、C4為裸地、C5為大型建築物、C6為軍事基地、C7為居民地、C8為其他生活設施（包括街道、道路、碼頭等）。其中，居民地、軍事設施、其他生活設施的光譜特徵比較接近。

圖1 TM 原始影像 （5，4，3 合成）

在網路訓練之前，經過目視解譯，並結合一些相關資料，從原始圖像上選取了3589個類別已知的樣本組成原始樣本集。要求原始樣本具有典型性、代表性，並能反映實際地物的分布情況。把原始樣本集進行預處理，共得到2979個純凈樣本。這些預處理後的樣本就組成訓練樣本集。

網路訓練時的波段選擇為TM1、TM2、TM3、TM4、TM5、TM7 共6個波段。另外，由於所要分類的類別數為8，因此，網路結構為：輸入層節點數為6，輸出層節點數為8，隱層數為1，隱層的節點數為10，然後用訓練樣本集對網路進行訓練。在訓練網路的時候，其訓練參數分別為：學習率為0.05，動量率為0.5，最小均方誤差為0.1，迭代次數為1000。把訓練好的網路對整幅遙感影像進行分類，其分類結果如下面圖2所示。

圖2 分類結果

為了測試網路的分類精度，在分類完成後，需要進行網路的測試。測試樣本的選取仍然採用與選取訓練樣本集一樣的方法在原始影像上進行選取，即結合其他資料，進行目視判讀，在原始圖像上隨機選取類別已知的樣本作為測試樣本。

利用精度評價模塊，把測試樣本集與已分類圖像進行比較，得到分類誤差矩陣以及各種分類精度評價標准，如表1 所示：

表1 分類誤差矩陣

總體精度：0.91，Kappa系數：0.90。

從表1 可以看出，採用測試樣本集進行測試，大部分地物的分類精度都達到了 0.9以上，只有居民地和其他生活設施的精度沒有達到，但也分別達到了0.89 和0.77，總的分類精度為0.91。Kappa系數在遙感影像分類精度評價中應用極為廣泛，在本次測試中其值為0.90。從上面的分析可以看出，利用基於遺傳演算法的BP神經網路進行遙感影像分類，其分類精度較高，取得了令人滿意的效果。

4 結論

與傳統的基於統計理論的分類方法相比，BP神經網路分類不要求訓練樣本正態分布，並且具有復雜的非線性映射能力，更適合於日益激增的海量高光譜遙感數據的處理。但BP神經網路也有易陷於局部極小、不易收斂等缺陷。

初始權值和閾值設置不當，是引起網路易陷於局部極小、不易收斂的重要原因。在實驗中，利用遺傳演算法的全局尋優能力來確定BP網路的初始權值和閾值，使得所獲取的初始權值和閾值是一組全局近似最優解。然後，利用BP學習演算法的局部尋優能力對網路權值和閾值進行精細調整。這樣，訓練後的穩定網路，不但具有較強的非線性映射能力，而且總可以得到一組均方誤差最小的全局最優解。

實驗表明，利用上述的基於遺傳演算法的BP神經網路進行遙感影像分類，只要所選取的訓練樣本具有代表性，能反映實際地物的分布情況，就能夠得到較高的分類精度，具有較強的實際應用價值。

參考文獻

H.Yang et al，A Back-propagation neural networkmfor mineralogical mapping fromAVIRIS data，Int.J.Remote sensing，20 （1）：97～110

Arti Alessandro，et al.Speed up learning and network optimization with extended back propogation.Neural Networks，1993，6：365～383

Patrick P.Minimization methods for training feed forward neural networks.Neural Networks，1994，7：1～12

Goldberg D E.Genetic algorithms in Search Optimization and Machine Learing.MA：Addison-Wesley，1989

Rudolph Gunter.Convergence analysis of canonical genetic algorithms.IEEE Transactions on Neural Networks，1994，5 （1）；102～119

Fang J，Xi Y.Toward design based on evolutionary programming.ArtificialIntel.Eng.，1997，11 （2）：155～161

Park Y R，et al.Prediction sun spots using layered perception neural network.IEEE Trans.on Neural Netorks，1996，7 （2）：501～505

楊行峻、鄭君里.人工神經網路與盲信號處理［M］.北京：清華出版社，2003，23～40

周成虎、駱劍成等.遙感影像地學理解與分析［M］.北京：科學出版社，2001，228～238

王耀男.衛星遙感圖像的神經網路自動識別［J］.湖南大學學報，1998，61～66

江東，王建華.人工神經網路在遙感中的應用與發展.國土與資源遙感，1999，13～18

E. bp演算法在人工神經網路中的作用是什麼

BP（Back Propagation）演算法是一種常用的人工神經網路訓練演算法，是通過反向傳播來調整神經網路權值的演算法。在人工神經網路中，BP演算法的作用是幫助神經網路對輸入的數據進行學習，並通過學習來調整神經網路的權值，以使得神經網路能夠較好地對未知數據進行預測。