rbf神經網路語音識別

1. 深度學習在語音識別方面主要的難題和困難是什麼

深度學習的應用：語音識別系統長期以來，在描述每個建模單元的統計概率模型時，大多採用的是混合高斯模型（GMM）。這種模型由於估計簡單，適合海量數據訓練，同時有成熟的區分度訓練技術支持，長期以來，一直在語音識別應用中佔有壟斷性地位。但這種混合高斯模型本質上是一種淺層網路建模，不能充分描述特徵的狀態空間分布。另外，GMM建模的特徵維數一般是幾十維，不能充分描述特徵之間的相關性。最後，GMM建模本質上是一種似然概率建模，雖然區分度訓練能夠模擬一些模式類之間的區分性，但能力有限。微軟研究院語音識別專家鄧立和俞棟從2009年開始和深度學習專家GeofferyHinton合作。2011年微軟宣布基於深度神經網路的識別系統取得成果並推出產品，徹底改變了語音識別原有的技術框架。採用深度神經網路後，可以充分描述特徵之間的相關性，可以把連續多幀的語音特徵並在一起，構成一個高維特徵。最終的深度神經網路可以採用高維特徵訓練來模擬。由於深度神經網路採用模擬人腦的多層結果，可以逐級地進行信息特徵抽取，最終形成適合模式分類的較理想特徵。這種多層結構和人腦處理語音圖像信息時，是有很大的相似性的。深度神經網路的建模技術，在實際線上服務時，能夠無縫地和傳統的語音識別技術相結合，在不引起任何系統額外耗費情況下，大幅度提升了語音識別系統的識別率。其在線的使用方法具體如下：在實際解碼過程中，聲學模型仍然是採用傳統的HMM模型，語音模型仍然是採用傳統的統計語言模型，解碼器仍然是採用傳統的動態WFST解碼器。但在聲學模型的輸出分布計算時，完全用神經網路的輸出後驗概率乘以一個先驗概率來代替傳統HMM模型中的GMM的輸出似然概率。網路在實踐中發現，採用DNN進行聲音建模的語音識別系統相比於傳統的GMM語音識別系統而言，相對誤識別率能降低25%。最終在2012年11月，網路上線了第一款基於DNN的語音搜索系統，成為最早採用DNN技術進行商業語音服務的公司之一。

國際上，Google也採用了深層神經網路進行聲音建模，是最早突破深層神經網路工業化應用的企業之一。但Google產品中採用的深度神經網路只有4-5層，而網路採用的深度神經網路多達9層。這種結構差異的核心其實是網路更好地解決了深度神經網路在線計算的技術難題，因此網路線上產品可以採用更復雜的網路模型。這將對於未來拓展海量語料的DNN模型訓練有更大的優勢。

2. 卷積神經網路 輸出層的rbf是什麼意思

在多分類中，CNN的輸出層一般都是Softmax。RBF在我的接觸中如果沒有特殊情況的話應該是「徑向基函數」（Radial Basis Function）。在DNN興起之前，RBF由於出色的局部近似能力，被廣泛應用在SVM的核函數中，當然也有我們熟悉的RBF神經網路（也就是以RBF函數為激活函數的單隱含層神經網路）。

如果說把RBF作為卷積神經網路的輸出，我覺得如果不是有特殊的應用背景的話，它並不是一個很好的選擇。至少從概率角度上講，RBF沒有Softmax那樣擁有良好的概率特性。

如果題主是在什麼地方看到它的源代碼並且感到困惑的話，可以貼上源鏈接一起討論一下。

FYI. RBF的定義和計算公式參考：http://ke..com/link?url=_G0Yv0vyTfV3P8S3Q_rZU3CM6f0udS-b6ux2w-hejkOrGMkmj8Nqba

3. 語音識別的最新進展

近幾年來，特別是2009年以來，藉助機器學習領域深度學習研究的發展，以及大數據語料的積累，語音識別技術得到突飛猛進的發展。
1、技術新發展
1）將機器學習領域深度學習研究引入到語音識別聲學模型訓練，使用帶RBM預訓練的多層神經網路，極大提高了聲學模型的准確率。在此方面，微軟公司的研究人員率先取得了突破性進展，他們使用深層神經網路模型（DNN）後，語音識別錯誤率降低了30%，是近20年來語音識別技術方面最快的進步。
2）目前大多主流的語音識別解碼器已經採用基於有限狀態機（WFST）的解碼網路，該解碼網路可以把語言模型、詞典和聲學共享音字集統一集成為一個大的解碼網路，大大提高了解碼的速度，為語音識別的實時應用提供了基礎。
3）隨著互聯網的快速發展，以及手機等移動終端的普及應用，目前可以從多個渠道獲取大量文本或語音方面的語料，這為語音識別中的語言模型和聲學模型的訓練提供了豐富的資源，使得構建通用大規模語言模型和聲學模型成為可能。在語音識別中，訓練數據的匹配和豐富性是推動系統性能提升的最重要因素之一，但是語料的標注和分析需要長期的積累和沉澱，隨著大數據時代的來臨，大規模語料資源的積累將提到戰略高度。
2、技術新應用
近期，語音識別在移動終端上的應用最為火熱，語音對話機器人、語音助手、互動工具等層出不窮，許多互聯網公司紛紛投入人力、物力和財力展開此方面的研究和應用，目的是通過語音交互的新穎和便利模式迅速佔領客戶群。
目前，國外的應用一直以蘋果的siri為龍頭。
而國內方面，科大訊飛、雲知聲、盛大、捷通華聲、搜狗語音助手、紫冬口譯、網路語音等系統都採用了最新的語音識別技術，市面上其他相關的產品也直接或間接嵌入了類似的技術。

4. rbf神經網路原理

rbf神經網路原理是用RBF作為隱單元的「基」構成隱含層空間，這樣就可以將輸入矢量直接映射到隱空間，而不需要通過權連接。

當RBF的中心點確定以後，這種映射關系也就確定了。而隱含層空間到輸出空間的映射是線性的，即網路的輸出是隱單元輸出的線性加權和，此處的權即為網路可調參數。其中，隱含層的作用是把向量從低維度的p映射到高維度的h，這樣低維度線性不可分的情況到高維度就可以變得線性可分了，主要就是核函數的思想。

這樣，網路由輸入到輸出的映射是非線性的，而網路輸出對可調參數而言卻又是線性的。網路的權就可由線性方程組直接解出，從而大大加快學習速度並避免局部極小問題。

(4)rbf神經網路語音識別擴展閱讀

BP神經網路的隱節點採用輸入模式與權向量的內積作為激活函數的自變數，而激活函數採用Sigmoid函數。各調參數對BP網路的輸出具有同等地位的影響，因此BP神經網路是對非線性映射的全局逼近。

RBF神經網路的隱節點採用輸入模式與中心向量的距離（如歐式距離）作為函數的自變數，並使用徑向基函數（如Gaussian函數）作為激活函數。神經元的輸入離徑向基函數中心越遠，神經元的激活程度就越低（高斯函數）。

RBF網路的輸出與部分調參數有關，譬如，一個wij值隻影響一個yi的輸出（參考上面第二章網路輸出），RBF神經網路因此具有「局部映射」特性。

5. 什麼是rbf神經網路

rbf神經網路即徑向基函數神經網路（Radical Basis Function）。徑向基函數神經網路是一種高效的前饋式神經網路，它具有其他前向網路所不具有的最佳逼近性能和全局最優特性，並且結構簡單，訓練速度快。同時，它也是一種可以廣泛應用於模式識別、非線性函數逼近等領域的神經網路模型。

6. 語音識別領域的最新進展目前是什麼樣的水準

語音識別非常成熟了。但當要識別的聲音本身就不對時（噪音，重復，打斷等），依然頭疼。口音屬於variations，是深層神經網路善於解決的。數據夠的話問題不大。換句話說語音理解才是問題。看到題主說自己有聽力障礙時，恰巧我的研究就是多信號語音識別。比如光信號（圖像），電信號（神經活動）等。這是另一個解決方向。聲音是口腔內部各個發聲器官協作運動產生的結果，而發聲器官又是神經信號控制的。這三者越往後越可靠，但越無法觀察。再加上本身都可以運動但不發聲，所以都是結合聲音一起使用。比如說用口型數據和聲音數據結合來識別，直接降幾乎一半的錯誤率，甚至去掉語言模型依然很准確。但由於不可觀察，所以目前這方面研究的方向都是在訓練時利用多信號，而識別時只用聲音信號。利用的方法就有：[聲音—>口型]生成模型+雙信號模型。口型作為隱式變數來建模。口型作為特權信息來調整語音識別模型的參數。雖說不如真實的口型數據，但基本上可以獲取真實口型數據帶來提升的50%左右。這樣的方法可以用在所有語音建模技術上並提高識別率。雖然可以靠[聲音—>口型]生成模型來獲得數據用於其他資料庫的訓練，但由於兩個信號的採集必須同時進行，最初的資料庫會很貴。比如用超聲，X-ray，MRI來採集口型信息。

7. 語音識別技術的基本方法

一般來說,語音識別的方法有三種：基於聲道模型和語音知識的方法、模板匹配的方法以及利用人工神經網路的方法。 該方法起步較早，在語音識別技術提出的開始，就有了這方面的研究，但由於其模型及語音知識過於復雜，現階段沒有達到實用的階段。
通常認為常用語言中有有限個不同的語音基元，而且可以通過其語音信號的頻域或時域特性來區分。這樣該方法分為兩步實現：
第一步，分段和標號
把語音信號按時間分成離散的段，每段對應一個或幾個語音基元的聲學特性。然後根據相應聲學特性對每個分段給出相近的語音標號
第二步，得到詞序列
根據第一步所得語音標號序列得到一個語音基元網格，從詞典得到有效的詞序列，也可結合句子的文法和語義同時進行。 模板匹配的方法發展比較成熟，目前已達到了實用階段。在模板匹配方法中，要經過四個步驟：特徵提取、模板訓練、模板分類、判決。常用的技術有三種：動態時間規整(DTW)、隱馬爾可夫（HMM）理論、矢量量化（VQ）技術。
1、動態時間規整(DTW)
語音信號的端點檢測是進行語音識別中的一個基本步驟，它是特徵訓練和識別的基礎。所謂端點檢測就是在語音信號中的各種段落(如音素、音節、詞素)的始點和終點的位置，從語音信號中排除無聲段。在早期，進行端點檢測的主要依據是能量、振幅和過零率。但效果往往不明顯。60年代日本學者Itakura提出了動態時間規整演算法(DTW：DynamicTimeWarping)。演算法的思想就是把未知量均勻的升長或縮短,直到與參考模式的長度一致。在這一過程中，未知單詞的時間軸要不均勻地扭曲或彎折，以使其特徵與模型特徵對正。
2、隱馬爾可夫法(HMM)
隱馬爾可夫法(HMM)是70年代引入語音識別理論的，它的出現使得自然語音識別系統取得了實質性的突破。HMM方法現已成為語音識別的主流技術，目前大多數大詞彙量、連續語音的非特定人語音識別系統都是基於HMM模型的。HMM是對語音信號的時間序列結構建立統計模型，將之看作一個數學上的雙重隨機過程：一個是用具有有限狀態數的Markov鏈來模擬語音信號統計特性變化的隱含的隨機過程，另一個是與Markov鏈的每一個狀態相關聯的觀測序列的隨機過程。前者通過後者表現出來，但前者的具體參數是不可測的。人的言語過程實際上就是一個雙重隨機過程，語音信號本身是一個可觀測的時變序列，是由大腦根據語法知識和言語需要(不可觀測的狀態)發出的音素的參數流。可見HMM合理地模仿了這一過程，很好地描述了語音信號的整體非平穩性和局部平穩性,是較為理想的一種語音模型。
3、矢量量化(VQ)
矢量量化(VectorQuantization)是一種重要的信號壓縮方法。與HMM相比,矢量量化主要適用於小詞彙量、孤立詞的語音識別中。其過程是：將語音信號波形的k個樣點的每一幀，或有k個參數的每一參數幀，構成k維空間中的一個矢量，然後對矢量進行量化。量化時，將k維無限空間劃分為M個區域邊界，然後將輸入矢量與這些邊界進行比較，並被量化為「距離」最小的區域邊界的中心矢量值。矢量量化器的設計就是從大量信號樣本中訓練出好的碼書，從實際效果出發尋找到好的失真測度定義公式，設計出最佳的矢量量化系統，用最少的搜索和計算失真的運算量，實現最大可能的平均信噪比。
核心思想可以這樣理解：如果一個碼書是為某一特定的信源而優化設計的，那麼由這一信息源產生的信號與該碼書的平均量化失真就應小於其他信息的信號與該碼書的平均量化失真，也就是說編碼器本身存在區分能力。
在實際的應用過程中，人們還研究了多種降低復雜度的方法，這些方法大致可以分為兩類：無記憶的矢量量化和有記憶的矢量量化。無記憶的矢量量化包括樹形搜索的矢量量化和多級矢量量化。 利用人工神經網路的方法是80年代末期提出的一種新的語音識別方法。人工神經網路(ANN)本質上是一個自適應非線性動力學系統，模擬了人類神經活動的原理，具有自適應性、並行性、魯棒性、容錯性和學習特性，其強的分類能力和輸入-輸出映射能力在語音識別中都很有吸引力。但由於存在訓練、識別時間太長的缺點，目前仍處於實驗探索階段。
由於ANN不能很好的描述語音信號的時間動態特性，所以常把ANN與傳統識別方法結合，分別利用各自優點來進行語音識別。

8. 如何用神經網路進行語音識別的matlab代碼

給你一個實例，希望通過該例子對實現神經網路應用有一定的了解。
%x,y分別為輸入和目標向量
x=1:5;
y=[639 646 642 624 652];
%創建一個前饋網路
net=newff(minmax(x),[20,1],{'tansig','purelin'});
%模擬未經訓練的網路net並畫圖
y1=sim(net,x);plot(x,y1,':');
%採用L-M優化演算法
net.trainFcn='trainlm';
%設置訓練演算法
net.trainParam.epochs=500;net.trainParam.goal=10^(-6);
%調用相應演算法訓練BP網路
[net,tr,yy]=train(net,x,y);
%對BP網路進行模擬
y1=sim(net,x);
%計算模擬誤差
E=y-y1;MSE=mse(E)
hold on
%繪制匹配結果曲線
figure;
plot(x,y1,'r*',x,y,'b--')

9. 神經網路模型-27種神經網路模型們的簡介

​ 

【1】Perceptron(P) 感知機

【1】感知機 

感知機是我們知道的最簡單和最古老的神經元模型，它接收一些輸入，然後把它們加總，通過激活函數並傳遞到輸出層。

【2】Feed Forward(FF)前饋神經網路

 【2】前饋神經網路

前饋神經網路（FF），這也是一個很古老的方法——這種方法起源於50年代。它的工作原理通常遵循以下規則：

1.所有節點都完全連接

2.激活從輸入層流向輸出，無回環

3.輸入和輸出之間有一層（隱含層）

在大多數情況下，這種類型的網路使用反向傳播方法進行訓練。

【3】Radial Basis Network(RBF) RBF神經網路

 【3】RBF神經網路

RBF 神經網路實際上是 激活函數是徑向基函數 而非邏輯函數的FF前饋神經網路（FF）。兩者之間有什麼區別呢？

邏輯函數--- 將某個任意值映射到[0 ,... 1]范圍內來，回答「是或否」問題。適用於分類決策系統，但不適用於連續變數。

相反， 徑向基函數--- 能顯示「我們距離目標有多遠」。 這完美適用於函數逼近和機器控制（例如作為PID控制器的替代）。

簡而言之，RBF神經網路其實就是， 具有不同激活函數和應用方向的前饋網路 。

【4】Deep Feed Forword(DFF)深度前饋神經網路

【4】DFF深度前饋神經網路 

DFF深度前饋神經網路在90年代初期開啟了深度學習的潘多拉盒子。 這些依然是前饋神經網路，但有不止一個隱含層 。那麼，它到底有什麼特殊性？

在訓練傳統的前饋神經網路時，我們只向上一層傳遞了少量的誤差信息。由於堆疊更多的層次導致訓練時間的指數增長，使得深度前饋神經網路非常不實用。 直到00年代初，我們開發了一系列有效的訓練深度前饋神經網路的方法; 現在它們構成了現代機器學習系統的核心 ，能實現前饋神經網路的功能，但效果遠高於此。

【5】Recurrent Neural Network(RNN) 遞歸神經網路

【5】RNN遞歸神經網路 

RNN遞歸神經網路引入不同類型的神經元——遞歸神經元。這種類型的第一個網路被稱為約旦網路（Jordan Network），在網路中每個隱含神經元會收到它自己的在固定延遲（一次或多次迭代）後的輸出。除此之外，它與普通的模糊神經網路非常相似。

當然，它有許多變化 — 如傳遞狀態到輸入節點，可變延遲等，但主要思想保持不變。這種類型的神經網路主要被使用在上下文很重要的時候——即過去的迭代結果和樣本產生的決策會對當前產生影響。最常見的上下文的例子是文本——一個單詞只能在前面的單詞或句子的上下文中進行分析。

【6】Long/Short Term Memory (LSTM) 長短時記憶網路

【6】LSTM長短時記憶網路 

LSTM長短時記憶網路引入了一個存儲單元，一個特殊的單元，當數據有時間間隔（或滯後）時可以處理數據。遞歸神經網路可以通過「記住」前十個詞來處理文本，LSTM長短時記憶網路可以通過「記住」許多幀之前發生的事情處理視頻幀。 LSTM網路也廣泛用於寫作和語音識別。

存儲單元實際上由一些元素組成，稱為門，它們是遞歸性的，並控制信息如何被記住和遺忘。

【7】Gated Recurrent Unit (GRU)

 【7】GRU是具有不同門的LSTM

GRU是具有不同門的LSTM。

聽起來很簡單，但缺少輸出門可以更容易基於具體輸入重復多次相同的輸出，目前此模型在聲音（音樂）和語音合成中使用得最多。

實際上的組合雖然有點不同：但是所有的LSTM門都被組合成所謂的更新門(Update Gate)，並且復位門(Reset Gate)與輸入密切相關。

它們比LSTM消耗資源少，但幾乎有相同的效果。

【8】Auto Encoder (AE) 自動編碼器

 【8】AE自動編碼器

Autoencoders自動編碼器用於分類，聚類和特徵壓縮。

當您訓練前饋(FF)神經網路進行分類時，您主要必須在Y類別中提供X個示例，並且期望Y個輸出單元格中的一個被激活。 這被稱為「監督學習」。

另一方面，自動編碼器可以在沒有監督的情況下進行訓練。它們的結構 - 當隱藏單元數量小於輸入單元數量（並且輸出單元數量等於輸入單元數）時，並且當自動編碼器被訓練時輸出盡可能接近輸入的方式，強制自動編碼器泛化數據並搜索常見模式。

【9】Variational AE (VAE)  變分自編碼器

 【9】VAE變分自編碼器

變分自編碼器，與一般自編碼器相比，它壓縮的是概率，而不是特徵。

盡管如此簡單的改變，但是一般自編碼器只能回答當「我們如何歸納數據？」的問題時，變分自編碼器回答了「兩件事情之間的聯系有多強大？我們應該在兩件事情之間分配誤差還是它們完全獨立的？」的問題。

【10】Denoising AE (DAE) 降噪自動編碼器

 【10】DAE降噪自動編碼器

雖然自動編碼器很酷，但它們有時找不到最魯棒的特徵，而只是適應輸入數據（實際上是過擬合的一個例子）。

降噪自動編碼器（DAE）在輸入單元上增加了一些雜訊 - 通過隨機位來改變數據，隨機切換輸入中的位，等等。通過這樣做，一個強制降噪自動編碼器從一個有點嘈雜的輸入重構輸出，使其更加通用，強制選擇更常見的特徵。

【11】Sparse AE (SAE) 稀疏自編碼器

【11】SAE稀疏自編碼器 

稀疏自編碼器（SAE）是另外一個有時候可以抽離出數據中一些隱藏分組樣試的自動編碼的形式。結構和AE是一樣的，但隱藏單元的數量大於輸入或輸出單元的數量。

【12】Markov Chain (MC) 馬爾科夫鏈

 【12】Markov Chain (MC) 馬爾科夫鏈

馬爾可夫鏈（Markov Chain, MC）是一個比較老的圖表概念了，它的每一個端點都存在一種可能性。過去，我們用它來搭建像「在單詞hello之後有0.0053％的概率會出現dear，有0.03551%的概率出現you」這樣的文本結構。

這些馬爾科夫鏈並不是典型的神經網路，它可以被用作基於概率的分類（像貝葉斯過濾），用於聚類（對某些類別而言），也被用作有限狀態機。

【13】Hopfield Network (HN) 霍普菲爾網路

【13】HN霍普菲爾網路 

霍普菲爾網路（HN）對一套有限的樣本進行訓練，所以它們用相同的樣本對已知樣本作出反應。

在訓練前，每一個樣本都作為輸入樣本，在訓練之中作為隱藏樣本，使用過之後被用作輸出樣本。

在HN試著重構受訓樣本的時候，他們可以用於給輸入值降噪和修復輸入。如果給出一半圖片或數列用來學習，它們可以反饋全部樣本。

【14】Boltzmann Machine (BM) 波爾滋曼機

【14】 BM 波爾滋曼機 

波爾滋曼機（BM）和HN非常相像，有些單元被標記為輸入同時也是隱藏單元。在隱藏單元更新其狀態時，輸入單元就變成了輸出單元。（在訓練時，BM和HN一個一個的更新單元，而非並行）。

這是第一個成功保留模擬退火方法的網路拓撲。

多層疊的波爾滋曼機可以用於所謂的深度信念網路，深度信念網路可以用作特徵檢測和抽取。

【15】Restricted BM (RBM) 限制型波爾滋曼機

【15】 RBM 限制型波爾滋曼機 

在結構上，限制型波爾滋曼機（RBM）和BM很相似，但由於受限RBM被允許像FF一樣用反向傳播來訓練（唯一的不同的是在反向傳播經過數據之前RBM會經過一次輸入層）。

【16】Deep Belief Network (DBN) 深度信念網路

【16】DBN 深度信念網路 

像之前提到的那樣，深度信念網路（DBN）實際上是許多波爾滋曼機（被VAE包圍）。他們能被連在一起（在一個神經網路訓練另一個的時候），並且可以用已經學習過的樣式來生成數據。

【17】Deep Convolutional Network (DCN) 深度卷積網路

【17】 DCN 深度卷積網路

當今，深度卷積網路（DCN）是人工神經網路之星。它具有卷積單元（或者池化層）和內核，每一種都用以不同目的。

卷積核事實上用來處理輸入的數據，池化層是用來簡化它們（大多數情況是用非線性方程，比如max），來減少不必要的特徵。

他們通常被用來做圖像識別，它們在圖片的一小部分上運行（大約20x20像素）。輸入窗口一個像素一個像素的沿著圖像滑動。然後數據流向卷積層，卷積層形成一個漏斗（壓縮被識別的特徵）。從圖像識別來講，第一層識別梯度，第二層識別線，第三層識別形狀，以此類推，直到特定的物體那一級。DFF通常被接在卷積層的末端方便未來的數據處理。

【18】Deconvolutional Network (DN) 去卷積網路

 【18】 DN 去卷積網路

去卷積網路（DN）是將DCN顛倒過來。DN能在獲取貓的圖片之後生成像（狗：0，蜥蜴：0，馬：0，貓：1）一樣的向量。DNC能在得到這個向量之後，能畫出一隻貓。

【19】Deep Convolutional Inverse Graphics Network (DCIGN) 深度卷積反轉圖像網路

【19】 DCIGN 深度卷積反轉圖像網路

深度卷積反轉圖像網路（DCIGN），長得像DCN和DN粘在一起，但也不完全是這樣。

事實上，它是一個自動編碼器，DCN和DN並不是作為兩個分開的網路，而是承載網路輸入和輸出的間隔區。大多數這種神經網路可以被用作圖像處理，並且可以處理他們以前沒有被訓練過的圖像。由於其抽象化的水平很高，這些網路可以用於將某個事物從一張圖片中移除，重畫，或者像大名鼎鼎的CycleGAN一樣將一匹馬換成一個斑馬。

【20】Generative Adversarial Network (GAN) 生成對抗網路

 【20】 GAN 生成對抗網路

生成對抗網路（GAN）代表了有生成器和分辨器組成的雙網路大家族。它們一直在相互傷害——生成器試著生成一些數據，而分辨器接收樣本數據後試著分辨出哪些是樣本，哪些是生成的。只要你能夠保持兩種神經網路訓練之間的平衡，在不斷的進化中，這種神經網路可以生成實際圖像。

【21】Liquid State Machine (LSM) 液體狀態機

 【21】 LSM 液體狀態機

液體狀態機（LSM）是一種稀疏的，激活函數被閾值代替了的（並不是全部相連的）神經網路。只有達到閾值的時候，單元格從連續的樣本和釋放出來的輸出中積累價值信息，並再次將內部的副本設為零。

這種想法來自於人腦，這些神經網路被廣泛的應用於計算機視覺，語音識別系統，但目前還沒有重大突破。

【22】Extreme  Learning Machine (ELM) 極端學習機

【22】ELM 極端學習機 

極端學習機（ELM）是通過產生稀疏的隨機連接的隱藏層來減少FF網路背後的復雜性。它們需要用到更少計算機的能量，實際的效率很大程度上取決於任務和數據。

【23】Echo State Network (ESN) 回聲狀態網路

【23】 ESN 回聲狀態網路

回聲狀態網路（ESN）是重復網路的細分種類。數據會經過輸入端，如果被監測到進行了多次迭代（請允許重復網路的特徵亂入一下），只有在隱藏層之間的權重會在此之後更新。

據我所知，除了多個理論基準之外，我不知道這種類型的有什麼實際應用。。。。。。。

【24】Deep Resial Network (DRN) 深度殘差網路

​【24】 DRN 深度殘差網路 

深度殘差網路（DRN）是有些輸入值的部分會傳遞到下一層。這一特點可以讓它可以做到很深的層級（達到300層），但事實上它們是一種沒有明確延時的RNN。

【25】Kohonen Network (KN) Kohonen神經網路

​ 【25】 Kohonen神經網路

Kohonen神經網路（KN）引入了「單元格距離」的特徵。大多數情況下用於分類，這種網路試著調整它們的單元格使其對某種特定的輸入作出最可能的反應。當一些單元格更新了， 離他們最近的單元格也會更新。

像SVM一樣，這些網路總被認為不是「真正」的神經網路。

【26】Support Vector Machine (SVM)

​【26】 SVM 支持向量機 

支持向量機（SVM）用於二元分類工作，無論這個網路處理多少維度或輸入，結果都會是「是」或「否」。

SVM不是所有情況下都被叫做神經網路。

【27】Neural Turing Machine (NTM) 神經圖靈機

​【27】NTM 神經圖靈機 

神經網路像是黑箱——我們可以訓練它們，得到結果，增強它們，但實際的決定路徑大多數我們都是不可見的。

神經圖靈機（NTM）就是在嘗試解決這個問題——它是一個提取出記憶單元之後的FF。一些作者也說它是一個抽象版的LSTM。

記憶是被內容編址的，這個網路可以基於現狀讀取記憶，編寫記憶，也代表了圖靈完備神經網路。