A. 常見的深度學習演算法主要有哪些
深度學習常見的3種演算法有:卷積神經網路、循環神經網路、生成對抗網路。
卷積神經網路(Convolutional Neural Networks, CNN)是一類包含卷積計算且具有深度結構的前饋神經網路(Feedforward Neural Networks),是深度學習的代表演算法之一。
循環神經網路(Recurrent Neural Network, RNN)是一類以序列數據為輸入,在序列的演進方向進行遞歸且所有節點(循環單元)按鏈式連接的遞歸神經網路。
生成對抗網路(GAN, Generative Adversarial Networks )是一種深度學習模型,是最近兩年十分熱門的一種無監督學習演算法。
B. 有哪些深度神經網路模型
卷積神經元(Convolutional cells)和前饋神經元非常相似,除了它們只跟前一神經細胞層的部分神經元有連接。因為它們不是和某些神經元隨機連接的,而是與特定范圍內的神經元相連接,通常用來保存空間信息。這讓它們對於那些擁有大量局部信息,比如圖像數據、語音數據(但多數情況下是圖像數據),會非常實用。
解卷積神經元恰好相反:它們是通過跟下一神經細胞層的連接來解碼空間信息。這兩種神經元都有很多副本,它們都是獨立訓練的;每個副本都有自己的權重,但連接方式卻完全相同。可以認為,這些副本是被放在了具備相同結構的不同的神經網路中。這兩種神經元本質上都是一般意義上的神經元,但是,它們的使用方式卻不同。
池化神經元和插值神經元(Pooling and interpolating cells)經常和卷積神經元結合起來使用。它們不是真正意義上的神經元,只能進行一些簡單的操作。
池化神經元接受到來自其它神經元的輸出過後,決定哪些值可以通過,哪些值不能通過。在圖像領域,可以理解成是把一個圖像縮小了(在查看圖片的時候,一般軟體都有一個放大、縮小的功能;這里的圖像縮小,就相當於軟體上的縮小圖像;也就是說我們能看到圖像的內容更加少了;在這個池化的過程當中,圖像的大小也會相應地減少)。這樣,你就再也不能看到所有的像素了,池化函數會知道什麼像素該保留,什麼像素該舍棄。
插值神經元恰好是相反的操作:它們獲取一些信息,然後映射出更多的信息。額外的信息都是按照某種方式製造出來的,這就好像在一張小解析度的圖片上面進行放大。插值神經元不僅僅是池化神經元的反向操作,而且,它們也是很常見,因為它們運行非常快,同時,實現起來也很簡單。池化神經元和插值神經元之間的關系,就像卷積神經元和解卷積神經元之間的關系。
均值神經元和標准方差神經元(Mean and standard deviation cells)(作為概率神經元它們總是成對地出現)是一類用來描述數據概率分布的神經元。均值就是所有值的平均值,而標准方差描述的是這些數據偏離(兩個方向)均值有多遠。比如:一個用於圖像處理的概率神經元可以包含一些信息,比如:在某個特定的像素裡面有多少紅色。舉個例來說,均值可能是0.5,同時標准方差是0.2。當要從這些概率神經元取樣的時候,你可以把這些值輸入到一個高斯隨機數生成器,這樣就會生成一些分布在0.4和0.6之間的值;值離0.5越遠,對應生成的概率也就越小。它們一般和前一神經元層或者下一神經元層是全連接,而且,它們沒有偏差(bias)。
循環神經元(Recurrent cells )不僅僅在神經細胞層之間有連接,而且在時間軸上也有相應的連接。每一個神經元內部都會保存它先前的值。它們跟一般的神經元一樣更新,但是,具有額外的權重:與當前神經元之前值之間的權重,還有大多數情況下,與同一神經細胞層各個神經元之間的權重。當前值和存儲的先前值之間權重的工作機制,與非永久性存儲器(比如RAM)的工作機制很相似,繼承了兩個性質:
第一,維持一個特定的狀態;
第二:如果不對其持續進行更新(輸入),這個狀態就會消失。
由於先前的值是通過激活函數得到的,而在每一次的更新時,都會把這個值和其它權重一起輸入到激活函數,因此,信息會不斷地流失。實際上,信息的保存率非常的低,以至於僅僅四次或者五次迭代更新過後,幾乎之前所有的信息都會流失掉。