vgg網路結構詳解

⑴ 深度學習架構包括

深度學習架構包括如下：

1、AlexNet

AlexNet是首個深度架構，它由深度學習先驅GeoffreyHinton及其同僚共同引入。AlexNet是一個簡單卻功能強大的網路架構，為深度學習的開創性研究鋪平了道路。分解後的AlexNet像是一個簡單的架構，卷積層和池化層層疊加，最上層是全連接層。

GAN是神經網路架構中完全不同的類別。GAN中，一種神經網路用於生成全新的、訓練集中未曾有過的圖像，但卻足夠真實。

⑵ 經典CNN網路結構-AlexNet、VGG、GoogleNet、ResNet）

AlexNet之所以能夠成功，跟這個模型設計的特點有關，主要有：
使用了非線性激活函數：ReLU
防止過擬合的方法：Dropout，數據擴充（Data augmentation）
其他：多GPU實現，LRN歸一化層的使用

GoogLeNet（從Inception v1到v4的演進）

2014年，GoogLeNet和VGG是當年ImageNet挑戰賽(ILSVRC14)的雙雄，GoogLeNet獲得了第一名、VGG獲得了第二名，這兩類模型結構的共同特點是層次更深了。

VGG 繼承了 LeNet 以及 AlexNet 的一些框架結構，而 GoogLeNet 則做了更加大膽的網路結構嘗試，雖然深度只有22層，但大小卻比 AlexNet 和 VGG 小很多。

GoogleNet參數為500萬個，AlexNet參數個數是GoogleNet的12倍，VGGNet參數又是AlexNet的3倍，因此在內存或計算資源有限時，GoogleNet是比較好的選擇；從模型結果來看，GoogLeNet的性能卻更加優越。

解決深度網路(過擬合, 參數過多, 梯度彌散)這些問題的方法當然就是在增加網路深度和寬度的同時減少參數，為了減少參數，自然就想到將全連接變成稀疏連接。但是在實現上，全連接變成稀疏連接後實際計算量並不會有質的提升，因為大部分硬體是針對密集矩陣計算優化的，稀疏矩陣雖然數據量少，但是計算所消耗的時間卻很難減少。那麼，有沒有一種方法既能保持網路結構的稀疏性，又能利用密集矩陣的高計算性能。大量的文獻表明可以將稀疏矩陣聚類為較為密集的子矩陣來提高計算性能, 如人類的大腦是可以看做是神經元的重復堆積，因此，GoogLeNet團隊提出了Inception網路結構，就是構造一種「基礎神經元」結構，來搭建一個稀疏性、高計算性能的網路結構。

原始輸入圖像為224x224x3，且都進行了零均值化的預處理操作（圖像每個像素減去均值）。
輸入為224x224的RGB圖像，『#3x3 rece』和『#5x5 rece』表示3x3和5x5卷積之前1x1的卷積核的個數。
之所以卷積核大小採用1、3和5，主要是為了方便對齊。設定卷積步長stride=1之後，只要分別設定pad=0、1、2，那麼卷積之後便可以得到相同維度的特徵，然後這些特徵就可以直接拼接在一起了。