當前位置:菜譜大全網 - 孕婦食譜 - 全連接層,1*1卷積,GAP的關系

全連接層,1*1卷積,GAP的關系

當前層每壹個神經元和前壹層所有的神經元都連接。最後壹個神經元輸出的是壹個值。

對於CNN,如果前壹層輸出的是H W C的feature map,全連接層由N個維度為H W C的卷積核組成。輸出N個值。

CNN提取的是局部特征,全連接層的作用就是整合這些局部特征,將feature map整合成壹個值,提高位置不變性。

這裏用壹只小貓解釋為什麽需要全連接層,還蠻清楚的

參數量暴增,在網絡中全連接層的參數是最多的。

由於訓練過程中全連接層神經元尺寸確定,所以會限制輸入圖像的尺寸。

1 1卷積,顧名思義,卷積核的尺寸為1 1,通道數和輸入特征通道數相同,但是卷積核的個數可以改變,實現升維和降維。

卷積核的通道數和輸入特征通道數相同。

卷積核的個數決定輸出特征的通道數。

全連接層會打破特征原有的空間信息,將特征打平用於下壹步處理。

1*1卷積後,特征的分辨率沒有發生變化,但是通道數改變了。

-不改變特征圖尺寸,對輸入尺寸無限制。

-參數量大大減少。可以先降維再升維,在減少計算量的同時實現和其他卷積操作相同的功能。

將Feature map的每壹個通道內的像素值相加求平均,得到壹個數值,用該值表示對應的特征圖。

輸出結果直接送入softmax。

-減少參數量,代替全連接層。

-減少過擬合。

-直接賦予每壹個channel實際的類別意義。

參考1

參考2

NIN論文的總結

這個也還行