當前層每壹個神經元和前壹層所有的神經元都連接。最後壹個神經元輸出的是壹個值。
對於CNN,如果前壹層輸出的是H W C的feature map,全連接層由N個維度為H W C的卷積核組成。輸出N個值。
CNN提取的是局部特征,全連接層的作用就是整合這些局部特征,將feature map整合成壹個值,提高位置不變性。
這裏用壹只小貓解釋為什麽需要全連接層,還蠻清楚的
參數量暴增,在網絡中全連接層的參數是最多的。
由於訓練過程中全連接層神經元尺寸確定,所以會限制輸入圖像的尺寸。
1 1卷積,顧名思義,卷積核的尺寸為1 1,通道數和輸入特征通道數相同,但是卷積核的個數可以改變,實現升維和降維。
卷積核的通道數和輸入特征通道數相同。
卷積核的個數決定輸出特征的通道數。
全連接層會打破特征原有的空間信息,將特征打平用於下壹步處理。
1*1卷積後,特征的分辨率沒有發生變化,但是通道數改變了。
-不改變特征圖尺寸,對輸入尺寸無限制。
-參數量大大減少。可以先降維再升維,在減少計算量的同時實現和其他卷積操作相同的功能。
將Feature map的每壹個通道內的像素值相加求平均,得到壹個數值,用該值表示對應的特征圖。
輸出結果直接送入softmax。
-減少參數量,代替全連接層。
-減少過擬合。
-直接賦予每壹個channel實際的類別意義。
參考1
參考2
NIN論文的總結
這個也還行