自由Man

CNN卷积的十大变革性改进方向

一、卷积只能在同一组进行吗?-- Group convolution

二、卷积核一定越大越好?-- 3×3卷积核

三、每层卷积只能用一种尺寸的卷积核?-- Inception结构

四、怎样才能减少卷积层参数量?-- Bottleneck

  • 256维的输入直接经过一个3×3×256的卷积层,输出一个256维的feature map,那么参数量为:256×3×3×256 = 589,824

  • 256维的输入先经过一个1×1×64的卷积层,再经过一个3×3×64的卷积层,最后经过一个3×3×256的卷积层,输出256维,参数量为:256×1×1×64 + 64×3×3×63 + 64×1×1×256 = 69,632。足足把第一种操作的参数量降低到九分之一!


五、越深的网络就越难训练吗?-- Resnet残差网络

六、卷积操作时所有通道都只能用同一个过滤器吗?-- DepthWise操作

  • 直接接一个3×3×256的卷积核,参数量为:3×3×3×256 = 6,912

  • DW操作,分两步完成,参数量为:3×3×3 + 3×1×1×256 = 795,又把参数量降低到九分之一!

七、分组卷积能否对通道进行随机分组?-- ShuffleNet

八、通道间的特征都是平等的吗? -- SEnet

九、能否让固定大小的卷积核看到更大范围的区域?-- Dilated convolution

十、卷积核形状一定是矩形吗?-- Deformable convolution 可变形卷积核

摘录自简书:https://www.jianshu.com/p/71804c97123d

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

Powered By Z-BlogPHP 1.5.2 Zero Theme By 爱墙纸

Copyright ZiYouMan.cn. All Rights Reserved. 蜀ICP备15004526号