【论文笔记 2】CNN经典入门STRIVING FOR SIMPLICITY: THE ALL CONVOLUTIONAL NET
1. 综述
对现代的CNN网络结构进行了简要说明，一般的网络都是由卷积，池化，全连三部分组成，主要任务为
- 探究最大池化的作用，并尝试用（increaed stride）卷积代替
- 设计一整套只使用卷积的网络
- 通过deconvolution来进行可视化操作
近期的网络优化策略：
- a plethora of extensions 使用更复杂的激活函数，正则化手法，预处理
- different architectural choices 多卷积，heterogeneous（异构）modules
2.模型简介 ACN
跟传统的CNN有不同：
- 出除池化层，用步长为2的卷积代替
- 出除全连层用1X1卷积来代替
利用卷积方程和池化方程来阐述卷积的作用
其中池化为什么被使用有三个原因：
- P-Norm使得网络有一定不变性，理解为平移，缩放不变性
- 使得能够更加清楚的看到一些大的特征
- 参数减少，好优化
其中最重要的是第二条，通过以下方法来替代pooling
- 直接出除池化层，然后增加卷积步长
- 用步长2，channel =3 的卷积来替换
3.实验
很细节的东西
4.反卷积
- 利用zelier反卷积的思想，但是因为这个网络没有池化层，所以更加的高效
- 反卷积从高层的feature map 出发invert the data flow 从被激活的神经元到下层图像
- 不用使用switch标记location
提出一种guided backpropagation
