DenseNet
发布时间：2020-11-23 栏目：人工智能, 深度学习 评论：0 Comments
DenseNet模型，它的基本思路与ResNet一致，但是它建立的是前面所有层与后面层的密集连接（dense connection），它的名称也是由此而来。DenseNet的另一大特色是通过特征在channel上的连接来实现特征重用（feature reuse）。这些特点让DenseNet在参数和计算成本更少的情形下实现比ResNet更优的性能，DenseNet也因此斩获CVPR 2017的最佳论文奖。
DenseNet的网络结构主要由DenseBlock和Transition组成，如下图所示：
在DenseBlock中，各个层的特征图大小一致，可以在channel维度上连接。DenseBlock中的非线性组合函数 采用的是BN+ReLU+3×3 Conv的结构，如图所示。另外值得注意的一点是，与ResNet不同，所有DenseBlock中各个层卷积之后均输出
个特征图，即得到的特征图的channel数为
，或者说采用
个卷积核。
在DenseNet称为growth rate，这是一个超参数。一般情况下使用较小的
（比如12），就可以得到较佳的性能。假定输入层的特征图的channel数为
，那么
层输入的channel数为
，因此随着层数增加，尽管
设定得较小，DenseBlock的输入会非常多，不过这是由于特征重用所造成的，每个层仅有
个特征是自己独有的。
对于Transition层，它主要是连接两个相邻的DenseBlock，并且降低特征图大小。Transition层包括一个1×1的卷积和2×2的AvgPooling，结构为BN+ReLU+1×1 Conv+2×2 AvgPooling。另外，Transition层可以起到压缩模型的作用。假定Transition的上接DenseBlock得到的特征图channels数为 ，Transition层可以产生
个特征（通过卷积层），其中
是压缩系数（compression rate）。当
时，特征个数经过Transition层没有变化，即无压缩，而当压缩系数小于1时，这种结构称为DenseNet-C，文中使用
。对于使用bottleneck层的DenseBlock结构和压缩系数小于1的Transition组合结构称为DenseNet-BC。
