Mar, 2024

DenseNets 重装上阵:超越 ResNets 和 ViTs 的范式转变

TL;DR在这篇论文中,我们研究了密集连接卷积网络(DenseNets)的效果,并发现其在流行的 ResNet 风格架构中被低估。我们通过串联密集连接的方式展示了 DenseNets 的优势,并且进行了架构调整、块重设计和改进训练方法以提高 DenseNets 的性能和内存效率。我们的模型不仅超越了 Swin Transformer、ConvNeXt 和 DeiT-III 等关键架构,还在 ImageNet-1K 等领域展现了接近最新模型的性能,包括 ADE20k 语义分割和 COCO 目标检测 / 实例分割任务。最后,我们提供了以经验为基础的分析结果,揭示了串联连接胜过加法连接的优点,从而引导人们重新偏好 DenseNet 风格的设计。