本文通过严格的评估探索了不同的深度学习架构，比较它们在公共领域的性能，并识别和披露了重要的实现细节，同时指出了CNN基础表示的几个有用属性，包括输出层维度可以显著降低而不会对性能产生不利影响，以及深浅层方法可以成功共享的方面。

May, 2014

探讨改进全连接网络的性能的方法，提出了线性瓶颈层和非监督预训练方法的影响，探索它们如何通过提高梯度流和减少稀疏性来改进网络，展示全连接网络在置换不变的CIFAR-10任务上达到了约70%的分类准确率，添加变形数据后达到了78%的准确率，接近卷积网络的水平。

Nov, 2015

该论文介绍了一种称为DenseNet的神经网络架构，通过将每一层与其他每一层之间连接起来，可以解决传统卷积神经网络中权重消失和特征重用问题，在目标识别领域中表现优异。

Aug, 2016

本文探讨增加深度对神经网络性能提升的边际效益递减问题，提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。

Nov, 2016

该论文研究了在测试时具有计算资源限制的图像分类问题，并通过训练多个带有不同资源需求的分类器并将其作为早期退出引入单个深度卷积神经网络中以最大程度地重用计算，实现了在任意时间进行预测和分配不同的计算量来分类一组样本，框架显著改善了现有技术在两种情况下的表现。

Mar, 2017

比较了16种分类网络在12个图像分类数据集上的性能表现，发现在使用网络作为固定特征提取器或微调时，ImageNet准确度与转移学习准确度之间存在强烈的相关性，但是在微调时，ImageNet的泛化能力较弱，获得了更差的特征。

May, 2018

该研究提出 Dense Convolutional Network (DenseNet) 模型，使用每一层之前的所有特征图作为输入，解决了梯度消失的问题，促进了特征重用，并在目标识别领域的四个竞争性基准上显着提高了性能效率。

Jan, 2020

BoTNet是一种基于自注意力机制的视觉模型，可以应用于图像分类、目标检测和实例分割，通过在ResNet的最后三个bottleneck块中使用自注意力代替空间卷积，能够大幅提高实例分割和目标检测的性能，同时减少参数量和计算开销。BoTNet的设计表明ResNet bottleneck块中的自注意力可以视为Transformer块。在COCO Instance Segmentation基准测试中，BoTNet能够取得44.4%的Mask AP和49.7%的Box AP，超过了之前最佳单模型和单尺度结果ResNeSt，同时在ImageNet基准测试中，BoTNet的简单改进能够取得84.7%的top-1准确率，比EfficientNet在TPU-v3上计算速度快1.64倍。这一简单而有效的方法有望成为未来自注意力视觉模型研究的强有力基准。

Jan, 2021

本文研究了深度神经网络的特征表示瓶颈，从输入变量在 DNN 中编码的交互复杂性的角度进行探讨，发现 DNN 更可能编码过于简单和过于复杂的交互，并且通常无法学习中等复杂度的交互。该现象被称为特征表示瓶颈，本文从理论上证明了其根本原因，并提出了一种损失函数来促进或惩罚特定复杂度的交互的学习，并分析了不同复杂度交互的表示能力。

Nov, 2021

该研究旨在证明具有大深度和L2正则化的DNN在学习输入时会产生“瓶颈结构”（低维表示），并介绍了一种衡量网络内在维度和复杂性/不规则性之间平衡的方法。

May, 2023