本文系统研究了模型的缩放并提出了一种基于网络深度、宽度和分辨率的平衡方法，进而使用神经架构搜索设计了一种新的基线网络并扩展成一系列模型，称为 EfficientNets，这些 EfficientNets 在多项测试中取得了更好的准确性和效率，包括在 ImageNet 数据集上达到了 84.3% 的 top-1 准确率，在成为当前最佳的 ConvNet 的推理速度比其快 6.1 倍、参数更少的情况下，这是一个领先的结果。

May, 2019

基于第二阶损失景观信息的自动缩放方法，以灵活适应视觉变换器中的跳跃连接；在 DeiT-S 与 ImageNet100 上广泛评估，相较于传统缩放，准确率提高 2.5%，参数效率提高 10%；缩放网络在从头训练小规模数据集时表现出卓越性能，是视觉变换器的首个完整缩放机制，实现高效模型缩放的一步。

Feb, 2024

本研究针对神经网络的硬件实现，提出了一种基于坐标下降的优化策略，通过对神经网络幅度统计及权重更新规则的优化，有效提高神经网络的收敛速度和效率。

May, 2023

本文探讨卷积神经网络的扩展策略，指对基础卷积网络进行扩展以赋予其更高的表征能力。作者提出一种快速且简单的复合扩展策略，旨在主要扩展模型的宽度，而稍微扩展其深度和分辨率。实验结果表明，许多扩展策略可以产生类似的精度，但其性能却各异。该研究为在各种计算约束下分析和选择缩放策略提供了框架。

Mar, 2021

本文介绍了一种新的超网络策略可以用来快速生成卷积神经网络，从而用于处理图像分割任务，在尽可能地保证准确性的前提下提高计算效率，并成功展现了各种域的价值。

Apr, 2023

本文提出了一种数据驱动的神经元分配方法，以自适应地在深度神经网络的不同构建块中汇总多尺度信息。通过使用基于堆栈的采样、卷积和上采样操作生成每个尺度的特征映射，探索神经元分配方法，对计算复杂度进行了大规模的实验测试，并成功地应用于图像分类和目标检测任务，在与 ResNet 和其变体的对比中， ScaleNet 能够获得更好的性能。

Apr, 2019

本文重新研究了经典的 ResNet 模型，并重点讨论了模型架构、训练方法和扩展策略对模型性能的影响。作者发现，训练方法和扩展策略可能比模型架构的变化更重要，同时作者提出了两种新的扩展策略，并设计了一系列 ResNet 架构。实验结果表明，这些简单修改的 ResNet 模型比 EfficientNet 更快，且在 ImageNet 上达到了类似的准确性，同时在半监督学习和下游任务转移学习上也有显著提升。

Mar, 2021

通过使用高质量的数据剪枝度量来破解神经网络权重学习数据集大小的幂律估计，可以实现更好的误差缩放。本文进行了实证研究，并测试了十种不同的数据剪枝度量，发现现有的大多数度量在 ImageNet 上表现不佳。作者因此开发了一种新的自监督剪枝度量，具有与最佳监督度量相当的性能。研究表明，发现好的数据剪枝度量可能是深度学习资源消耗大幅降低的一个可行途径。

Jun, 2022

本文提出了一种简单有效的框架来对深度模型进行端到端的剪枝，方法是先引入一个称为 “缩放因子” 的新参数来缩放特定结构的输出，然后对这些因子加入稀疏正则化，并通过修改的随机加速远端梯度（APG）方法解决这个优化问题。将某些因子强制为零，可以安全地移除对应的结构，从而削减 CNN 的不重要部分，该方法相较于其他需要数千次试验或迭代微调的结构选择方法具有更好的性能。

Jul, 2017

研究使用卷积神经网络 (CNN) 分析心电图 (ECG) 的缩放方法，重点研究了残差神经网络 (ResNet)。通过调整网络的关键参数，如层的深度、通道的数量和卷积核大小，发现较浅的网络、更多的通道和较小的卷积核尺寸对于 ECG 分类等任务具有更好的性能，能够在较少的计算资源或时间下获得更高效准确的模型。

Aug, 2023