- 通过模型压缩提高推理性能，不增加计算时间
使用不同的 Model Soups 并从中选出 Pruned Soup，比较了不同模型的表现，然后讨论了实验中发现的 weight-averaging 的局限性。
- 通过激活树突连接改善神经网络性能
本研究介绍了一种基于预激活和多个偏差的新型计算单元 DAC，用于减轻神经网络中多个单元共享输入偏差的问题，并在 ResNet 架构中测试 DAC 卷积，取得了最高 1.73% 的性能提升。
- 使用卷积神经网络进行物联网入侵检测
本文提出了一种使用卷积神经网络（CNNs）解决物联网设备入侵攻击的新方法，将传感器数据编码为卷积操作，以便 CNNs 检测攻击，并在 ResNet 和 EfficientNet 上进行评估，并与 LSTM 基线比较，结果表明该方法可以显著提 - ICML对抗鲁棒性与架构组件的相互作用：补丁、卷积和注意力
该研究比较了多种不同架构的分类器，通过对其对抗训练的表现及可解释性下降等性质进行研究，揭示了 ResNet 与 ConvNeXt 等构架变化与模型对抗鲁棒性之间的关系。
- 使用知识蒸馏和定点量化进行原地动物行为分类
使用知识蒸馏技术，从加速度计数据中学习动物行为的紧凑而准确的模型，并利用门控循环单元（GRU）和多层感知器（MLP）作为学生模型，有效地降低了推理的计算和存储要求。进一步使用动态定点量化（DQ）技术在现场对动物行为进行分类，验证了该方法在提 - 巴西法律文件的序列感知多模态页面分类
本研究探讨了巴西最高法院文件的多模式分类，采用 ResNet 与多核卷积神经网络提取视觉和文本特征以及 biLSTM 网络建模页面的序列性，发现多模式分类优于单一模式分类。
- CVPR语义分割的简单高效结构
通过使用类 ResNet 的主干和小型多尺度头部的简单编码器 - 解码器架构，扩大有效接受域， 实现了与 HRNet 等复杂语义分割架构相当甚至更好的性能，提供了简单有效的基准模型供从业者开发高效的语义分割模型。
- 现实中的深度学习可能不容易适应
研究表明温和过拟合现象对过度参数深度学习模型的成功提供了深刻见解。本文探讨了现实世界中的温和过拟合现象，并发现对于在 ImageNet 数据集上训练 ResNet 模型等任务，模型不会温和拟合。在这个较轻的过参数化设置下，我们的分析确定了一 - ICLR无捷径的深度学习：定制整流器塑造核心
本研究提出了一种新的变换，完全兼容 ReLUs 的变种 ——Leaky ReLUs，并证明我们的方法可以实现与 ResNets 相当的准确性。
- 自我监督学习中摆脱手工制作的架构：一个网络并不能统治所有
大规模研究表明，在自监督学习中，网络架构起着重要的作用，因此作者提议在 SSL 环境中学习网络的权重和体系结构，从而提高性能并超越手工设计的体系结构。
- Tensor Programs V: 通过零样本超参数迁移调整大型神经网络
研究了利用最大更新参数化（muP）在模型大小变化时保持多种最优超参数稳定的 HP 调整方法 muTransfer，在 Transformer 和 ResNet 上进行了验证，并且可以实现零调整迁移，这可以将来自小模型的超参数零次传输到完整模 - RMNet: 等效地从网络中移除残差连接
本文提出一种去除残差连接的新方法（RM 操作），可以使深层神经网络更加高效。我们将这种方法应用于 ResNet 中，可以消除残差连接而不影响原始输出。RM 操作的实现使其自然而然地适合高比率网络剪枝；它可以打破 RepVGG 的深度限制；同 - ICCV深度卷积网络中混淆对泛化的影响
本文研究了深度卷积网络中混叠对泛化性能的影响，并表明数据增强方案由于所使用的结构存在结构性限制而无法防止其影响。通过从频率分析理论中获得了启发，我们对 ResNet 和 EfficientNet 架构进行了更深入的研究，评估了它们各自主要组 - 使用不可分解目标训练超参数模型
本文提出一种新的代价敏感损失函数，以解决标签代价权重重新加权训练在过度参数化模型中可能导致的问题，并进行了 ResNet 模型的实验验证。
- ICMLRRL：ResNet 用于强化学习的表示
我们提出了 RRL（使用 Resnet 作为 Reinforcement Learning 的表示）作为一种简单而有效的方法，可以直接从固有输入中学习复杂的行为，其在高维领域中的学习性能和样本效率甚至可以与直接从状态中学习相匹配，尤其在模拟 - EPSANet：卷积神经网络上有效的金字塔压缩注意力块
本论文提出了一种轻量且高效的注意力方法，称为金字塔挤压注意力模块（PSA），并用其替换 ResNet 的瓶颈块中的 3x3 卷积，从而形成了一种高效的金字塔挤压注意力（EPSA）块，可轻松插入任何基础网络中用于计算机视觉任务，如图像分类、目 - CVPRPareto-Optimal Quantized ResNet 可优化量化为主要 4 位
研究表明，使用 4 位和 8 位模型量化的 bfloat16 ResNet 模型计算成本和准确性的权衡曲线优于 bfloat16 模型，其中以 4 位模型量化为主的模型具有最佳 Pareto 曲线，并且基于量化感知训练的 4 位 ResNe - CVPR重新思考和提高图像风格转移的鲁棒性
研究表明，通过预训练的 VGG 网络提取的特征之间的相关性能够很好的捕捉图像的视觉风格；然而，这种特征传递的鲁棒性在应用于更先进的轻量级网络（如 ResNet）中有所下降。本文通过大量实验发现，残差连接对于 ResNet 来说，生成的特征熵 - 重新审视 ResNets：改进的训练和扩展策略
本文重新研究了经典的 ResNet 模型，并重点讨论了模型架构、训练方法和扩展策略对模型性能的影响。作者发现，训练方法和扩展策略可能比模型架构的变化更重要，同时作者提出了两种新的扩展策略，并设计了一系列 ResNet 架构。实验结果表明，这 - ICLR贝叶斯神经网络先验再审视
本研究研究使用随机梯度下降算法训练的神经网络的权重统计数据，发现卷积神经网络和 ResNet 的权重显示出强烈的空间相关性，而全连接网络则显示出重尾的权重分布，根据这些观察得出更好的先验可以提高对各种图像分类数据集的性能。