Oct, 2023

RefConv：具有强大 ConvNets 的重新参数化对焦卷积

PDF
TL;DR通过在预训练模型中应用可训练的 Refocusing Transformation 以建立参数之间的联系，并且以此来增强预训练模型的表征能力，RefConv 可以在图像分类、目标检测和语义分割等任务中改进多个基于 CNN 的模型而不引入额外的推理成本或更改原始模型结构。
re-parameterized refocusing convolutionrefconvpre-trained modelparametersrepresentational capacity
发现论文，激发创造
  • 通过解释学习鲁棒的卷积神经网络与相关特征聚焦

    本文提出了一种称为 ReFF 的方法，通过解释输出来探测与任务相关的特征并规范卷积神经网络，以应对训练和测试数据集分布不同的情况，并在测试数据上提高了准确度。

    Feb, 2022

  • 卷积神经网络的感受野细化可靠地提高了预测性能

    本研究提出了一种分析卷积神经网络接受野扩展的新方法，可以在训练之前预测无效图层，并优化给定架构的参数效率，证明该方法不仅可自动化进行，而且在包括 VGGNets、MobileNetV1、MobileNetV3、NASNet A（mobile）、MnasNet、EfficientNet 和 ConvNeXt 等多个常见架构中可以削减参数，在 ImageNet1K 的数据集上，所有上述模型的表现效果都有了新的最好结果。

    Nov, 2022

  • CondConv: 有条件的卷积神经网络以提高推理效率

    本研究介绍了有条件参数卷积（CondConv）的概念，通过为每个示例学习专用的卷积核，增加了神经网络的规模和容量，同时保持了有效推理，并在图像分类任务上展示了其在现有基于卷积神经网络的体系结构上的性能和推理成本的平衡。

    Apr, 2019

  • 动态区域感知卷积

    提出了一种名为 DRConv 的动态区域感知卷积，它可以自动将多个过滤器分配给具有相似表示的相应空间区域，以更有效处理复杂和不同的空间信息分布，从而代替任何现有网络中的标准卷积，尤其适用于高效网络中的动力卷积层。在 ImageNet 分类中，DRConv-based ShuffleNetV2-0.5x 在 46M 乘积添加水平下实现了 67.1% 的最新性能，相对改进了 6.3%。

    Mar, 2020

  • 无需重新训练的鱼眼相机卷积神经网络适应

    通过提出 Rectified Convolutions (RectConv) 方法，不需要任何重新训练即可将预训练卷积网络适应于新的非透视图像，从而实现对两个公开数据集中的鱼眼图像进行分割和检测。

    Apr, 2024

  • RepMLP: 将卷积重新参数化为全连接层，用于图像识别

    通过在全连接层中加入留先验，我们提出了 RepMLP 这个用于图像识别的神经网络模块。我们将卷积层嵌入 RepMLP 中，从而结合了全局表征能力和位置感知能力，并通过在 CNN 中插入 RepMLP 进一步提高了准确性。

    May, 2021

  • 基于方向进化策略的易部署网络高效参数搜索

    本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略，通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。

    Apr, 2022

  • 利用聚焦卷积消除无关像素提高预训练 CNN 推理延迟和能效的自动化方法

    通过插入一个阈值层来过滤图片中的无关区域，从而使预训练的深度卷积神经网络更加节能、减少计算需求，并在准确率几乎不下降的情况下节省推断延迟和能源消耗。

    Oct, 2023

  • Involution：卷积内在性的翻转用于视觉识别

    本文提出一种新的深度神经网络操作 Atomic Involution，其将传统卷积的空间不可知和通道特异性原则进行了倒置，可作为构建新一代神经网络的基础砖块并提高了卷积基线的性能。

    Mar, 2021

  • 重新思考学习：通过反馈循环改进卷积神经网络

    该研究提出了一种利用反馈机制的学习算法，通过添加反馈层和生成强调向量，不断提升卷积神经网络的性能，特别适用于任何预先训练的模型，并在四个对象分类基准数据集上进行了测试，结果表明利用该算法训练 CNN 模型的优势。

    Aug, 2017