CVPRApr, 2022

在线卷积重参数化

PDF
TL;DR本文提出了在线卷积重参数化（OREPA）方法来减少庞大的训练时间的成本，并探讨了一些更有效的重参数化组件，相较于现有的重参数化模型能够节省约 70％的训练时间内存成本，加速训练速度约 2 倍，并在 ImageNet 上优于以前的方法高达 + 0.6％，在物体检测和语义分割上也取得了一致的改善。
structural re-parameterizationcomputer visiondeep modelstraining-time blockconvolutional re-parameterization
发现论文，激发创造
  • 基于方向进化策略的易部署网络高效参数搜索

    本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略，通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。

    Apr, 2022

  • RepNAS：寻找高效的重新参数化模块

    本文提出一种新的搜索空间并使用 RepNAS 方法在分支数量约束下为每个层搜索最佳的多元分支块 (ODBB) 以实现高性能网络的搜索。实验结果表明，搜索到的 ODBB 可以轻松超越人工设计的多样分支块 (DBB)，并具有有效的训练。

    Sep, 2021

  • RepSR: 使用结构重参数化和批量归一化训练高效 VGG 风格的超分辨网络

    本文提出了基于结构重参数化技术训练高效的 VGG-style 超分辨率网络，并探讨了针对超分辨率网络的 BN 问题的解决方法以及设计了新的 RePSR 块，实验证明该方法可以在不同的模型大小下达到更高的性能和更好的性能和实际运行时间平衡。

    May, 2022

  • DyRep：动态重新参数化的引导式培训

    本文提出了动态重参数化方法，通过优化计算效率、提升表征能力，采用 mini-batch 实现动态演化神经网络，并将其应用于 ResNet-18 模型上，结果表明：在 ImageNet 数据集上，相比基线模型，精度提升了 2.04％，运行时长降低了 22％。

    Mar, 2022

  • PaReprop: 快速并行可逆反向传播

    本研究提出了 PaReprop 算法，该算法能够在反向传播阶段中将激活重新计算的额外计算开销与梯度计算本身并行化，实现记忆高效训练，并比普通可逆训练达到高达 20% 的更高训练吞吐量。

    Jun, 2023

  • AutoReP：快速私有网络推理的自动 ReLU 替换

    使用梯度下降法的 AutoReP 方法在私有推理任务中减少非线性运算的数量，提高推理准确性，同时引入分布感知多项式逼近 DaPa 来保持模型的表达能力。实验结果表明 AutoReP 方法在各项指标上明显优于当前最先进的方法，同时在 ImageNet 数据集上以 176.1 倍的减少 ReLU 操作次数的代价达到了 75.55% 的准确率。

    Aug, 2023

  • OPE-SR：正交位置编码在任意尺度图像超分辨率中设计无参数上采样模块

    通过引入正交位置编码和使用线性组合操作，提高随机尺度图像超分辨率的表示能力，进一步提高计算效率和内存利用率。

    Mar, 2023

  • RepNeXt: 一种使用结构重参数化的快速多尺度卷积神经网络

    本研究展示了一种针对资源受限应用的视觉骨干模型 RepNeXt，它整合了多尺度特征表示，并通过串行和并行结构重参数化（SRP）来增强网络深度和宽度，从而在各种视觉基准上提供了低延迟和卓越性能。

    Jun, 2024

  • PETRA: 并行端到端训练与可逆架构

    我们介绍了一种用于并行计算深度模型训练的 PETRA 替代方法，它通过反向传播和单一参数版本的保持来解决权重存储的问题，并在 CIFAR-10、ImageNet32 和 ImageNet 上展示了其与后向传播相比具有竞争性的准确性。

    Jun, 2024

  • 动态稀疏重参数化实现深度卷积神经网络的参数高效训练

    介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

    Feb, 2019