CVPRMar, 2022

DyRep：动态重新参数化的引导式培训

PDF
TL;DR本文提出了动态重参数化方法，通过优化计算效率、提升表征能力，采用 mini-batch 实现动态演化神经网络，并将其应用于 ResNet-18 模型上，结果表明：在 ImageNet 数据集上，相比基线模型，精度提升了 2.04％，运行时长降低了 22％。
structural re-parameterizationdynamic re-parameterizationneural networkrepresentational capacitycomputation efficiency
发现论文，激发创造
  • 基于方向进化策略的易部署网络高效参数搜索

    本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略，通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。

    Apr, 2022

  • RepQ：通用量化感知训练重新参数化架构

    现有的神经网络在资源受限环境中部署困难，本文通过提出一种称为 RepQ 的新方法，将量化应用于重新参数化的网络，以提高神经网络的效率和模型性能。

    Nov, 2023

  • 动态稀疏重参数化实现深度卷积神经网络的参数高效训练

    介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

    Feb, 2019

  • ResRep: 通过解耦记忆和遗忘实现无损 CNN 剪枝

    本研究提出了 ResRep 方法，该方法可通过重要参数的记忆和抛弃来实现有结构的稀疏，并且可以在不损失精度的情况下压缩 ResNet-50 模型，实现了高压缩率下的无损剪枝。

    Jul, 2020

  • 重参数化优化器而非架构

    本研究通过梯度重新参数化的方法设计了 RepOptimizers 优化器，将模型特定的先验知识融入最优化器中。在 VGG 风格的平面模型上的实验表明，使用 RepOptimizers 的简单模型性能不逊于复杂的设计模型，并且具有更快的推理速度和训练效率。

    May, 2022

  • SepRep-Net: 多源免费领域适应，通过模型分离和参数重构

    通过模型分离和参数化，我们提出了一种名为 SepRep-Net 的新框架，用于解决多源自由域自适应问题，在保持计算成本较低的同时，在目标领域上获得竞争性性能，同时保留比现有解决方案更多的源知识。

    Feb, 2024

  • RepSR: 使用结构重参数化和批量归一化训练高效 VGG 风格的超分辨网络

    本文提出了基于结构重参数化技术训练高效的 VGG-style 超分辨率网络，并探讨了针对超分辨率网络的 BN 问题的解决方法以及设计了新的 RePSR 块，实验证明该方法可以在不同的模型大小下达到更高的性能和更好的性能和实际运行时间平衡。

    May, 2022

  • 在线卷积重参数化

    本文提出了在线卷积重参数化（OREPA）方法来减少庞大的训练时间的成本，并探讨了一些更有效的重参数化组件，相较于现有的重参数化模型能够节省约 70％的训练时间内存成本，加速训练速度约 2 倍，并在 ImageNet 上优于以前的方法高达 + 0.6％，在物体检测和语义分割上也取得了一致的改善。

    Apr, 2022

  • RepNAS：寻找高效的重新参数化模块

    本文提出一种新的搜索空间并使用 RepNAS 方法在分支数量约束下为每个层搜索最佳的多元分支块 (ODBB) 以实现高性能网络的搜索。实验结果表明，搜索到的 ODBB 可以轻松超越人工设计的多样分支块 (DBB)，并具有有效的训练。

    Sep, 2021

  • PaReprop: 快速并行可逆反向传播

    本研究提出了 PaReprop 算法，该算法能够在反向传播阶段中将激活重新计算的额外计算开销与梯度计算本身并行化，实现记忆高效训练，并比普通可逆训练达到高达 20% 的更高训练吞吐量。

    Jun, 2023