Apr, 2022

基于方向进化策略的易部署网络高效参数搜索

PDF
TL;DR本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略，通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。
structural re-parameterizationconvolutional networkarchitecture searchneural architecture searchimage classification
发现论文，激发创造
  • RepNAS：寻找高效的重新参数化模块

    本文提出一种新的搜索空间并使用 RepNAS 方法在分支数量约束下为每个层搜索最佳的多元分支块 (ODBB) 以实现高性能网络的搜索。实验结果表明，搜索到的 ODBB 可以轻松超越人工设计的多样分支块 (DBB)，并具有有效的训练。

    Sep, 2021

  • DyRep：动态重新参数化的引导式培训

    本文提出了动态重参数化方法，通过优化计算效率、提升表征能力，采用 mini-batch 实现动态演化神经网络，并将其应用于 ResNet-18 模型上，结果表明：在 ImageNet 数据集上，相比基线模型，精度提升了 2.04％，运行时长降低了 22％。

    Mar, 2022

  • RepSR: 使用结构重参数化和批量归一化训练高效 VGG 风格的超分辨网络

    本文提出了基于结构重参数化技术训练高效的 VGG-style 超分辨率网络，并探讨了针对超分辨率网络的 BN 问题的解决方法以及设计了新的 RePSR 块，实验证明该方法可以在不同的模型大小下达到更高的性能和更好的性能和实际运行时间平衡。

    May, 2022

  • 通过网络转换实现高效架构搜索

    本文提出了一种基于深度神经网络的自动化设计架构的新框架，该框架使用强化学习代理作为元控制器，通过功能保持变换在当前网络的基础上，尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明，该方法在受限的计算资源下可以设计出具有高竞争力的网络，并在不使用跨层连接的条件下实现了 4.23％的测试误差率。

    Jul, 2017

  • 在线卷积重参数化

    本文提出了在线卷积重参数化（OREPA）方法来减少庞大的训练时间的成本，并探讨了一些更有效的重参数化组件，相较于现有的重参数化模型能够节省约 70％的训练时间内存成本，加速训练速度约 2 倍，并在 ImageNet 上优于以前的方法高达 + 0.6％，在物体检测和语义分割上也取得了一致的改善。

    Apr, 2022

  • RepQ：通用量化感知训练重新参数化架构

    现有的神经网络在资源受限环境中部署困难，本文通过提出一种称为 RepQ 的新方法，将量化应用于重新参数化的网络，以提高神经网络的效率和模型性能。

    Nov, 2023

  • 空间梯度缩放重参数化

    本论文提出了一种新颖的空间梯度缩放方法，该方法根据特征映射的空间特征测量互信息，动态学习每个卷积层的缩放，并证明了空间梯度缩放实现了与分支再参数化相同的学习动态，同时不引入网络结构变化。实验结果表明，我们提出的缩放方法在不搜索再参数化结构的情况下，以较低的计算成本优于最先进的再参数化策略。

    Mar, 2023

  • 重参数化优化器而非架构

    本研究通过梯度重新参数化的方法设计了 RepOptimizers 优化器，将模型特定的先验知识融入最优化器中。在 VGG 风格的平面模型上的实验表明，使用 RepOptimizers 的简单模型性能不逊于复杂的设计模型，并且具有更快的推理速度和训练效率。

    May, 2022

  • 基于路径级网络转换的高效架构搜索

    本文提出了一种新的神经网络结构搜索方法，使用网络转换函数实现路径级别的结构修改，通过强化学习实现搜索过程，实验表明，该方法可以提高参数效率和测试结果。

    Jun, 2018

  • 通过参数映射和架构搜索实现快速的神经网络适应

    本文提出了基于参数重映射技术的 Fast Neural Network Adaptation (FNA) 方法，该方法可以将已有的高性能网络结构调整为不同的深度、宽度或内核大小，进而实现更高效的神经架构搜索，该方法在 MobileNetV2 的实验中，通过对现有网络进行 FNA 调整，既可用于目标分割任务又可用于目标检测任务，并且在性能上均超过了手动设计和 NAS 的现有网络设计，且其计算成本明显低于 SOTA 的目标分割 /detection NAS 方法 (DPC、Auto-DeepLab 和 DetNAS）。

    Jan, 2020