重参数化优化器而非架构

ICLRMay, 2022

Re-parameterizing Your Optimizers rather than Architectures

Xiaohan Ding, Honghao Chen, Xiangyu Zhang, Kaiqi Huang, Jungong Han...

TL;DR本研究通过梯度重新参数化的方法设计了 RepOptimizers 优化器，将模型特定的先验知识融入最优化器中。在 VGG 风格的平面模型上的实验表明，使用 RepOptimizers 的简单模型性能不逊于复杂的设计模型，并且具有更快的推理速度和训练效率。

Abstract

The well-designed structures in neural networks reflect the prior knowledge incorporated into the models. However, though different models have various priors, we are used to training them with model-agnostic

neural networks prior knowledge optimizers gradient re-parameterization vgg-model

发现论文，激发创造

神经重新参数化改善结构优化

本文提出，使用神经网络所引入的函数隐式偏置以改善结构优化的参数化，通过优化神经网络参数来代替在网格上直接优化密度，使得优化结果更为理想，在 116 个结构优化任务中，我们的方法比最佳基线方法更为有效。

Sep, 2019

RepQ：通用量化感知训练重新参数化架构

现有的神经网络在资源受限环境中部署困难，本文通过提出一种称为 RepQ 的新方法，将量化应用于重新参数化的网络，以提高神经网络的效率和模型性能。

Nov, 2023

基于神经网络的无梯度拓扑优化

通过预训练的神经重参数化策略，在潜在空间中优化设计相对于传统方法而言能减少至少一个数量级的迭代次数，这在拓扑优化中具有重要意义。

Mar, 2024

基于方向进化策略的易部署网络高效参数搜索

本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略，通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。

Apr, 2022

可扩展且泛化的学习优化器

通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架构进行了优化。

Mar, 2017

DyRep：动态重新参数化的引导式培训

本文提出了动态重参数化方法，通过优化计算效率、提升表征能力，采用 mini-batch 实现动态演化神经网络，并将其应用于 ResNet-18 模型上，结果表明：在 ImageNet 数据集上，相比基线模型，精度提升了 2.04％，运行时长降低了 22％。

Mar, 2022

空间梯度缩放重参数化

本论文提出了一种新颖的空间梯度缩放方法，该方法根据特征映射的空间特征测量互信息，动态学习每个卷积层的缩放，并证明了空间梯度缩放实现了与分支再参数化相同的学习动态，同时不引入网络结构变化。实验结果表明，我们提出的缩放方法在不搜索再参数化结构的情况下，以较低的计算成本优于最先进的再参数化策略。

Mar, 2023

RepSR: 使用结构重参数化和批量归一化训练高效 VGG 风格的超分辨网络

本文提出了基于结构重参数化技术训练高效的 VGG-style 超分辨率网络，并探讨了针对超分辨率网络的 BN 问题的解决方法以及设计了新的 RePSR 块，实验证明该方法可以在不同的模型大小下达到更高的性能和更好的性能和实际运行时间平衡。

May, 2022

正交过参数化训练

该研究提出了一种新的正交超参数训练 (OPT) 框架，该框架可以证明地最小化描述神经元多样性的超球面能量，通过保持最小超球面能量来提高神经网络的泛化能力。

Apr, 2020

任务、稳定性、架构和计算：训练更有效的学习优化器，并使用它们来训练自己

本文讲述了利用神经网络参数化的层次优化器提供自动正则化的能力，从而可以训练多种问题的通用学习优化器，可适应超参数和架构的变化，且适用于自我训练等需要解决分布问题的任务。

Sep, 2020