ICLRMar, 2023

空间梯度缩放重参数化

PDF
TL;DR本论文提出了一种新颖的空间梯度缩放方法，该方法根据特征映射的空间特征测量互信息，动态学习每个卷积层的缩放，并证明了空间梯度缩放实现了与分支再参数化相同的学习动态，同时不引入网络结构变化。实验结果表明，我们提出的缩放方法在不搜索再参数化结构的情况下，以较低的计算成本优于最先进的再参数化策略。
reparameterizationconvolutional layersneural networksspatial gradient scalingmutual information
发现论文，激发创造
  • 动态稀疏重参数化实现深度卷积神经网络的参数高效训练

    介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

    Feb, 2019

  • RepSR: 使用结构重参数化和批量归一化训练高效 VGG 风格的超分辨网络

    本文提出了基于结构重参数化技术训练高效的 VGG-style 超分辨率网络，并探讨了针对超分辨率网络的 BN 问题的解决方法以及设计了新的 RePSR 块，实验证明该方法可以在不同的模型大小下达到更高的性能和更好的性能和实际运行时间平衡。

    May, 2022

  • 序列学习神经网络的函数空间参数化

    通过将神经网络从权重空间转化为函数空间的双参数化技术，我们解决了渐进学习方法在深度学习中的挑战，包括融入新数据和保留先前知识等问题。该技术在大规模数据集上通过稀疏化实现了函数空间方法的可扩展性，同时在有限访问过去数据时保留先前知识，并且在不需重训练的情况下融合新数据。我们的实验表明，我们能够在持续学习中保留知识并高效地融入新数据。此外，我们进一步展示了该技术在不确定性量化和基于模型的强化学习中的优势。详情和代码可在项目网站上找到。

    Mar, 2024

  • 基于方向进化策略的易部署网络高效参数搜索

    本文设计了一种改进的重新参数化搜索空间以及基于神经网络架构搜索的自动重新参数化增强策略，通过搜索优秀的重新参数化架构进一步提高了卷积网络的分类精度。

    Apr, 2022

  • N:M 稀疏性的空间重参数化

    本文提出了 Spatial Re-parameterization (SpRe) 方法，用于 N:M 稀疏性在 CNN 中的应用。该方法可以在训练期间利用非结构化稀疏性的空间稀疏性分布来为 N:M 稀疏性模型分配一个额外的支路，使其可以维持类似于非结构化稀疏性的空间稀疏性分布。在推理期间，该额外的支路可以进一步重新参数化为主要的 N:M 支路，而不会对稀疏模式或额外的计算成本产生扭曲。SpRe 方法可以在各种基准测试中匹配 N:M 稀疏性方法的表现与最先进的非结构化稀疏性方法。

    Jun, 2023

  • 图像分割中动态特征缩放的分摊学习

    本文介绍了一种新的超网络策略可以用来快速生成卷积神经网络，从而用于处理图像分割任务，在尽可能地保证准确性的前提下提高计算效率，并成功展现了各种域的价值。

    Apr, 2023

  • 低秩再参数化实现大规模私有学习

    本文提出了一种再参数化方案来解决在大型神经网络上应用差分隐私 SGD 所面临的巨大存储成本与附加噪声的问题，该方案使用梯度承载矩阵和残差权重矩阵重构每个权重矩阵，并设计了基于梯度承载矩阵上的梯度扰动算法，成功地在 BERT 模型上实现了差分隐私且准确率损失低于 5%

    Jun, 2021

  • 权重归一化：一种简单的重参数化方法加速深度神经网络训练

    本研究介绍了一种重量归一化方法，通过重新参数化神经网络中的权向量来改善优化问题的条件，并加速随机梯度下降的收敛速度，从而可以应用于各种模型和应用中，如 LSTMs，神经网络生成模型和深度强化学习。

    Feb, 2016

  • 基于熵罚项重新参数化的可扩展模型压缩

    本文提出一种在神经网络中进行权重压缩的通用方法，利用潜变量重新调参，在学习过程中施加熵惩罚，并在训练后使用简单的算术编码器对其进行压缩，实现了模型的压缩和分类准确率的最大化。

    Jun, 2019

  • 神经元的高效缩放：资源受限深度神经网络

    本文提出了一种名为 NeuralScale 的算法，该算法使用了迭代剪枝方法控制神经网络的大小和参数，进而优化了固定神经网络的结构和配置，经过实验得出，NeuralScale 在参数约束的情况下，与默认配置相比，在 CIFAR10、CIFAR100 和 TinyImageNet 的数据集上分别增加了 3.04％，8.56％和 3.41％的准确性，取得了优异的表现。

    Jun, 2020