ICMLNov, 2017

GradNorm：用于深度多任务网络中自适应损失平衡的梯度归一化

PDF
TL;DR本研究提出了一种使用梯度规范化的算法（GradNorm），在多任务网络的训练中能够自动平衡不同任务的训练误差，从而避免过拟合现象，提高准确率和性能，并且能够适用于各种网络结构、回归和分类任务，证明了梯度操作是解锁多任务学习潜力的关键之一。
deep multitask networksgradient normalization algorithmoverfittingmultitask loss balancingtraining dynamics
发现论文，激发创造
  • MetaBalance：通过调整辅助任务的梯度幅度来改善多任务推荐

    本文提出了一种新方法 ——MetaBalance，通过直接操纵多任务网络中共享参数的梯度来平衡辅助任务的损失，以解决多任务学习时存在的优化失衡问题，实验结果表明该方法在两个真实数据集上相对于最强基线提高了 8.34％的 NDCG @ 10。

    Mar, 2022

  • 生成对抗网络的梯度归一化

    本文提出了一种新的归一化方法 —— 梯度归一化（GN），通过在鉴别器函数上施加硬 1-Lipschitz 约束，从而增加鉴别能力，解决了生成对抗网络中尖锐梯度空间引起的训练不稳定性问题，并在四个数据集上进行了广泛实验，证明了使用梯度归一化训练的 GAN 模型在 Frechet Inception Distance 和 Inception Score 方面优于现有方法。

    Sep, 2021

  • 惩罚梯度范数以有效提高深度学习的推广性能

    本文提出通过附加惩罚损失函数的梯度范数来提高深度神经网络的泛化性能，使用我们的方法可以改善不同数据集上的各种模型的泛化性能，并且最佳情况下可在这些任务上提供新的最先进性能。

    Feb, 2022

  • TaskNorm: 为元学习重新思考批归一化

    该研究探讨了在元学习中使用批量标准化的挑战，并提出了一种叫 TaskNorm 的新方法，实验证明该方法能够改善分类准确性和训练时间，并提供了一系列规范化的最佳实践来实现元学习算法的公平比较。

    Mar, 2020

  • 使用正交梯度对深度多任务网络进行规范化

    本文提出了一种新的梯度正则化方法，旨在通过强制近似正交梯度来减少任务干扰，评估结果表明该方法在多任务学习中取得了竞争性结果。

    Dec, 2019

  • 超参数问题中最小权重范式模型不总是具有良好的泛化能力

    通过实证发现，自适应方法在深度神经网络的训练中相比随机梯度下降可以有更好的泛化能力，需要较少的调整，同时不一定得到更小的权重范数。

    Nov, 2018

  • GraphNorm：加速图神经网络训练的原则性方法

    本文研究了对图神经网络进行归一化的有效方法，将 InstanceNorm 与 BatchNorm 和 LayerNorm 进行比较，证明了 InstanceNorm 对 GNNs 的预处理效果最好。同时，我们也发现 InstanceNorm 的偏移操作可能会导致 GNNs 的表现能力下降，因此引入了可学习的 GraphNorm 对表现力下降的问题进行纠正，实验证明使用 GraphNorm 推出的 GNN 准确率得到了显著提升。

    Sep, 2020

  • 生成对抗网络的惩罚梯度归一化

    本文提出了一种新的归一化方法 —— 惩罚梯度归一化（PGN），用于解决由于尖锐梯度空间导致的生成敌对网络（GAN）的训练不稳定性。通过对判别函数施加惩罚梯度约束，提高了鉴别器的能力，可以在不同的 GAN 架构上应用而无需进行多少修改，广泛的实验表明，penalty gradient normalization 可以提高 GAN 的性能。

    Jun, 2023

  • 克服连续学习中规范化统计的新陈代谢偏见：平衡和适应

    持续学习在深度神经网络中的应用及其在适应性平衡方面的理论分析。通过提出适应性平衡的批归一化策略 (AdaB2N)，在各种基准测试中显著提高了性能。

    Oct, 2023

  • MTAdam: 多训练损失自动平衡

    本文介绍了一种使用 MTAdam 优化算法来平衡神经模型训练中的多个损失项的方法，使用这种方法可以可以在所有层次上平衡梯度大小，快速恢复从次优初始损失权重开始的训练结果，并且得出的训练结果符合传统方法每种超参数的规定。

    Jun, 2020