Feb, 2024

谨慎使用手术刀：用 EMA 改进梯度手术

PDF
TL;DR通过混合梯度，我们提出了一种名称为 Bloop 的方法，该方法用于解决深度学习估计管道中的双层优化问题，并可在自然语言处理和视觉实验中取得比其他梯度手术方法更好的性能。
deep learning estimationauxiliary objectivegradient surgerybilevel problembloop
发现论文，激发创造
  • GS-EMA: 融合梯度修剪指数移动平均与边界感知对比学习，用于增强动静脉瘤分割的域生成能力

    提出了一种新颖的领域泛化策略，采用梯度手术指数移动平均（GS-EMA）优化技术和边界感知对比学习（BACL）相结合的方法，在不同临床数据集中学习领域不变特征，从而改进动脉瘤的鲁棒性和准确性。结果显示，所提出的方法可以提取更多领域不变特征，最小化过度分割，并捕获更完整的动脉瘤结构。

    Feb, 2024

  • 多任务学习的梯度手术

    本文介绍一种简单但通用的方法，通过投影任务的梯度到任何具有冲突梯度的其他任务的梯度的法线平面上，解决了多任务学习中的梯度干扰问题。在多项测试中，该方法显著提高了效率和性能，而且适用于不同的模型架构。

    Jan, 2020

  • 如何扩展您的 EMA

    在存在模型 EMA 的优化中，我们提供了一个缩放规则，并证明其在各种架构、优化器和数据模态下的有效性，同时还展示了模型 EMA 对目标模型优化的贡献，使我们能够在小批量和大批量训练下使用 EMA 基于伪标记和自监督学习的方法，以最佳化 6 倍的壁钟时间降低的条件下训练 BYOL。

    Jul, 2023

  • Omega：乐观 EMA 梯度

    本文提出了优化器 Omega 和一种带动量的变化形式，Omega 通过 EMA 历史梯度更新来减轻噪声影响，实验表明，在应用于线性玩家时 Omega 优于乐观梯度法。

    Jun, 2023

  • 超越反向传播：使用辅助变量的在线交替极小化

    本研究提出了一种新的在线 (ALternating Minimization) 方法来训练深度神经网络，同时也给出了该方法在随机设置下的理论收敛保证，并在不同体系结构和数据集上展示出具有前景的实证结果。

    Jun, 2018

  • 使用梯度手术探究不同损失函数的影响

    利用 pair-wise loss 进行度量学习可以通过梯度分解来统一当前的损失函数，并明确构建配对梯度更新，以最大程度地提高对图像数据集的检索精度。

    Jan, 2022

  • 通过梯度手术实现领域泛化

    通过使用梯度手术来缓解多域数据训练时出现的梯度冲突，进而提高深度学习模型在域偏移场景下的泛化能力。在三个多域数据集上的图像分类任务中验证了所提出的梯度一致性策略的价值。

    Aug, 2021

  • 大型预训练语言模型微调的多目标优化方法：监督对比学习

    将 SCL 问题描述为 RoBERTa 语言模型精调阶段的多目标优化问题，使用线性标量化方法和精确 Pareto 最优解法解决优化问题，在多个 GLUE 基准任务上，无需使用数据增强、存储器库或生成对抗性示例，找到了比竞争对比学习基线更好的学习策略。

    Sep, 2022

  • 友好的锐度感知最小化

    SAM 的关键组件有助于改进模型泛化性能，而 F-SAM 则通过移除全梯度成分并利用随机梯度噪声来进一步提高模型的泛化性能。

    Mar, 2024

  • 通过极小极大重表达实现高效双层优化

    提出了一种将双层优化问题重新设计成极小极大问题的方法，并采用渐进式梯度下降上升算法来解决该问题，结果表明该算法在降低计算成本的同时，优于现有的基于双层优化的算法。

    May, 2023