Apr, 2021

领域泛化的梯度匹配

PDF
TL;DR本文提出了一种名为 Fish 的一阶优化算法，通过最大化不同领域的梯度内积来实现针对领域泛化的互领域梯度匹配目标。在 Wilds 基准测试数据集上，Fish 方法的表现优于其他基线方法，并在 4 个数据集上领先。同时，作者还在涵盖多种领域转移的 DomainBed 基准测试数据集上进行了实验验证，证明了该方法在领域泛化任务中的有效性。
machine learningdomain generalizationgradient inner productfish algorithmwilds benchmark
发现论文，激发创造
  • 如何通过分布匹配帮助域泛化：一种信息理论分析

    通过概率学的分析，揭示了梯度匹配和表示匹配在推广中的互补关系，并介绍了一种新的方法来同时调整跨域梯度和表示。与现有方法相比，该方法在复杂分布匹配方面表现出优越性能。

    Jun, 2024

  • 使用因果匹配进行域泛化

    本论文表明，领域泛化的目标不仅仅是考虑到类别标签，还包括特定因果特征，并提出了一种基于匹配的算法来实现该目标，该算法通过数据增强的方式观察基本对象并近似目标结果，结果表明该算法优于先前方法。

    Jun, 2020

  • 通过分布匹配进行到未见过的领域的泛化

    本文探讨监督学习中数据导致的实际问题，着重于领域泛化研究，提出最小化给定领域对之间差异的方法，并在 EEG 数据集中验证了该策略。

    Nov, 2019

  • 基于模型的领域通用化

    本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

    Feb, 2021

  • 理解 Hessian 对齐用于领域普适性

    通过分析深度学习模型在领域普适性中属分类器头部 Hessian 矩阵和梯度的角色，我们提出了两种简单而有效的方法来匹配分类器头部 Hessians 和梯度，并验证了所提方法在不同场景下的普适性能力。

    Aug, 2023

  • 通过梯度手术实现领域泛化

    通过使用梯度手术来缓解多域数据训练时出现的梯度冲突，进而提高深度学习模型在域偏移场景下的泛化能力。在三个多域数据集上的图像分类任务中验证了所提出的梯度一致性策略的价值。

    Aug, 2021

  • Fishr: 不变梯度方差用于跨分布泛化

    本论文提出了一种新的正则化方法 Fishr，它能够在梯度的空间中强制实施域内不变性，很好的提高了模型的鲁棒性，特别是能够有效地提高模型在分布不同的情况下的泛化能力，在经过广泛实验验证后，Fishr 比目前的最先进的技术和经验风险最小化表现出更高的效果。

    Sep, 2021

  • 多边沃瑟斯坦生成对抗网络

    本文中提出了一种新的多重边际 Wasserstein GAN（MWGAN）来最小化域之间的 Wasserstein 距离，并利用多边际最优传输理论开发了一种新的对抗性目标函数以利用交叉域相关性，并在平衡和不平衡的翻译任务上进行了理论分析和实验证明了 MWGAN 的有效性。

    Nov, 2019

  • 通过交叉梯度训练实现领域间泛化

    CROSSGRAD 是一种使用多领域培训数据跨域泛化的方法，并且不需要适应阶段，使用基于领域引导扰动的数据增强，可以更好地泛化并提供比领域对抗训练更稳定和准确的方法。

    Apr, 2018

  • 基于梯度图引导的自适应领域泛化用于跨模态 MRI 分割

    跨模态 MRI 分割是很有价值的计算机辅助医学诊断方法，但现有方法难以处理领域变化的局部差异，并且通常需要大量数据进行训练，这限制了其实际应用。为解决这些问题，我们提出了一种新颖的自适应领域泛化框架，它将基于图像梯度图的无学习跨领域表示与基于类先验的测试时适应策略相结合，以减轻局部领域变化。我们在两个多模态 MRI 数据集上验证了我们的方法，并进行了六个跨模态分割任务。在所有任务设置中，我们的方法始终优于竞争方法，并且在有限的训练数据下表现稳定。

    Nov, 2023