Jun, 2024

如何通过分布匹配帮助域泛化：一种信息理论分析

PDF
TL;DR通过概率学的分析，揭示了梯度匹配和表示匹配在推广中的互补关系，并介绍了一种新的方法来同时调整跨域梯度和表示。与现有方法相比，该方法在复杂分布匹配方面表现出优越性能。
domain generalizationgradient matchingrepresentation matchingprobabilistic perspectivecomplementary relationship
发现论文，激发创造
  • 通过分布匹配进行到未见过的领域的泛化

    本文探讨监督学习中数据导致的实际问题，着重于领域泛化研究，提出最小化给定领域对之间差异的方法，并在 EEG 数据集中验证了该策略。

    Nov, 2019

  • 使用因果匹配进行域泛化

    本论文表明，领域泛化的目标不仅仅是考虑到类别标签，还包括特定因果特征，并提出了一种基于匹配的算法来实现该目标，该算法通过数据增强的方式观察基本对象并近似目标结果，结果表明该算法优于先前方法。

    Jun, 2020

  • 迭代特征匹配：通过对数环境实现可证明的领域泛化

    本文研究了如何在有限数量的训练环境中，针对来自未知测试环境的数据进行域推广，并提出了一种迭代特征匹配算法，保证在看到只有 O (log (d_s)) 个环境之后，产生一个具有泛化性能的预测器。

    Jun, 2021

  • 领域泛化的梯度匹配

    本文提出了一种名为 Fish 的一阶优化算法，通过最大化不同领域的梯度内积来实现针对领域泛化的互领域梯度匹配目标。在 Wilds 基准测试数据集上，Fish 方法的表现优于其他基线方法，并在 4 个数据集上领先。同时，作者还在涵盖多种领域转移的 DomainBed 基准测试数据集上进行了实验验证，证明了该方法在领域泛化任务中的有效性。

    Apr, 2021

  • 通过风险分布匹配实现领域泛化

    通过最小化训练域之间的风险分布差异，建立领域不变性；采用风险分布匹配（RDM）方法，通过对最坏情况域和所有域的综合分布进行对齐，既提高了效果，又提高了计算效率。该方法在标准基准数据集上的实验证明，优于现有的领域泛化方法。

    Oct, 2023

  • 通过逻辑回归归因匹配实现对比领域泛化

    本文通过引入 Contrastive Domain Generalization（CDG）方法，探究以强对比数据对中的语义不变性来进行域泛化的方法，并提出了一种名为 Logit Attribution Matching（LAM）的正则化技术来实现 CDG，实验结果表明 LAM 的性能优于现有的 DG 方法，并帮助模型更好地聚焦于语义特征，这对于域泛化至关重要。

    May, 2023

  • 泛化到未见领域：关于领域泛化的调查

    这篇论文是对近年来领域泛化（即在一个或多个不同但相关的领域中学习出可以推广到看不见的测试领域的模型）领域的最新进展的首次回顾，涵盖了相关的理论、算法、数据集、应用，并提出了未来的研究方向。

    Mar, 2021

  • 重新思考基于分布匹配的域自适应

    本文通过分析现有的 DA 算法的局限性，构建了更加现实的数据集来评估现有算法并提出了一种新的基于 Instance-based Predictive Behavior Matching 的算法 InstaPBM，实验结果表明 InstaPBM 相对于现有算法具有更强的鲁棒性和更高的分类精度。

    Jun, 2020

  • 基于模型的领域通用化

    本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

    Feb, 2021

  • KL 导向领域适应

    本文研究了领域自适应中的输入表示对齐问题，提出了一种基于最小化源域和目标域表示分布之间的反向 Kullback-Leibler 差距的方法，利用概率表示网络实现了高效稳定的对齐方法，实验结果表明其优于其他对齐方法。

    Jun, 2021