Jun, 2021

迭代特征匹配：通过对数环境实现可证明的领域泛化

PDF
TL;DR本文研究了如何在有限数量的训练环境中，针对来自未知测试环境的数据进行域推广，并提出了一种迭代特征匹配算法，保证在看到只有 O (log (d_s)) 个环境之后，产生一个具有泛化性能的预测器。
domain generalizationconditional domain adversarial networksinvariant risk minimizationfeature matching algorithmgeneralization
发现论文，激发创造
  • 不变特征子空间恢复实现可证明的领域泛化

    本文提出了利用不变特征子空间恢复（ISR）实现域泛化的算法，ISR-Mean 和 ISR-Cov 可以从一阶和二阶矩中识别不变特征所涵盖的子空间并在训练集为 d_s+1 时实现可证明的域泛化，相比 Invariant Risk Minimization (IRM) , ISR 算法避免了非凸性问题，并具有全局收敛性保证，实验结果表明 ISR 算法在合成基准测试和图像与文本三个真实数据集上，都能作为简单但有效的后处理方法来提高训练模型对假冗余和组偏差的最坏情况准确性。

    Jan, 2022

  • 如何通过分布匹配帮助域泛化：一种信息理论分析

    通过概率学的分析，揭示了梯度匹配和表示匹配在推广中的互补关系，并介绍了一种新的方法来同时调整跨域梯度和表示。与现有方法相比，该方法在复杂分布匹配方面表现出优越性能。

    Jun, 2024

  • 通过风险分布匹配实现领域泛化

    通过最小化训练域之间的风险分布差异，建立领域不变性；采用风险分布匹配（RDM）方法，通过对最坏情况域和所有域的综合分布进行对齐，既提高了效果，又提高了计算效率。该方法在标准基准数据集上的实验证明，优于现有的领域泛化方法。

    Oct, 2023

  • 关于不变性学习和对抗训练与超出分布泛化的联系

    本文探究一种基于对抗训练的深度学习模型方法，称为 Domainwise Adversarial Training (DAT)，来解决深度学习模型在广义分布中失败的问题，该方法借鉴了 Invariant Risk Minimization (IRM) 和 Adversarial Training (AT) 方法，并通过实验证明，我们提出的 DAT 方法在解决不同广义分布转移方案上表现均可。

    Dec, 2022

  • 通过分布匹配进行到未见过的领域的泛化

    本文探讨监督学习中数据导致的实际问题，着重于领域泛化研究，提出最小化给定领域对之间差异的方法，并在 EEG 数据集中验证了该策略。

    Nov, 2019

  • 不变特征子空间恢复：可证明的领域普适算法新类

    我们提出了一种新的算法类别，即不变特征子空间恢复（ISR），用于实现分类和回归问题的可证明领域泛化。在二元分类方案中，我们的第一种算法 ISR-Mean 可以通过类条件分布的一阶矩来识别不变特征所张成的子空间，并在 $d_s+1$ 个训练环境下实现可证明的领域泛化。

    Nov, 2023

  • 通过逻辑回归归因匹配实现对比领域泛化

    本文通过引入 Contrastive Domain Generalization（CDG）方法，探究以强对比数据对中的语义不变性来进行域泛化的方法，并提出了一种名为 Logit Attribution Matching（LAM）的正则化技术来实现 CDG，实验结果表明 LAM 的性能优于现有的 DG 方法，并帮助模型更好地聚焦于语义特征，这对于域泛化至关重要。

    May, 2023

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021

  • 领域调整回归：ERM 可能已经学会了足以满足领域外推广的特征

    本研究通过实验挑战了深度网络泛化不良的原因在于恢复 “正确” 特征失败的观点，并提出了一种新的领域调整回归（DARE）方法，该方法根据分布转移的新模型，通过域特定调整来统一一个规范潜在空间，并在该空间中学习预测。在有限环境下，该方法的收敛保证了最小最优预测器，相比之前的方法，该方法表现更好。

    Feb, 2022

  • 基于不变风险最小化的区外预测：局限性及有效解决方案

    探讨了在多个领域训练数据集且测试数据集未出现在训练中时深度神经网络在预测 out-of-distribution 问题的可靠性，并提出了在强 lambda 混淆的情况下，结合条件分布匹配的方法来避免特定类型的假相关问题和实验证明了该方法的有效性。

    Jan, 2021