Apr, 2023

ERM++: 领域泛化的改进基线

PDF
TL;DR通过改进经验风险最小化模型训练方法，提出了一种新的 Multi-source Domain Generalization 方法 ERM++，它可以在不增加计算复杂度的情况下，在多个数据集上取得领先于现有方法超过 5% 的性能表现，成为未来 Domain Generalization 研究的强大基准。
multi-source domain generalizationempirical risk minimizationtraining datamodel parameter selectionweight-space regularization
发现论文，激发创造
  • 理解领域泛化：噪声稳健性视角

    机器学习算法中的领域泛化与经验风险最小化的效果在标准基准测试中没有明确的经验证据，但是通过标签噪声的研究可知，领域泛化算法在有限样本训练中具有隐含的标签噪声鲁棒性，在合成实验中可以缓解虚假相关性并提高泛化性能，但在真实世界的基准数据集上的综合实验表明，标签噪声鲁棒性并不能比经验风险最小化算法取得更好的性能。我们推测，由虚假相关性引起的经验风险最小化的失败模式在实践中可能不明显。

    Jan, 2024

  • 通过分位风险最小化实现可能的域泛化

    用概率框架和 Quantile Risk Minimization 算法在多个相关训练数据分布中提高性能，实现高概率域泛化，将训练和测试域作为从相同元分布中绘制的关系，并引入更全面的分位数聚焦评估协议，能够优于 WILDS 和 DomainBed 上的现有基线。

    Jul, 2022

  • 正则化经验风险最小化的分布式块对角逼近方法

    本文提出了一种通过求解对偶问题的分布式经验风险最小化训练框架，可以用于各种机器学习问题，具有全局线性收敛和更快的实证性能。

    Sep, 2017

  • 通过虚拟风险最小化轻松实现模型泛化

    本文介绍了 Dummy Risk Minimization（DuRM）技术，一种简单易用的方法来提高 Empirical risk minimization（ERM）的广义性能，该方法通过扩大输出 logits 的维度并使用标准梯度下降进行优化，从理论和经验分析两个方面验证了 DuRM 的有效性，结论表明 DuRM 可以在各种任务中持续改善性能。

    Aug, 2023

  • 跨领域生成增量：潜在扩散模型的领域泛化

    通过将点对点核估计替换为域对邻域的新密度估计，以进一步减小域间的差距，我们提出一种名为跨域生成增强（CDGA）的新型数据增强方法，它基于潜在扩散模型（LDM），生成填充所有域之间差距的合成图像，并减小非独立同分布性。我们展示了 CDGA 在 Domainbed 基准测试中优于最先进的域泛化方法。为了解释 CDGA 的有效性，我们生成了超过 500 万个合成图像，并进行了广泛的剔除研究，包括数据缩放规律、分布可视化、域间偏移量量化、对抗鲁棒性和损失函数分析。

    Dec, 2023

  • 针对领域特定风险的最小化以实现超出分布的泛化

    本文提出了基于领域特定风险最小化（DRM）的方法，旨在通过利用源域信息和适应性差的估计和最小化来弥合领域间差异以实现领域通用性，并在不同分布漂移设置下显着优于竞争基准。

    Aug, 2022

  • 领域通用化中插值与外推的在线学习方法

    本文在一个由风险最小化玩家和出题人提供新测试分布的在线游戏框架下，研究亚群体间的泛化。通过对子组概率似然性重赋权重的基础上，证明外推比内插计算复杂度高得多，而它们的统计复杂度没有明显差异。此外，我们表明 ERM 和含有噪声的变种对于两种任务都是 provably minimax-optimal 的，这为领域泛化算法的形式分析提供了一个新的途径。

    Feb, 2021

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021

  • 通过风险分布匹配实现领域泛化

    通过最小化训练域之间的风险分布差异，建立领域不变性；采用风险分布匹配（RDM）方法，通过对最坏情况域和所有域的综合分布进行对齐，既提高了效果，又提高了计算效率。该方法在标准基准数据集上的实验证明，优于现有的领域泛化方法。

    Oct, 2023

  • 无任何群组信息的群组鲁棒分类

    这项研究提出了一个修订的方法来在完全无偏见的情况下进行训练和验证无偏见模型，通过采用预训练的自监督模型可靠地提取偏见信息，并与我们的验证准则结合使用逻辑调整训练损失函数。我们的实证分析证明了我们的方法克服了所发现的挑战，始终提高了鲁棒准确性，达到与或优于依赖偏见标签进行验证的最先进方法的性能。

    Oct, 2023