Jul, 2022

通过分位风险最小化实现可能的域泛化

PDF
TL;DR用概率框架和 Quantile Risk Minimization 算法在多个相关训练数据分布中提高性能，实现高概率域泛化，将训练和测试域作为从相同元分布中绘制的关系，并引入更全面的分位数聚焦评估协议，能够优于 WILDS 和 DomainBed 上的现有基线。
domain generalizationprobabilistic frameworkquantile risk minimizationempirical qrm algorithmquantile-focused evaluation protocol
发现论文，激发创造
  • 针对领域特定风险的最小化以实现超出分布的泛化

    本文提出了基于领域特定风险最小化（DRM）的方法，旨在通过利用源域信息和适应性差的估计和最小化来弥合领域间差异以实现领域通用性，并在不同分布漂移设置下显着优于竞争基准。

    Aug, 2022

  • 通过风险分布匹配实现领域泛化

    通过最小化训练域之间的风险分布差异，建立领域不变性；采用风险分布匹配（RDM）方法，通过对最坏情况域和所有域的综合分布进行对齐，既提高了效果，又提高了计算效率。该方法在标准基准数据集上的实验证明，优于现有的领域泛化方法。

    Oct, 2023

  • 关于认证和提高对未见领域的泛化能力

    本文提出了一种基于分布鲁棒优化的普适认证框架，旨在弥补现有基准数据集在测试时无法全面评估领域通用算法的局限性，并提出了一种训练算法，可以用于改进其认证性能。实证评估表明，该方法显著提高了风险压力下模型的最坏损失，而在基准数据集上并未出现显著的性能下降。

    Jun, 2022

  • 边缘传递学习实现域泛化

    提出了领域泛化问题的形式框架，主要是在标记的训练集数据来自于几个相关的预测问题的情况下，通过扩充原特征空间来增加特征向量的边际分布，以期在未知的未标记数据集上获得精确的预测。针对核方法，提供了更多的定量结果和通用一致的算法，并在一个合成和三个真实世界的数据集上做了实验比较.

    Nov, 2017

  • 无过多实证风险的领域泛化

    通过最小化约束条件下的惩罚，而不是与经验风险同时最小化，我们提出了一种解决域泛化领域中过度风险的方法，并通过将我们的方法应用于文献中的三种方法来证明其有效性。

    Aug, 2023

  • ERM++: 领域泛化的改进基线

    通过改进经验风险最小化模型训练方法，提出了一种新的 Multi-source Domain Generalization 方法 ERM++，它可以在不增加计算复杂度的情况下，在多个数据集上取得领先于现有方法超过 5% 的性能表现，成为未来 Domain Generalization 研究的强大基准。

    Apr, 2023

  • 领域泛化的适度分布式探索

    本文介绍了一种适用于领域泛化时的分布一致性问题的新方法 MODE，该方法利用分布鲁棒优化探索与训练数据相同语义因素的不确定子集来增加预测的置信度。实验结果表明，MODE 方法与当前最先进技术基线方法具有相当的性能水平。

    Apr, 2023

  • 理解领域泛化：噪声稳健性视角

    机器学习算法中的领域泛化与经验风险最小化的效果在标准基准测试中没有明确的经验证据，但是通过标签噪声的研究可知，领域泛化算法在有限样本训练中具有隐含的标签噪声鲁棒性，在合成实验中可以缓解虚假相关性并提高泛化性能，但在真实世界的基准数据集上的综合实验表明，标签噪声鲁棒性并不能比经验风险最小化算法取得更好的性能。我们推测，由虚假相关性引起的经验风险最小化的失败模式在实践中可能不明显。

    Jan, 2024

  • 领域无关条件不变预测

    通过基于判别风险最小化理论和算法的不变特征捕获来解决领域泛化中没有领域标签的挑战，通过测试真实数据集验证了该方法的有效性。

    Jun, 2024

  • 朝着更好的领域外泛化评估

    领域通用化的目标是设计算法和模型，能够在之前未见过的测试分布上取得高性能。本研究中，我们对平均度量进行了细致的探究，并提出了 “最差 + 间隙” 度量作为一种强健的替代方案。通过理论推导和实验分析，我们发现平均度量不能准确近似真实的领域通用化性能，而 “最差 + 间隙” 度量在理论上和实践中都表现出了鲁棒性。

    May, 2024