Feb, 2021

领域通用化中插值与外推的在线学习方法

PDF
TL;DR本文在一个由风险最小化玩家和出题人提供新测试分布的在线游戏框架下，研究亚群体间的泛化。通过对子组概率似然性重赋权重的基础上，证明外推比内插计算复杂度高得多，而它们的统计复杂度没有明显差异。此外，我们表明 ERM 和含有噪声的变种对于两种任务都是 provably minimax-optimal 的，这为领域泛化算法的形式分析提供了一个新的途径。
发现论文，激发创造
  • 通过分布匹配进行到未见过的领域的泛化

    本文探讨监督学习中数据导致的实际问题，着重于领域泛化研究，提出最小化给定领域对之间差异的方法，并在 EEG 数据集中验证了该策略。

    Nov, 2019

  • 无过多实证风险的领域泛化

    通过最小化约束条件下的惩罚，而不是与经验风险同时最小化，我们提出了一种解决域泛化领域中过度风险的方法，并通过将我们的方法应用于文献中的三种方法来证明其有效性。

    Aug, 2023

  • 支持外推的表征学习

    本文考虑了学习支持外推的表示的挑战，引入了一种新颖的视觉类比基准和一种简单的技术：时间上下文归一化来支持关系强调的表示，接着发现该技术显著提高了外推能力，胜过了许多竞争技术。

    Jul, 2020

  • 高维度学习始终需要外推

    本研究针对高维数据集中插值不可能发生的情况，从理论和实践角度出发，反驳了插值和外推能够准确指示泛化性能的说法，并挑战了当前插值 / 外推定义在泛化性能中的有效性。

    Oct, 2021

  • 有限数据之外：通过外推实现无数据外域泛化

    利用大型语言模型和文本到图像生成技术，我们介绍了一种领域外推方法，通过合成全新领域的高保真、逼真的图像来显著提高域泛化数据集的训练效果，实现了单一和多领域泛化任务上的显著改进，甚至在没有任何收集数据的条件下，超过了监督设置的表现。

    Mar, 2024

  • 针对鲁棒的基于模型的离线强化学习的领域通用性

    本文介绍了一种多演示者离线强化学习算法，该算法能够自然地解决不同演示者产生不同数据分布的问题，并提出了一种基于 Risk Extrapolation 的领域不变模型离线强化学习方法，结果表明，该方法能够提高领域泛化性能，可以改善策略学习过程的稳定性，并可以潜在地实现探索增强。

    Nov, 2022

  • 利用风险外推 (REx) 实现对于分布外数据的泛化

    采用风险外推法的鲁棒优化可以在训练域和测试域之间进行平衡，从而提高模型对于分布漂移的抵抗能力，并且可以恢复目标的因果机制，同时还能提供对于输入分布变化具有一定鲁棒性的能力。

    Mar, 2020

  • 不精确学习的领域泛化

    不确定域泛化是一个具有挑战性的问题，我们提出了模糊域泛化框架，通过不确定风险优化和模型框架的结合来解决此问题，并展示了将不确定性集成到域泛化中所带来的好处。

    Apr, 2024

  • 学习外推：一种横式学习方法

    本文研究了利用和超参数微调相关的重新参数化策略，增强深度学习系统在特定条件下的组合泛化能力，从而解决超域外推问题。该方法在各种监督学习和模仿学习任务中均具有实用性。

    Apr, 2023

  • 基于模型的领域通用化

    本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

    Feb, 2021