Mar, 2024

有限数据之外：通过外推实现无数据外域泛化

PDF
TL;DR利用大型语言模型和文本到图像生成技术，我们介绍了一种领域外推方法，通过合成全新领域的高保真、逼真的图像来显著提高域泛化数据集的训练效果，实现了单一和多领域泛化任务上的显著改进，甚至在没有任何收集数据的条件下，超过了监督设置的表现。
out-of-distribution generalizationdomain extrapolationneural networkslarge language modelsdata-free domain generalization
发现论文，激发创造
  • 领域泛化：一份调查报告

    本文综述了过去十年领域泛化方向的研究进展，包括领域泛化的定义，现有的方法和理论，并提供未来研究方向的见解和讨论。

    Mar, 2021

  • 关于超出分布泛化的理论框架

    本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

    Jun, 2021

  • 所有未见数据都不属于分布外吗？

    在研究中，我们调查了训练数据的增加对测试数据中的泛化错误的影响，并将未观察到的数据分布定义为训练领域的凸包外的数据，提出了一种基于这一定义的新型泛化界限，并探索了数据增强和预训练等策略以解决这个问题，最后我们还提出了一种在源领域中的强化学习选择算法，能够比基线方法提供更好的性能。

    Dec, 2023

  • 关于校准和域外泛化

    本文提出了一种新颖的多域校准机制，该机制使分类器能够在未知领域中实现良好的泛化性能，实验证明通过训练或修改模型实现多域校准可以显著提高模型在未知测试域上的性能。

    Feb, 2021

  • 重新思考领域泛化的评估协议

    本文通过修改当前领域泛化协议，建议从头开始训练并使用多个测试域来更准确地评估泛化能力，并引入新的排行榜以鼓励未来的领域泛化研究。

    May, 2023

  • 基于模型的领域通用化

    本篇论文提出了一种基于模型的域泛化方法，通过对数据生成过程和同变性条件的建模，将域泛化问题转化为一个无限维的有约束统计学习问题，并利用非凸对偶理论发展了有约束松弛的统计问题，提出了具有收敛保证的域泛化算法，并在 ColoredMNIST，Camelyon17-WILDS，FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。

    Feb, 2021

  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • 学习单域通用性

    本篇文章介绍了一种名为对抗域增强的方法，用于在单一训练域情况下提高模型的泛化性能，通过使用元学习方案和 WAE 来松弛最坏情况限制，并在多个基准数据集上广泛实验，验证了该方法对于缓解单一域泛化问题的优越表现。

    Mar, 2020

  • 不精确学习的领域泛化

    不确定域泛化是一个具有挑战性的问题，我们提出了模糊域泛化框架，通过不确定风险优化和模型框架的结合来解决此问题，并展示了将不确定性集成到域泛化中所带来的好处。

    Apr, 2024

  • 面向域泛化的基于原则的解缠方法

    提出了一种名为 DDG 的方法，利用基于约束的优化形式来处理机器学习模型的泛化问题，并以有限维参数化和经验逼近的方式对其进行简化，同时提出了一种基于原始对偶算法来实现表示分离和域泛化的方法。DDG 方法可以学习到语义概念的内在表示，使其对干扰因素具有不变性，并可以在多个领域中得到良好的 OOU 性能表现。

    Nov, 2021