Dec, 2023

所有未见数据都不属于分布外吗？

PDF
TL;DR在研究中，我们调查了训练数据的增加对测试数据中的泛化错误的影响，并将未观察到的数据分布定义为训练领域的凸包外的数据，提出了一种基于这一定义的新型泛化界限，并探索了数据增强和预训练等策略以解决这个问题，最后我们还提出了一种在源领域中的强化学习选择算法，能够比基线方法提供更好的性能。
out-of-distributiongeneralization errorstraining dataconvex hullreinforcement learning
发现论文，激发创造
  • 离分布数据的价值

    在本研究中，我们发现了一个反直觉的现象：在涉及目标任务的样本数量增加之前，由于少量的来自未知分布数据的样本，可以提高任务的泛化性能，但随着样本数量的增加，泛化误差达到阈值后会逐渐下降；我们采用合成数据集上的 Fisher's Linear Discriminant 和计算机视觉基准数据集（如 MNIST、CIFAR-10、CINIC-10、PACS 和 DomainNet）上的深度神经网络来证明这一现象；在我们知道哪些样本是未知分布的理想情况下，我们可以使用适当加权的目标和外部风险的目标函数来利用这些非单调趋势，但其实际效用有限，此外，当我们不知道哪些样本是未知分布时，数据增强、超参数优化和预训练等常用策略仍然无法保证目标泛化误差不会随着未知分布样本数量的增加而下降。

    Aug, 2022

  • 有限数据之外：通过外推实现无数据外域泛化

    利用大型语言模型和文本到图像生成技术，我们介绍了一种领域外推方法，通过合成全新领域的高保真、逼真的图像来显著提高域泛化数据集的训练效果，实现了单一和多领域泛化任务上的显著改进，甚至在没有任何收集数据的条件下，超过了监督设置的表现。

    Mar, 2024

  • 关于超出分布泛化的理论框架

    本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

    Jun, 2021

  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • 重新思考领域泛化的评估协议

    本文通过修改当前领域泛化协议，建议从头开始训练并使用多个测试域来更准确地评估泛化能力，并引入新的排行榜以鼓励未来的领域泛化研究。

    May, 2023

  • 使用越界数据消除不良特征贡献

    提出了一种使用缺乏伪标签和数据分布限制的无分布数据进行数据增强的方法，以改善神经网络的推理泛化能力，并在 CIFAR-10，CIFAR-100 和 ImageNet 的子集上进行了实验证明。

    Jan, 2021

  • 广泛但不健壮？比较数据修改方法对领域外泛化和对抗鲁棒性的影响

    本文通过研究数据修正、数据增强、去偏、数据过滤等方法对模型泛化到未知领域和对抗鲁棒性的影响，发现数据的增加（通过增加数据集或数据增强）能够提高模型在未知领域下的准确性和抗干扰能力，而数据过滤则会减少针对特定任务的准确性。

    Mar, 2022

  • 领域泛化：一份调查报告

    本文综述了过去十年领域泛化方向的研究进展，包括领域泛化的定义，现有的方法和理论，并提供未来研究方向的见解和讨论。

    Mar, 2021

  • 无标签领域外数据提高泛化能力

    将未标记的数据合并到半监督分类问题的一个新框架中，借助分布鲁棒优化 (Distributionally Robust Optimization) 和自我监督训练的组合，提供了新的错误界限以及将离域样本用于缩小泛化差距的方法。

    Sep, 2023

  • 关于校准和域外泛化

    本文提出了一种新颖的多域校准机制，该机制使分类器能够在未知领域中实现良好的泛化性能，实验证明通过训练或修改模型实现多域校准可以显著提高模型在未知测试域上的性能。

    Feb, 2021