Jun, 2021

关于超出分布泛化的理论框架

PDF
TL;DR本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。
generalizationmachine learningout-of-distributioninvariant featuresmodel selection
发现论文，激发创造
  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • 关于外分布泛化评估的调研

    机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

    Mar, 2024

  • 过参数化对于超出分布之外的普适性的益处

    研究了过参数化模型在 Out-of-Distribution 问题下的性能，发现模型容量的增加和模型集成有助于提高 OOD 推广能力。

    Mar, 2024

  • 图上的外域泛化：一份综述

    我们综合调查了图形领域中的 ODD 概括率，并详细审查了最近在这个领域取得的进展，然后根据其在图形机器学习流水线中的位置，从数据、模型和学习策略等不同概念上将现有方法分为三类，并对每个类别进行了详细讨论，最后分享了我们对未来研究方向的看法。

    Feb, 2022

  • 关于外部分布检测的可学习性

    基于 PAC 学习理论，本研究探讨了超出分布检测的可学习性，给出了不同场景下学习 OOD 检测的必要和充分条件，并从理论上支持了一些 OOD 检测方法。

    Apr, 2024

  • 图结构和特征外推用于超出分布的泛化

    本文提出了使用非欧氏线性外推的方法来实现图形 OOD 广义化，并在不破坏基本因果机制的情况下为特定转移定制 OOD 样本，理论分析和实证结果表明了我们的方法在解决目标转移问题上的有效性。

    Jun, 2023

  • 有限数据之外：通过外推实现无数据外域泛化

    利用大型语言模型和文本到图像生成技术，我们介绍了一种领域外推方法，通过合成全新领域的高保真、逼真的图像来显著提高域泛化数据集的训练效果，实现了单一和多领域泛化任务上的显著改进，甚至在没有任何收集数据的条件下，超过了监督设置的表现。

    Mar, 2024

  • 基于信息论的超出分布通用性的框架

    在机器学习中，我们研究了离群分布的泛化问题，并提出了一个提供信息论泛化边界的通用框架，该框架自由地插值在积分概率度量和 f - 分布之间，并且自然地恢复了一些已知结果（包括 Wasserstein 和 KL 边界），同时产生了新的泛化边界。此外，我们还展示了该框架具有最佳传输解释。在两个具体的例子中评估时，所提出的边界要么在某些情况下严格改进了现有边界，要么恢复了现有离群分布的最佳边界。

    Mar, 2024

  • 针对超出分布检测的可证明保障

    本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

    Dec, 2021

  • 统一的超领域检测：基于模型视角

    本文提出了一个更广泛的框架来研究模型针对特定因素（如未知类别、协变量变化等) 检测 out-of-distribution（OOD）问题，该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例，而是否拒绝该测试样例取决于模型本身，该文提供了大量分析和见解，用以改进和理解在不受控制的环境中的 OOD 检测。

    Apr, 2023