Dec, 2023

RetroOOD：理解反合成预测中的外域通用化

PDF
TL;DR机器学习辅助的逆合成预测模型在标准基准测试上取得稳步进展，但在现实世界中应用于非分布（OOD）分子或反应时，其性能往往显著下降。本研究通过建立两组基准数据集，系统比较了先进的逆合成预测模型在分布转移下的性能，并提出了两种模型无关技术，经初步实验显示其有高潜力并平均性能提高 4.6％，从而为进一步面向 OOD 泛化的逆合成预测研究提供了基础。
machine learningretrosynthesis prediction modelsdistribution shiftsbenchmark datasetsood generalization
发现论文，激发创造
  • 关于外分布泛化评估的调研

    机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

    Mar, 2024

  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • 超越泛化：关于图上的外域适应性问题调查

    在这篇综述文章中，我们详细回顾了图形 OOD（Out-Of-Distribution）适应方法，并根据学习范式和技术对其进行了分类。我们还指出了有前景的研究方向和相应的挑战。

    Feb, 2024

  • 图上的外域泛化：一份综述

    我们综合调查了图形领域中的 ODD 概括率，并详细审查了最近在这个领域取得的进展，然后根据其在图形机器学习流水线中的位置，从数据、模型和学习策略等不同概念上将现有方法分为三类，并对每个类别进行了详细讨论，最后分享了我们对未来研究方向的看法。

    Feb, 2022

  • WOODS: 时间序列中的超领域通用基准

    本研究发现，虽然静态计算机视觉任务的 OOD 泛化已被广泛研究，但时间序列任务的 OOD 泛化未被充分探索，作者提出了 WOODS, 包含 8 个挑战性的时间序列基准测试，结果表明在这些数据集上的经验风险最小化和 OOD 泛化算法有很大的改进空间。

    Mar, 2022

  • OpenOOD: 广义越界检测基准测试

    本文提出了一个名为 OpenOOD 的统一的、结构化的代码库，该库实现了超过 30 种 ODD 检测方法，并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现，过去几年中，该领域取得了显著进展，其中预处理方法和正交后处理方法显示出很强的潜力。

    Oct, 2022

  • 生成式检索模型的稳健性：一种越界的视角

    本文通过定义三个角度的 OOD 鲁棒性来分析多个代表性的生成式检索模型和密集型检索模型的 OOD 鲁棒性，并得出生成式检索模型需要提高 OOD 鲁棒性的结论。

    Jun, 2023

  • 关于超出分布泛化的理论框架

    本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

    Jun, 2021

  • 在不同程度的分布偏移下，鲁棒性可能比我们认为的更脆弱

    我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如 CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些 OOD 场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。

    Oct, 2023

  • 文本分类中的外域泛化：过去、现在和未来

    本篇研究论文探讨了自然语言处理中机器学习系统在处理超出标准数据集范畴的数据时的适用性，并在文本分类中研究了其可靠性及可能存在的偏差。此外，本文对该主题的最新进展、方法和评估进行了综述，并讨论了涉及的挑战和未来的研究方向。

    May, 2023