Aug, 2021

面向外部分布泛化：一项调查

PDF
TL;DR该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。
发现论文，激发创造
  • 关于外分布泛化评估的调研

    机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

    Mar, 2024

  • 图上的外域泛化：一份综述

    我们综合调查了图形领域中的 ODD 概括率，并详细审查了最近在这个领域取得的进展，然后根据其在图形机器学习流水线中的位置，从数据、模型和学习策略等不同概念上将现有方法分为三类，并对每个类别进行了详细讨论，最后分享了我们对未来研究方向的看法。

    Feb, 2022

  • 关于超出分布泛化的理论框架

    本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

    Jun, 2021

  • 文本分类中的外域泛化：过去、现在和未来

    本篇研究论文探讨了自然语言处理中机器学习系统在处理超出标准数据集范畴的数据时的适用性，并在文本分类中研究了其可靠性及可能存在的偏差。此外，本文对该主题的最新进展、方法和评估进行了综述，并讨论了涉及的挑战和未来的研究方向。

    May, 2023

  • 超越泛化：关于图上的外域适应性问题调查

    在这篇综述文章中，我们详细回顾了图形 OOD（Out-Of-Distribution）适应方法，并根据学习范式和技术对其进行了分类。我们还指出了有前景的研究方向和相应的挑战。

    Feb, 2024

  • 领域泛化：一份调查报告

    本文综述了过去十年领域泛化方向的研究进展，包括领域泛化的定义，现有的方法和理论，并提供未来研究方向的见解和讨论。

    Mar, 2021

  • OoD-Bench: 量化和理解外分布泛化的两个维度

    通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

    Jun, 2021

  • 关于外部分布检测的可学习性

    基于 PAC 学习理论，本研究探讨了超出分布检测的可学习性，给出了不同场景下学习 OOD 检测的必要和充分条件，并从理论上支持了一些 OOD 检测方法。

    Apr, 2024

  • 自然语言处理中的超领域检测综述

    本文回顾了最近关于 out-of-distribution 检测的进展，重点关注了自然语言处理方面的方法。通过分类和介绍数据集、应用和评估指标，总结了现有的研究，同时提出了未来的研究方向。

    May, 2023

  • 机器学习中的越界泛化

    研究探讨了机器学习中的问题，特别是当模型在不同于训练数据的数据上进行测试时，模型很容易出现失败的现象，主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。

    Mar, 2021