引入“内部”外部分布
本文中,我们通过研究生成“有效”的OOD样本的复杂性,分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络(例如变分自编码器)生成这些样本的新算法,然后训练一个$n+1$分类器来检测OOD,其中第$n+1$类代表OOD样本。我们在MNIST和Fashion-MNIST数据集上将我们的方法与几种最近的基于分类器的OOD检测器进行了比较,实验表明我们的方法总体上表现更好。
Oct, 2019
本文第一次尝试对OOD问题的可学习性和扩张函数进行严格和量化的定义,并引入了一个新的扩张函数概念来量化不变特征的方差程度,进而证明了OOD泛化误差界,实验证明我们的模型选择标准相比基线有显著优势。
Jun, 2021
该研究论文系统而全面地讨论了Out-of-Distribution generalization问题,其中包括它的定义、方法论、评估以及对未来的启示和发展方向,以及包括无监督表示学习在内的现有方法。
Aug, 2021
本文旨在识别常见的目标,以及识别不同OOD检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似,二进制区分器达到与异常暴露相似的OOD检测性能,还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试out-distribution相同时的函数相似的隐含评分函数,从实践中发现,这些方法训练方式一致时都表现相似。
Jun, 2022
本文提出了一个更广泛的框架来研究模型针对特定因素(如未知类别、协变量变化等)检测out-of-distribution(OOD)问题,该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例,而是否拒绝该测试样例取决于模型本身,该文提供了大量分析和见解,用以改进和理解在不受控制的环境中的OOD检测。
Apr, 2023
机器学习模型在非独立同分布的数据分布下表现出可疑的风险,因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究,将其划分为三个范式:非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征,并简要讨论了预训练模型的非独立同分布评价。最后,提出了未来研究的几个有前景的方向。
Mar, 2024
通过改进神经网络中OOD样本的检测和管理,我们引入了含有噪声滤波技术的OOD-R数据集,提高了数据质量和模型准确性,针对模型的过度自信问题,我们还提出了一种创新方法ActFun来改善特征提取的稳定性和减小特异性问题,从而更准确地估计OOD不确定性。
Mar, 2024
我们研究了在监督学习和无监督学习环境中在测试时高效检测超出分布(OOD)样本的问题。通过统计检测重新定义OOD问题,研究了在统计术语中使OOD问题可识别的条件,并在Wasserstein距离的基础上研究了OOD测试的收敛性保证,并提供了简单的实证评估。
May, 2024
本研究针对机器学习模型在测试时分布转变问题进行了深入分析,探讨了离散分布(OOD)检测与开放集识别(OSR)两个主要子领域。通过系统的实验评估,发现这两者之间存在强关联,并提出一个新的基准设定,为研究者提供了针对OOD与OSR的有效实践指导。
Aug, 2024
本研究针对机器学习模型在测试时的分布转移问题进行了深入分析,特别是分布外检测和开放集识别两个领域。通过对现有方法的严格交叉评估,我们发现它们之间存在显著的性能相关性,并提出了一个新的基准设置,以更好地解耦这两个问题。研究结果表明,传统多项基准中表现最好的方法在大规模测试时存在困难,而对深度特征大小敏感的评分规则显示出一致的潜力,指明了未来研究的方向。
Aug, 2024