Aug, 2024

离散化分布外检测与开放集识别：方法与基准的关键分析

HTML
PDF
TL;DR本研究针对机器学习模型在测试时的分布转移问题进行了深入分析，特别是分布外检测和开放集识别两个领域。通过对现有方法的严格交叉评估，我们发现它们之间存在显著的性能相关性，并提出了一个新的基准设置，以更好地解耦这两个问题。研究结果表明，传统多项基准中表现最好的方法在大规模测试时存在困难，而对深度特征大小敏感的评分规则显示出一致的潜力，指明了未来研究的方向。
发现论文，激发创造
  • 广义的异常检测：综述

    本文首先提出一个通用的OOD检测框架，其中包括了另外四个相关问题的特例或子任务，然后重点回顾了这五个领域的最新技术发展，特别是OOD检测方法，并总结了开放的挑战和潜在的研究方向。

    Oct, 2021

  • 异常、新颖性、开放集和分布外检测的统一调查：解决方案及未来挑战

    本文综述了目前在机器学习中所涉及的异常检测、开放集识别、新颖性检测和习一类学习等不同领域中，如何识别和检测来自于训练集分布之外的样本，从而提出了跨领域的研究方向，这对提高模型的鲁棒性具有重要意义。

    Oct, 2021

  • 全谱外部样本检测

    本文提出了一种全光谱OOD检测的新问题，并设计了三个基准以测试算法性能。针对这个问题，我们提出了一个简单的面向特征的SEM方法来检测语义转移，可以更好地处理FS-OOD检测，并且SEM明显优于当前最先进的方法。

    Apr, 2022

  • 基于OOD训练数据的许多方法估计相同核心量的组合来分解OD检测

    本文旨在识别常见的目标，以及识别不同OOD检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的OOD检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试out-distribution相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

    Jun, 2022

  • 非监督式评估未知分布检测: 一种数据为中心的观点

    本文是关于检测外域异常的无监督评估问题，提出了三种方法计算Gscore作为指标，并且引入包含200个真实外域数据集的新基准Gbench用于评估。实验结果表明，Gscore与异常检测性能有很强的定量相关性，并且本文方法表现出了最先进的性能。

    Feb, 2023

  • 统一的超领域检测：基于模型视角

    本文提出了一个更广泛的框架来研究模型针对特定因素（如未知类别、协变量变化等)检测out-of-distribution（OOD）问题，该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例，而是否拒绝该测试样例取决于模型本身，该文提供了大量分析和见解，用以改进和理解在不受控制的环境中的OOD检测。

    Apr, 2023

  • 基于统计检验理论视角对于外域识别的观点

    我们研究了在监督学习和无监督学习环境中在测试时高效检测超出分布（OOD）样本的问题。通过统计检测重新定义OOD问题，研究了在统计术语中使OOD问题可识别的条件，并在Wasserstein距离的基础上研究了OOD测试的收敛性保证，并提供了简单的实证评估。

    May, 2024

  • 通过结合现有的事后方法改善离群检测

    该研究论文探讨了深度学习领域中基于现有方法的组合对异常检测的增强效果，并提出了四种不同的策略来将多个检测分数融合成统一的异常检测器，研究并比较了各种方法在广泛基准上的效果，并提出了在缺乏已知异常数据的情况下如何选择异常检测器的准则。

    Jul, 2024

  • 视觉语言模型时代的泛化分布外检测及其相关领域研究综述

    本文研究了分布外样本检测（OOD）对机器学习系统安全的重要性，并提出一个泛化的OOD检测框架，以统一与OOD相关的多个问题。文章总结了在视觉语言模型（VLM）时代这些问题的演变，并探讨了未来的挑战和方向，为研究人员提供了新的视角和方法论。

    Jul, 2024

  • 剖析离散分布检测与开放集识别：方法与基准的关键分析

    本研究针对机器学习模型在测试时分布转变问题进行了深入分析，探讨了离散分布（OOD）检测与开放集识别（OSR）两个主要子领域。通过系统的实验评估，发现这两者之间存在强关联，并提出一个新的基准设定，为研究者提供了针对OOD与OSR的有效实践指导。

    Aug, 2024