Jul, 2024

视觉语言模型时代的泛化分布外检测及其相关领域研究综述

HTML
PDF
TL;DR本文研究了分布外样本检测（OOD）对机器学习系统安全的重要性，并提出一个泛化的OOD检测框架，以统一与OOD相关的多个问题。文章总结了在视觉语言模型（VLM）时代这些问题的演变，并探讨了未来的挑战和方向，为研究人员提供了新的视角和方法论。
发现论文，激发创造
  • 广义的异常检测：综述

    本文首先提出一个通用的OOD检测框架，其中包括了另外四个相关问题的特例或子任务，然后重点回顾了这五个领域的最新技术发展，特别是OOD检测方法，并总结了开放的挑战和潜在的研究方向。

    Oct, 2021

  • 异常、新颖性、开放集和分布外检测的统一调查：解决方案及未来挑战

    本文综述了目前在机器学习中所涉及的异常检测、开放集识别、新颖性检测和习一类学习等不同领域中，如何识别和检测来自于训练集分布之外的样本，从而提出了跨领域的研究方向，这对提高模型的鲁棒性具有重要意义。

    Oct, 2021

  • 利用视觉语言表示探究外域检测

    该研究提出 Maximum Concept Matching（MCM）这一零样本的多模态算法来识别异常数据，利用视觉特征与文本概念进行对齐。研究发现 MCM 比单模态算法在效果上更为优秀，特别是结合视觉-语言特征时。

    Nov, 2022

  • 对比语言-图像预训练（CLIP）模型是强大的超出分布检测器

    该文章从预训练功能提取器、视觉超出分布（OOD）检测、语言图像预训练模型、对抗性操纵的OOD图像和视觉异常检测等方面进行了全面实验研究，证明了使用最近邻特征相似度作为OOD检测得分的对比语言-图像预训练模型实现了最先进的无监督OOD性能，同时可以在无内部分布微调的情况下获得有监督的最先进OOD检测性能，并指出需要基于实验研究建立新的视觉异常检测基准。

    Mar, 2023

  • 统一的超领域检测：基于模型视角

    本文提出了一个更广泛的框架来研究模型针对特定因素（如未知类别、协变量变化等)检测out-of-distribution（OOD）问题，该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例，而是否拒绝该测试样例取决于模型本身，该文提供了大量分析和见解，用以改进和理解在不受控制的环境中的OOD检测。

    Apr, 2023

  • 微调如何影响视觉语言模型的越界检测？

    本文探讨了如何通过多模态概念匹配框架来评估诸如CLIP等最新视觉语言模型的fine-tuning方法对于少样本下游任务的超出分布检测性能的影响，并发现所选的ODD得分方法至关重要，MCM得分方法表现最佳，prompt learning在超出分布检测性能上表现最好。

    Jun, 2023

  • 探索用于多模态离域检测的大型语言模型

    应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。

    Oct, 2023

  • 利用大型语言模型对异常样本曝光进行预测以进行离群检测

    通过利用大型语言模型的专业知识和推理能力，我们提出了一种名为“Envision potential Outlier Exposure”（EOE）的方法，可以在没有访问任何真实OOD数据的情况下，通过视觉相似性生成潜在异常类标签并设计有效的分数函数来区分困难的OOD样本，从而实现在不同OOD任务上的最先进性能，并能扩展到ImageNet-1K数据集。

    Jun, 2024

  • 剖析离散分布检测与开放集识别：方法与基准的关键分析

    本研究针对机器学习模型在测试时分布转变问题进行了深入分析，探讨了离散分布（OOD）检测与开放集识别（OSR）两个主要子领域。通过系统的实验评估，发现这两者之间存在强关联，并提出一个新的基准设定，为研究者提供了针对OOD与OSR的有效实践指导。

    Aug, 2024

  • 离散化分布外检测与开放集识别：方法与基准的关键分析

    本研究针对机器学习模型在测试时的分布转移问题进行了深入分析，特别是分布外检测和开放集识别两个领域。通过对现有方法的严格交叉评估，我们发现它们之间存在显著的性能相关性，并提出了一个新的基准设置，以更好地解耦这两个问题。研究结果表明，传统多项基准中表现最好的方法在大规模测试时存在困难，而对深度特征大小敏感的评分规则显示出一致的潜力，指明了未来研究的方向。

    Aug, 2024