利用视觉语言表示探究外域检测
该文章从预训练功能提取器、视觉超出分布(OOD)检测、语言图像预训练模型、对抗性操纵的OOD图像和视觉异常检测等方面进行了全面实验研究,证明了使用最近邻特征相似度作为OOD检测得分的对比语言-图像预训练模型实现了最先进的无监督OOD性能,同时可以在无内部分布微调的情况下获得有监督的最先进OOD检测性能,并指出需要基于实验研究建立新的视觉异常检测基准。
Mar, 2023
本文提出了一个更广泛的框架来研究模型针对特定因素(如未知类别、协变量变化等)检测out-of-distribution(OOD)问题,该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例,而是否拒绝该测试样例取决于模型本身,该文提供了大量分析和见解,用以改进和理解在不受控制的环境中的OOD检测。
Apr, 2023
本文探讨了如何通过多模态概念匹配框架来评估诸如CLIP等最新视觉语言模型的fine-tuning方法对于少样本下游任务的超出分布检测性能的影响,并发现所选的ODD得分方法至关重要,MCM得分方法表现最佳,prompt learning在超出分布检测性能上表现最好。
Jun, 2023
本研究提出了第一个多尺度的“模式”(MODE)框架,通过同时利用图像的全局视觉信息和局部区域细节来实现最大效益的外域检测。通过引入注意力机制和交叉尺度决策函数,MODE在几个基准测试中表现出卓越的性能,平均可以在误报率上提高19.24%、在AUROC上提高2.77%。
Aug, 2023
应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能,通过从每个图像提取视觉对象充分利用前述世界知识,充分实验证明本方法始终优于现有技术。
Oct, 2023
提出一种称为Likelihood-Aware Semantic Alignment(LSA)的框架,以促进图像和文本的对应关系,针对全谱带外分布检测进行语义相关性的调整,并在复杂的领域转换中适应性地识别有正常分布的样本。
Dec, 2023
使用Transformers,本文提出了一种针对文本型OOD检测的新颖变分推断框架(VI-OOD),通过有效利用预训练Transformers的表示,最大化联合分布$p(x, y)$的似然度,从而解决了现有OOD检测方法中出现的问题。通过对多个文本分类任务的广泛实验,VI-OOD展示了其高效性和广泛适用性。
Apr, 2024
本文研究了分布外样本检测(OOD)对机器学习系统安全的重要性,并提出一个泛化的OOD检测框架,以统一与OOD相关的多个问题。文章总结了在视觉语言模型(VLM)时代这些问题的演变,并探讨了未来的挑战和方向,为研究人员提供了新的视角和方法论。
Jul, 2024
本研究针对现有的分布外(OOD)检测方法过于依赖整体图像特征的问题,提出了一种名为TagOOD的新方法。该方法通过视觉-语言表示实现了对象特征的无标签解耦,提高了OOD检测性能。实验结果表明,TagOOD在多项基准数据集上表现优异,展示了在OOD检测中多模态信息利用的潜在应用前景。
Aug, 2024
本研究解决了出界(OOD)检测中现有语义池不足以支持零-shot分类的问题。我们提出了共轭语义池(CSP),通过使用修改的超类名称构建更丰富的标签候选,显著提高了检测性能,并在FPR95上超越现有方法7.89%。
Oct, 2024