Nov, 2024

用于识别离群样本的视觉-语言模型自校准调节

HTML
PDF
TL;DR本研究解决了在开放世界应用中进行可靠机器学习模型部署时的离群样本（OOD）检测问题。提出了一种新颖的框架——自校准调节（SCT），通过自适应调整原始学习目标的两个组件间的优化过程，有效提升了在仅使用少量离群数据背景下的OOD检测性能。研究结果表明，该方法在多项实验中展现了显著的有效性，具有广泛的应用潜力。
发现论文，激发创造
  • LoCoOp: 基于Prompt学习的少样本场外检测

    我们介绍了一种名为LoCoOp的新方法，它针对few-shot OOD检测进行本地正则化的上下文优化，利用CLIP本地特征的部分作为OOD特征，并展示了它在大规模ImageNet OOD检测基准测试中的优越性。

    Jun, 2023

  • 微调如何影响视觉语言模型的越界检测？

    本文探讨了如何通过多模态概念匹配框架来评估诸如CLIP等最新视觉语言模型的fine-tuning方法对于少样本下游任务的超出分布检测性能的影响，并发现所选的ODD得分方法至关重要，MCM得分方法表现最佳，prompt learning在超出分布检测性能上表现最好。

    Jun, 2023

  • 利用自我监督采样进行端到端的越界检测

    本论文提出了一种新的概率框架模型和一种无需OOD数据的自监督抽样模型(SSOD)，以解决现有研究中的问题，并展示了这些模型在大规模基准测试上具有领先的性能.

    Jul, 2023

  • 迈向少样本外分布检测

    多样的 fine-tuning 方法中，我们的实验结果表明，DomainSpecific and General Knowledge Fusion (DSGF) 的整合显著提高了各种方法和 fine-tuning 方法的少样本 OOD 检测能力。

    Nov, 2023

  • 少样本外分布检测的类ID式提示学习

    利用CLIP在与ID样本相邻的空间中发现ID样本的异常值从而帮助检测最具挑战性的OOD样本，进而利用这些异常值进一步提升OOD检测中CLIP的效能，在各种真实世界图像数据集上表现出卓越的少样本学习性能（例如，在ImageNet-1k数据集上的4样本OOD检测中，与现有最先进方法相比，我们的方法将平均FPR95降低了12.16％，平均AUROC提高了2.76％）。

    Nov, 2023

  • 基于CLIP的少样本异常检测中的异常合成

    通过使用CLIP-OS方法，在少样本学习中的OOD检测中，提出了一种新颖的patch均匀卷积和适应性的ID相关信息提取方法，并结合合成的可靠OOD数据和未知感知的提示学习，实现了ID和OOD之间的有效区分，从而获得了卓越的性能。

    Mar, 2024

  • 提升预测学习中的近似OOD检测：最大利益，最小成本

    我们研究了提示式学习模型在近似OOD检测中的能力，并观察到常用的OOD得分在此任务中表现有限。为了提升性能，我们提出了一种快速简单的后续方法，与现有的基于逻辑的得分相结合，将近似OOD检测的AUROC提高了最佳11.67％，并具有最小的计算成本。我们的方法可以轻松应用于任何提示式学习模型，无需改变架构或重新训练模型。通过对13个数据集和8个模型进行全面的实证评估，证明了我们的方法的有效性和适应性。

    May, 2024

  • LAPT：基于标签驱动的自动提示调整用于视觉-语言模型的OOD检测

    标签驱动的自动提示调整（LAPT）是一种用于模型的可靠性的OOD检测的新方法，通过自动产生有标签的训练样本和分布感知提示优化，LAPT在用于挑战性的全频谱OOD检测任务中表现出卓越性能，不仅增强了标识与OOD样本之间的区别，还提高了标识分类准确性和泛化鲁棒性。

    Jul, 2024

  • 视觉语言模型时代的泛化分布外检测及其相关领域研究综述

    本文研究了分布外样本检测（OOD）对机器学习系统安全的重要性，并提出一个泛化的OOD检测框架，以统一与OOD相关的多个问题。文章总结了在视觉语言模型（VLM）时代这些问题的演变，并探讨了未来的挑战和方向，为研究人员提供了新的视角和方法论。

    Jul, 2024

  • 通过可扩展局部提示增强少样本域外检测的异常值知识

    本研究解决了现有域外检测方法未能充分利用异常值的局部信息这一问题。提出了一种新颖的粗到细调优范式，重点增强局部提示，以提升异常值识别的效果。实验证明，该方法在4-shot调优中将平均FPR95减少了5.17%，展示了显著的性能提升潜力。

    Sep, 2024