零样本模型诊断

CVPRMar, 2023

Zero-shot Model Diagnosis

Jinqi Luo, Zhaoning Wang, Chen Henry Wu, Dong Huang, Fernando De la Torre

TL;DR本文提出了一种零样本模型诊断（ZOOM）方法，利用生成模型和 CLIP 实现选择一组提示并自动搜索对应的视觉反事实图像来评估深度学习模型对任意视觉属性的敏感性，实现模型分析和诊断。多项实证研究结果表明，该方法成功地进行了诸如分类、关键点检测和分割等多种视觉任务的模型诊断和敏感性分析，免除了使用测试集和标注的需求。

Abstract

When it comes to deploying deep vision models, the behavior of these systems must be explicable to ensure confidence in their reliability and fairness. A common approach to evaluate deep learning models is to build a labeled test set with attributes of interest and assess how well it p

deep vision models zero-shot model diagnosis generative model clip visual tasks

发现论文，激发创造

使用不可靠属性的零样本识别

本研究提出一种新颖的随机森林方法用于零样本学习，能更好地应对属性预测不可靠的问题，对于少样本和无训练样本学习在视觉分类学习中得到广泛应用。

Sep, 2014

广义零样本学习的模型选择

通过使用生成对抗网络（GAN）生成未见类别的语义嵌入辅助数据点，结合传统训练数据，利用模型选择机制使得泛零样本学习可以分为两个不相交的分类任务，以减少不平衡的数据分布，从而获得最先进的结果。

Nov, 2018

零样本学习 -- 对好坏丑的全面评估

本文旨在分析当前零样本学习领域现状，包括定义新的公认的零样本数据集评估协议与数据划分、设计新的 Animals with Attributes 2 数据集以及对当前现有的大量最先进的方法进行深入分析比较，并讨论当前领域的局限性，为进一步发展提供依据。

Jul, 2017

关于通用物体的零样本识别

本文主要探讨了当前零样本学习（ZSL）模型在 Imagenet 基准测试中的不足之处，提出了基准测试质量不高的原因，并分析了影响 ZSL 模型准确性的不同因素。进一步介绍了 ZSL 数据集中的结构偏见，并详细阐述了半自动构建新基准的方法，以应对这些缺陷。

Apr, 2019

零样本物体检测

本文提出了一种解决零样本目标检测问题的方法，并通过使用视觉 - 语义嵌入，背景感知方法，以及使用大量类别语义标签的辅助数据来解决仅有少数训练类别的问题。在 MSCOCO 和 VisualGenome 两个标准检测数据集上进行实验，验证了该方法的有效性。

Apr, 2018

VL-Taboo：面向属性的零样本视觉 - 语言模型能力分析

本研究分析了基于大规模数据的视觉 - 语言模型的真正零样本能力及其属性基零样本学习能力，评估了现有模型对不同基准测试的性能表现及影响因素。结果表明该模型主要通过识别语言中的类标签实现零样本学习，属性数的变化会显著影响其表现。

Sep, 2022

强监督下的多线索零样本学习

利用多个文本来源和语义部分注释来提供更强的监督辅助信息，达到零样本识别和检索的目标。

Mar, 2016

皮肤科人工智能中零样本概念生成的数据对齐

人类语义相关且医学领域精确的元标签在皮肤病学中的 AI 分类模型培训中十分稀缺，CLIP 模型可通过利用互联网上的大量图像 - 标题对进行零样本学习以解决数据缺乏的问题，并可以通过使用领域特定的图像 - 标题对对其进行微调来提高分类性能。

Apr, 2024

基于 CLIP 的零样本异常分割的语义鲁棒性研究

使用预训练的基础模型进行零样本异常分割是一种有前途的方法，它可以在不需要昂贵的领域特定训练或微调的情况下实现有效的算法。我们通过扰动测试数据使用三种语义变换（有界角度旋转、有界饱和度变化和色调变化）来研究 WinCLIP [14] 零样本异常分割算法的性能。通过在每个样本的最坏情况扰动中进行聚合，我们经验性地测量了一个较低的性能下界，并发现平均性能在 ROC 曲线下面积和区域重叠曲线下面积方面下降了最高达 20% 和 40%。我们发现，无论模型架构或学习目标如何，这三种 CLIP 主干的性能都普遍降低，这表明需要进行仔细的性能评估。

May, 2024

零样本识别的最新进展

本文综述了现有零样本识别技术的方方面面，包括模型表示、数据集、评估方式等，并简要介绍了一些相关的识别任务，如一次性识别和开放集识别等。同时，我们也指出了现有方法的局限性以及未来的研究方向。

Oct, 2017