拥抱多样性：超过每个类别一个向量的可解释零 - shot 分类

Apr, 2024

拥抱多样性：超过每个类别一个向量的可解释零 - shot 分类

Embracing Diversity: Interpretable Zero-shot classification beyond one vector per class

Mazda Moayeri, Michael Rabbat, Mark Ibrahim, Diane Bouchacourt

TL;DR用推理属性在不需要重新训练的零 - shot 分类环境下对类别内的多样性进行编码和计算，提高零 - shot 分类的准确性、可解释性，以及适应性，从而实现透明的 AI 系统。

Abstract

vision-language models enable open-world classification of objects without the need for any retraining. While this zero-shot paradigm marks a significant advance, even today's best models exhibit skewed performance when objects are dissimilar from their typical depiction. Real world ob

vision-language models zero-shot classification diversity within a class interpretability transparent ai systems

发现论文，激发创造

语义多样性学习用于零样本多标签分类

该研究介绍一种用于多标签零样本学习的神经网络模型训练方法，该方法使用具有主要嵌入向量的嵌入矩阵并在训练期间加权损失函数以鼓励嵌入矩阵多样化，以提高基于标签的图像检索的零样本模型的质量。该方法在多个常见数据集（NUS-Wide，COCO， Open Images）上实现了 SoTA 的结果。

May, 2021

VL-Taboo：面向属性的零样本视觉 - 语言模型能力分析

本研究分析了基于大规模数据的视觉 - 语言模型的真正零样本能力及其属性基零样本学习能力，评估了现有模型对不同基准测试的性能表现及影响因素。结果表明该模型主要通过识别语言中的类标签实现零样本学习，属性数的变化会显著影响其表现。

Sep, 2022

利用大型语言模型演变可解释的视觉分类器

通过演化搜索算法和大语言模型的上下文学习能力，我们提出了一种能够发现解释性又具有辨识性的用于视觉识别的属性集合的新方法，并在五个细粒度的 iNaturalist 数据集上比最先进的基准方法提高了 18.4%，在两个 KikiBouba 数据集上提高了 22.2%。

Apr, 2024

跨域多标签零样本学习

本文提出了一种多标签零样本学习的框架，旨在解决测试时如何利用多标签相关性的挑战，并通过实验表明，所提出的深度回归模型和基于语义词向量的零样本学习算法，以及转导式学习策略，优于各种基线算法。

Mar, 2015

LLM 见视觉语言模型用于零样本单类别分类

我们提出了一个两步解决方案，首先通过查询大规模语言模型来辨别视觉上具有混淆性的物体，然后依靠视觉 - 语言预训练模型（例如 CLIP）进行分类。通过适应大规模视觉基准测试，我们展示了所提出方法在此情境下优于其他自适应商用替代方案的能力，包括一个在分类树中与正样本在一个固定距离的负样本的细粒度可控版本的 iNaturalist。我们的研究表明，仅通过标签，可以区分单个类别与其他语义相关的类别。

Mar, 2024

零样本学习的合成分类器

通过在语义空间和模型空间中相互协作的 “幻影” 对象类的优化，实现了零样本学习的最优判别性能，克服了训练阶段没有示例的难题。

Mar, 2016

通过使用文本描述使 VLMs 适应性更好的零射分类改进

通过使用大型语言模型（LLMs）生成的类别描述和丰富的细粒度图像分类数据集，我们提出了一种方法来改善视觉 - 语言模型（VLMs）在细粒度领域的零样本分类性能。通过在训练过程中利用图像 - 文本监督，我们的方法在鸟类和花卉等新颖类别的零样本分类准确度上平均提高了 4-5％。地理先验也被证明对于改善零样本分类同样有效，与视觉特征互补。我们计划发布包含 7 个数据集的基准测试，以促进未来的零样本识别研究。

Jan, 2024

零样本学习中预测未见类别的视觉典型

本文提出了一种新的零样本学习模型，利用语义嵌入空间中的聚类结构来对已知对象的类别语义描述和示例进行建模，并通过训练多个基于核的回归器来实现语义表示 - 范例对的结构约束，从而在包括 ImageNet 数据集在内的标准基准数据集上显着优于现有的零样本学习方法。

May, 2016

零样本核学习

本研究在零样本学习中使用核方法来学习特征和属性空间之间的非线性映射，提出了一种简单的学习目标，并在多个零样本学习数据集和基准测试中取得了最优结果。

Feb, 2018

拓展界限：利用大型多模态模型探索零样本物体分类

该研究论文以大型多模型为主题，探索了通过特定数据集设计的提示词，使用 LMMs 来执行图像分类任务的功效，并研究了 LLVAs 的零样本学习能力。通过四个不同的数据集的基准分析，实验结果表明模型在 MNIST，Cats Vs. Dogs，Hymnoptera（Ants Vs. Bees）以及 Pox Vs. Non-Pox 皮肤图像等各个数据集上均取得了显著的性能，无需进行任何微调即可达到 85％，100％，77％和 79％的分类准确率。此外，细调后模型在面部照片和自闭症儿童的数据集上分别表现出了显著的改进，强调了 LLVAs 的变革潜力和在现实场景中的多样应用。

Dec, 2023