预训练模型的几何感知自适应

Jul, 2023

Geometry-Aware Adaptation for Pretrained Models

Nicholas Roberts, Xintong Li, Dyah Adila, Sonia Cromp, Tzu-Heng Huang...

TL;DR我们提出了一种简单的方法，利用标签空间的度量信息通过替换传统的预测规则中的 argmax 来适应已训练好的模型以可靠地预测新类别，或者在零样本预测中提高性能，而无需额外的训练。我们对该方法进行了全面的理论分析，研究了学习理论结果、标签空间直径、样本复杂度和模型维度之间的权衡、预测任何未观察到的类别的全部情境特征以及在不能预测所有未观察到的类别范围时获得最优训练类别的最新类别选择程序。在实证研究中，我们的方法 Loki 利用易得的外部度量指标在 ImageNet 上相对 SimCLR 可获得高达 29.7% 的相对改进，并可扩展到数十万个类别。当没有可用的度量指标时，Loki 可以使用类别嵌入的自主度量，在预训练的零样本模型（如 CLIP）上获得了 10.5% 的改进。

Abstract

machine learning models -- including prominent zero-shot models -- are often trained on datasets whose labels are only a small proportion of a larger label space. Such spaces are commonly equipped with a metric t

machine learning models zero-shot models label space fréchet mean active learning

发现论文，激发创造

大型视觉语言模型的少样本自适应研究

通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。

Dec, 2023

基于 CLIP 的零样本异常分割的语义鲁棒性研究

使用预训练的基础模型进行零样本异常分割是一种有前途的方法，它可以在不需要昂贵的领域特定训练或微调的情况下实现有效的算法。我们通过扰动测试数据使用三种语义变换（有界角度旋转、有界饱和度变化和色调变化）来研究 WinCLIP [14] 零样本异常分割算法的性能。通过在每个样本的最坏情况扰动中进行聚合，我们经验性地测量了一个较低的性能下界，并发现平均性能在 ROC 曲线下面积和区域重叠曲线下面积方面下降了最高达 20% 和 40%。我们发现，无论模型架构或学习目标如何，这三种 CLIP 主干的性能都普遍降低，这表明需要进行仔细的性能评估。

May, 2024

通过度量学习提高语义嵌入一致性，用于零样本分类

本文提出了一种新的零样本图像分类方法，通过度量学习来控制图像的语义嵌入，实现了不需要在训练阶段使用类别的零样本学习，仅需在地面实况中提供以图像 / 属性为对的约束关系，使得学习模型可以预测一个测试图像与给定属性的一致性，并且该方法在四个挑战性数据集上取得了最好的效果。

Jul, 2016

远程学习：重新思考有限监督下的广义零样本学习

本文提出了基于产品专家公式和 A UD 模块的零样本和少量样本归纳学习框架，利用来自非数据类的未标记采样来提高任意数量学习的泛化能力，并证明了该模型适用于有限监督场景下的广义零样本模型。

Jul, 2021

使用图像标签增强零样本检测训练

该研究使用 ImageNet 图像标签结合 CLIP 嵌入空间，解决了零样本检测中输出嵌入对齐问题，实现了在 COCO 上的高准确度

Jun, 2023

伪对数似然在自然语言评分中的应用

本文探讨了使用零射击方式相对于微调方法的优势，并通过实验结果表明其在通用常识推理等二选一任务上表现出色。并且，作者认为此种方法的健壮性应从表征组合性的角度进行解释。

Jan, 2022

零样本模型的零样本强化与基础模型

RoboShot 是一种完全零样本的方法，通过利用零样本语言模型（LMs）从任务描述中获得有用的见解，以优化预训练模型嵌入的健壮性，从而解决了预训练模型的继承偏差问题，并在九个图像和自然语言处理（NLP）分类任务上展示了 15.98% 的平均改进。

Sep, 2023

OTTER: 通过最优传输提高零 - shot 分类

零样本模型在预训练时遗传了一些问题，其中一个特别有害的问题是由于不平衡的网络规模预训练数据导致的标签分布不匹配。我们引入了一种简单且轻量级的方法，通过最优传输来调整预训练模型的预测结果，在广泛的零样本图像和文本分类任务中实验证实了我们的方法能够在准确率上提高 4.8% 和 15.9% 的平均值，并在 21 个数据集中的 17 个中击败了类似 Prior Matching 的基线方法。

Apr, 2024

零样本模型诊断

本文提出了一种零样本模型诊断（ZOOM）方法，利用生成模型和 CLIP 实现选择一组提示并自动搜索对应的视觉反事实图像来评估深度学习模型对任意视觉属性的敏感性，实现模型分析和诊断。多项实证研究结果表明，该方法成功地进行了诸如分类、关键点检测和分割等多种视觉任务的模型诊断和敏感性分析，免除了使用测试集和标注的需求。

Mar, 2023

广义零样本学习的模型选择

通过使用生成对抗网络（GAN）生成未见类别的语义嵌入辅助数据点，结合传统训练数据，利用模型选择机制使得泛零样本学习可以分为两个不相交的分类任务，以减少不平衡的数据分布，从而获得最先进的结果。

Nov, 2018