描述符和词汤：克服参数效率精度权衡的问题，用于超出分布的少样本学习

Nov, 2023

描述符和词汤：克服参数效率精度权衡的问题，用于超出分布的少样本学习

Descriptor and Word Soups: Overcoming the Parameter Efficiency Accuracy Tradeoff for Out-of-Distribution Few-shot Learning

PDF

Christopher Liao, Theodoros Tsiligkaridis, Brian Kulis

TL;DR通过使用训练数据，提出了两种更具灵活性的方法，即描述符汤和词汤，以提高少样本情况下的目标准确度，并在交叉数据集和领域泛化基准上优于现有的少样本方法和零样本方法。

Abstract

Over the past year, a large body of multimodal research has emerged around zero-shot evaluation using GPT descriptors. These studies boost the zero-shot accuracy of pretrained vl models with an ensemble of label-

zero-shot evaluation pretrained vl models descriptor soup word soup few-shot methods

发现论文，激发创造

探索基于提示学习范式的小型语言模型用于高效的领域特定文本分类

在本研究中，我们调查了小语言模型（具有不到 10 亿参数）与 prompt-learning 范例相结合，在零样本和少样本场景下针对零售业中客户 - 代理商互动的领域特定文本分类的潜力。我们的评估结果显示，在少样本设置下进行基于提示的模型微调时，220M 参数的典型小语言模型 T5-base 可以在有限的标记数据（高达全数据的 15%）上实现约 75% 的准确性，显示了小语言模型与 prompt-learning 的巨大潜力。基于此，我们进一步验证了主动少样本抽样和 prompt-learning 流程中的集成策略对显著性能提升的有效性。此外，在固定模型的零样本设置中，我们强调了一个关键的观察结果，即尽管具有约 1540B 参数的 GPT-3.5-turbo 可以达到 55.16% 的准确性，但当仅有 0.5% 参数的 FLAN-T5-large 使用经过优化的提示时，其准确性超过 31%，相比使用未经优化提示的准确性提升了近 13%。我们的发现强调了使用小语言模型进行 prompt-learning 的分类任务中的潜力，强调了主动少样本抽样和集成策略在少样本设置中的好处，并强调了零样本设置中提示工程的重要性。

Sep, 2023

扩散汤：文本到图像扩散模型的模型合并

Diffusion Soup 通过对分片数据上训练的扩散模型的权重进行平均，实现了训练免费的持续学习和遗忘，从而在权重空间中从几何平均的分布中采样，提供反记忆化保证，并实现零样式混合和混合样式的零样生成。

Jun, 2024

基于随机单词和广泛概念的视觉分类性能探讨

本文提出了一种名为 WaffleCLIP 的框架，通过简单地替换 LLM 生成的描述符为字符和词串，而无需查询外部模型，就在大量的视觉分类任务中实现类似的性能提升，并通过实验研究了 LLM 生成的描述符引入附加语义的影响和缺陷。

Jun, 2023

AutoCLIP：为视觉 - 语言模型自动调优的零样本分类器

AutoCLIP 是一种自动调整零样本分类器的方法，通过根据推理时间的类描述符 - 图像相似性统计导出每个图像的每个提示模板的权重，并展示在广泛的视觉语言模型、数据集和提示模板中，AutoCLIP 始终稳定地优于基线，并提高了多达 3 百分点的准确性。

Sep, 2023

迈向少样本外分布检测

多样的 fine-tuning 方法中，我们的实验结果表明，DomainSpecific and General Knowledge Fusion (DSGF) 的整合显著提高了各种方法和 fine-tuning 方法的少样本 OOD 检测能力。

Nov, 2023

弱分布检测器提高了视觉语言提示调整的泛化能力

我们提出了一种通用方法，用于在针对下游少样本任务进行精调时提高预训练视觉 - 语言模型 (VLMs) 的泛化能力。该方法利用了超出分布（OOD）检测来预测样本是否属于基本分布或新颖分布，然后使用由专门的竞争性评分函数生成的分数来融合零样本和少样本分类器。融合的分类器是动态的，如果样本更可能来自预先训练的分布，则会偏向于零样本分类器，从而提高基本到新颖的泛化能力。我们的方法仅在测试阶段执行，适用于提升现有方法而无需耗时的重新训练。大量实验证明，即使是弱分布检测器也可以改进 VLMs 的泛化能力。具体来说，在基本到新颖的设置中，在 11 个识别数据集上，借助 OOD 检测器，CoOp 和 ProGrad 的调和平均数分别提高了 2.6 和 1.5 个百分点。

Mar, 2024

LoCoOp: 基于 Prompt 学习的少样本场外检测

我们介绍了一种名为 LoCoOp 的新方法，它针对 few-shot OOD 检测进行本地正则化的上下文优化，利用 CLIP 本地特征的部分作为 OOD 特征，并展示了它在大规模 ImageNet OOD 检测基准测试中的优越性。

Jun, 2023

面向语义的无标记预处理技术用于大规模语言模型

本文提出了面向语义的未标注引导和上下文词袋引导两种方式，以利用未标注数据来提高预训练语言模型的零 - shot 性能，同时不需要任何参数更新。

Feb, 2022

零样本开放词汇分割的扩散模型

本文提出了一种基于大规模文本到图像扩散模型的零样本开放词库分割方法，通过考虑采样的图像的背景来更好地定位对象并直接分割背景，并证明该方法可以在多个基准测试中表现出色，在 Pascal VOC 基准测试上领先了超过 10%。

Jun, 2023

模型集成：对多个微调模型的权重进行平均可提高准确度且不增加推理时间

通过平均训练以不同超参数配置微调的模型，提高现有模型的性能和鲁棒性，从而在多个图像分类和自然语言处理任务中达到新的最先进技术水平。

Mar, 2022