抗噪非监督视觉 - 语言模型适配器

Sep, 2023

抗噪非监督视觉 - 语言模型适配器

Noise-Tolerant Unsupervised Adapter for Vision-Language Models

Eman Ali, Dayan Guan, Shijian Lu, Abdulmotaleb Elsaddik

TL;DR通过引入 NtUA，一种噪声容忍的无监督适配器，在大规模视觉语言模型中实现了卓越的性能，通过少量未标记的目标样本学习优越的目标模型，并通过知识蒸馏纠正伪标签和缓存权重，从而在多个广泛采用的基准测试中实现了一致的卓越表现。

Abstract

Recent advances in large-scale vision-language models have achieved very impressive performance in various zero-shot image classification tasks. While prior studies have demonstrated significant improvements by i

large-scale vision-language models zero-shot image classification few-shot unlabelled target samples adapter pseudo-label rectification

发现论文，激发创造

无监督视觉语言模型的原型适配器

我们设计了一种名为 Unsupervised Prototype Adapter (UP-Adapter) 的无监督微调方法，通过利用 CLIP 的文本 - 图像对齐能力自动选择每个类别中最有信心的样本，并利用这些选择的样本生成类别原型，用于可学习的原型模型的初始化。经过微调后，通过剩余连接将原型模型的预测与原始 CLIP 的预测相结合，用于执行下游识别任务。我们在图像识别和领域泛化方面的大量实验结果表明，所提出的无监督方法在 8-shot CoOp、8-shot Tip-Adapter 以及最先进的 UPL 方法上都取得了显著优势。

Aug, 2023

高效的视觉语言模型测试时间自适应

TDA 是一种训练 - free 的动态适配器，通过轻量级的键值缓存和逐步的伪标签细化，以及引入负伪标签，实现了有效和高效的测试时自适应。

Mar, 2024

通过发散最优化实现视觉识别的噪声通用领域自适应

本文提出了一个名为 “不清晰统一域适应” 的新颖场景，以应对源域中存在噪声数据且目标域中存在未知类别分布的情况。文章将多标头卷积神经网络作为解决该场景下在同一模型中同时解决存在噪声数据、未知类别与源域 / 目标域分布不同等挑战的方法，并在多个场景下验证了该方法的有效性和优越性

Apr, 2023

带有对抗去噪训练的强鲁棒性无监督神经机器翻译

本文研究了无监督神经机器翻译在噪声数据下的鲁棒性问题，并且提出了一种针对这种噪声数据的对抗性训练方法，通过去噪来提高无监督神经机器翻译的鲁棒性。经过实验验证，该方法在一些语言对上，显著提高了传统无监督神经机器翻译系统在嘈杂场景下的性能。

Feb, 2020

UniAdapter：跨模态建模的统一参数高效迁移学习

该论文提出 UniAdapter，通过部分权重共享实现单模态和多模态适配器的统一设计，从而实现在预训练的视觉语言模型上进行跨模态自适应，仅需预训练模型的 1.0％-2.0％可调参数，实现强大的跨模态表示，对于各种下游任务都有益处，并在六项跨模态下游基准测试中表现出色。

Feb, 2023

噪声普适领域自适应的发散优化

本文提出了一种名为 Noisy UniDA 的现实情况下的通用域适应解决方案，它使用卷积神经网络框架来检测源域中带有噪声的样本，查找目标域中的未知类别，并实现源域和目标域的分布对齐。在不同的领域适应设置的广泛评估中，所提出的方法在大多数设置中都比现有方法表现优异。

Apr, 2021

高效适配深度神经网络的单向薄适配器

该论文提出了一种新的适配器网络 UDTA，通过为主干网络提供辅助特征来帮助分类器适应新数据。在五个细粒度分类数据集的实验中，UDTA 显著减少了反向传播所需的计算和训练时间，并显示出与传统适配器模型相当甚至更好的准确性。

Mar, 2022

视觉语言模型易于执行时适应的令人沮丧的测试

研究表明，零温度的 TTA 方法（ZERO）能够在只进行一次前向传播的情况下，准确性大大超过或与现有技术相当，且速度约为 10 倍快，内存占用约为 13 倍少。

May, 2024

去噪适配器的多语言无监督神经机器翻译

本文提出了一种使用去噪适配器的方法，以在没有监督数据的情况下，通过使用辅助并行语言对，将机器翻译应用于仅具有单语数据的语言。该方法的结果与反向翻译相当，并且允许逐步添加新语言。

Oct, 2021

将视觉 - 语言模型的固有知识与无监督领域自适应相结合的自知识蒸馏

无监督领域自适应 (UDA) 通过利用标记的源数据集并将其知识转移到相似但不同的目标数据集，克服了标记数据的繁琐工作。本文结合 UDA 获得的知识与视觉 - 语言模型的内在知识。通过视觉 - 语言模型生成源数据集和目标数据集的零样本预测，调整分布以凸显获胜概率，同时使用源数据和目标数据以保持相对置信度。我们通过传统的领域自适应方法和自知识蒸馏法结合实现对源数据集的知识获取，并将该方法与一种渐进源域扩展策略 (GSDE) 相结合，结果表明零样本预测也有益处。我们在三个基准测试集 (OfficeHome、VisDA 和 DomainNet) 上进行实验和消融研究，超过了最先进的方法，并在消融研究中展示了我们算法不同部分的贡献。

Dec, 2023