Oct, 2023

具有预训练视觉语言模型的类别增量学习

HTML
PDF
TL;DR通过在图像编码器之后或文本编码器之前在预训练的CLIP模型上增加附加层，我们提出了一种利用预训练视觉-语言模型进行进一步调整的方法，从而使其能够适应新任务而不仅仅是零样本学习。我们对线性适配器、自注意适配器以及修改CLIP文本编码器输入的提示调整进行了研究。此外，我们还提出了一种参数保留的方法，通过衡量参数重要性，在增量学习过程中更好地保持稳定性和可塑性。实验证明，最简单的解决方案——一个具有参数保留的线性适配器层，获得了最佳结果。多个常规基准实验一致表明这种方法显著改进了现有技术水平。
发现论文，激发创造
  • CLIP-Adapter: 特征适配器提升视觉语言模型

    本文提出一种新的视觉语言模型fine-tuning方式——CLIP-Adapter，通过在原训练模型上加入新特征层并进行残差式混合来实现，在各种视觉分类任务中表现优异，优于context optimization

    Oct, 2021

  • Tip-Adapter: 无需训练的适应 CLIP 用于少样本分类

    本篇论文提出了一种利用键值缓存模型构建适配器的零训练方法 Tip-Adapter，来有效地增强 Contrastive Vision-Language Pre-training（CLIP）的适应能力，为少样本学习提供了一个计算资源高效的选择。实验证明，Tip-Adapter 在 11 个数据集上均有突出表现，并可以通过少量的模型微调达到 ImageNet 上的最优。

    Jul, 2022

  • CLIP模型是高效的继续学习器

    本文发现，CLIP（Contrastive Language-Image Pretraining）模型在冻结状态下，在不进行任何微调（零次评估）的情况下提供惊人的持续学习表现。作者在多种设置（包括类增量、域增量和任务不可知的增量学习）和五个流行基准测试集上评估了CLIP模型，证明了其在大多数设置中优于现有模型；同时作者还通过改变简单提示模板的文本输入来研究CLIP模型性能的影响。作者鼓励在持续学习任务中使用这种强大而非常简单的基线方法进行未来的比较。

    Oct, 2022

  • 定位潜在更新用于微调视觉语言模型

    提出一种轻量级的适配器方法，通过更新预测接近观察数据点的模型以加快更新速度，并保持经典微调方法外数据的正确性，以实现在小样本学习领域中，在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。

    Dec, 2022

  • 多模态参数高效的少样本类增量学习

    本文提出了一种名为CPE-CLIP的参数高效持续学习方法，利用CLIP预训练阶段获取的丰富知识和泛化能力实现类别学习，其结果表明，相比现有方法，CPE-CLIP显著提高了少样本类别增量学习的性能，同时也大大减少了可学习参数和训练成本。

    Mar, 2023

  • 视觉语言提示学习中的重参数化编码器

    PRE是一种简单而高效的方法，通过使用一种 prompt 编码器来重新参数化输入 prompt 嵌入，从而增强对从少量样本中探索任务特定知识的能力，其在新类上实现了5.60%的平均准确率提升和3%的调和平均数提升。

    Sep, 2023

  • 使用CLIP的增量目标检测

    通过使用CLIP等语言-视觉模型生成不同类别集合的文本特征嵌入来改善特征空间，用广义类别替换早期学习阶段中的不可用新类别，从而模拟实际增量情景，并使用CLIP图像编码器识别提议中的潜在对象并对其进行分类，通过修改提议的背景标签为已知类别并将框添加到训练集来缓解数据模糊性问题，我们在PASCAL VOC 2007数据集上评估了我们的方法，在各种增量学习设置中，我们的方法优于最先进的方法，特别是对于新的类别。

    Oct, 2023

  • 提高视觉语言模型的适应性和泛化能力的有效传递学习

    利用视觉提示进行类别可分性和使用文本适配器进行任务适应的结合对于适应性和泛化性至关重要；我们提出了一种自适应集成方法，根据迁移难度有效地结合了VLMs的通用知识和任务特定知识，该方法在广泛的基准测试中始终优于所有基准线，尤其是在未知任务上表现出了其有效性。

    Nov, 2023

  • 通过专家混合适配器增强视觉语言模型的持续学习

    提出了一种参数高效的持续学习框架，通过在视觉语言模型中动态扩展一个预训练的CLIP模型，采用专家混合（Mixture-of-Experts）适配器以应对新任务，并引入分布鉴别自动选择器（DDAS）以保留视觉语言模型的零样本识别能力，并通过各种实验验证，该方法在提升性能的同时减少了60%的参数训练负担。

    Mar, 2024

  • 多模态适配器用于视觉语言模型

    本研究针对现有的轻量级适配方法在视觉和文本表征之间缺乏互动的问题，提出了一种名为多模态适配器的新方法。通过引入可训练的多头注意力层，该方法有效结合了图像和文本特征，实现了更好的模型通用性，并在未见类别上的表现优于现有的适配方法。

    Sep, 2024