Sep, 2023

MVP：用于少样本遥感图像场景分类的元视觉提示调整

PDF
TL;DRVision Transformer 模型在各种视觉任务中表现出强大和多功能性；本文提出了 Meta Visual Prompt Tuning (MVP) 方法，结合 parameter-efficient tuning 方法并应用于 remote sensing 领域，提高 Few-Shot Remote Sensing Scene Classification (FS-RSSC) 任务的性能。
vision transformerfew-shot image classificationparameter-efficient tuningmeta visual prompt tuningremote sensing
发现论文，激发创造
  • PVP：预训练的视觉参数高效微调

    本研究提出了一种基于先前训练模型的视觉快速参数调整 (PVP) 框架，可有效降低由于高计算和存储成本带来的计算和存储成本，并在低数据环境下实现优异的结果，特别是在贫瘠的视觉分类领域中。

    Apr, 2023

  • 视觉提示调优

    该论文提出了一种名为 Visual Prompt Tuning（VPT）的高效且有效的调整大规模 Transformer 模型的替代方案，相较于 fine-tuning，VPT 仅在输入空间中引入很少的可训练参数，通过在广泛的下游识别任务上的实验，我们发现 VPT 在许多情况下甚至比全尺寸 fine-tuning 更加优秀，同时减小了每个任务的存储成本。

    Mar, 2022

  • 遥感图像文本检索的参数高效迁移学习

    通过参数高效的迁移学习方法，将自然领域的视觉 - 语言知识有效且高效地转移到遥感领域的图像 - 文本检索任务上，提出了一个新颖而复杂的参数高效转移学习框架，通过预训练的 CLIP 模型、多模态遥感适配器和混合多模态对比学习目标来解决遥感数据中高内部相似性的问题，并在 RSITR 任务上进行了全面的实证研究，结果表明该方法具有很大的应用潜力，可以在实际应用中实现大幅度的训练成本节省，超过传统方法 7-13% 的检索性能并达到与全面微调相媲美甚至更好的性能，为 RS 视觉 - 语言任务提供了新的思路和有用的见解。

    Aug, 2023

  • 从视觉提示中学习语义代理，实现深度度量学习中的参数高效微调

    本研究探讨了用于深度度量学习任务的预训练模型的参数有效微调方法，通过学习视觉提示在预训练的视觉转换器中来增强传统的基于代理的深度度量学习模型的代理，并证明了该方法在度量学习性能上超越了代表性能力的，只微调了一小部分参数的新近工作。

    Feb, 2024

  • MVP: 多模态引导的视觉预训练

    本文介绍了一种名为 Multimodality-guided Visual Pre-training (MVP) 的方法，该方法利用来自其他几个模态的指导信息对图像进行预训练，取代了 Vision Transformer 中的 tokenizer，并在一系列下游视觉识别任务中取得了显著优越的效果。

    Mar, 2022

  • 大规模视觉语言模型用于细粒度船舶分类的高效提示调整

    本研究探讨了利用大型预训练视觉 - 语言模型在遥感领域中增强未见船只类别分类准确性的潜力，介绍了一种新颖的逐步调整技术来解决过拟合问题，并引入了一个全面的数据集（FGSCM-52）以及证明了该方法在实验中的优越性。

    Mar, 2024

  • DVPT：面向医学图像分析的大型预训练模型的动态视觉提示调优

    通过引入动态视觉提示调整方法，本研究提出了一种适应多样的医学图像输入变化的参数高效微调方法，命名为 DVPT，该方法从大模型中提取有益于下游任务的知识，可通过仅使用少量可训练参数从零开始训练医学图像分析模型。

    Jul, 2023

  • 自监督视觉变换器的视觉提示调优改进

    Visual Prompt Tuning (VPT) 是一种有效的方法，用于适应预训练的 Vision Transformers (ViTs) 到下游任务，我们通过插入适当的 prompt token 可以提高其效果，同时我们也提出了一种可以为每个 ViT block 学习对应的 gate，以调整其对 prompt tokens 的影响，最终在 FGVC，VTAB 和 ADE20K 数据集上表现出更好的性能。

    Jun, 2023

  • 利用 LLMs 自动化零射视觉识别的元提示

    通过 Meta-Prompting for Visual Recognition (MPVR) 方法，仅凭目标任务的简短自然语言描述和相关类别标签的最小信息输入，自动产生一组多样的类别特定提示，从而实现强大的零样本分类器。在多个不同领域的流行的零样本图像识别基准上，使用多个 LLMs 和 VLMs 测试，MPVR 可以有效地推广，比 CLIP 提高了最高 19.8％和 18.2％（平均 20 个数据集上分别为 5.0％和 4.5％），依赖于 GPT 和 Mixtral LLMs。

    Mar, 2024

  • 自我监督的少样本变换器

    本研究探讨了视觉变换器 (ViT) 在少样本学习中的能力，发现在相同的少样本学习框架下，用 ViT 模型替换常用的 CNN 特征提取器会严重削弱少样本分类性能；本研究提出了一种名为 Self-promoted sUpervisioN (SUN) 的简单而有效的 ViT 少样本训练框架，用于改善 token 依赖性问题，并通过实验证明了 SUN 优于其他同类技术，并超过了 CNN 的最新研究成果。

    Mar, 2022