Sep, 2024

MuAP：缺失模态的视觉语言模型的多步骤自适应提示学习

HTML
PDF
TL;DR该研究解决了现有视觉语言模型在缺失模态下的不足，提出了一种新颖的多步骤自适应提示学习（MuAP）框架，旨在生成多模态提示并进行逐步调优。研究表明，该方法显著提高了模型在多个基准数据集上的表现，推动了模态间知识的有效学习。
发现论文，激发创造
  • 基于贝叶斯提示学习的图像-语言模型泛化

    研究使用变分推理解决Empirical Risk Minimization在prompt learning中的分布偏移问题，在15个用例中通过Bayesian prompt learning实现了更好的泛化性能。

    Oct, 2022

  • MaPLe: 多模态提示学习

    本研究提出了多模态提示学习(MaPLe)的方法，旨在通过不同的早期阶段分别学习视觉和语言分支的独立提示，以逐步建模分阶段的特征关系，并促进视觉-语言提示之间的强耦合，以改善CLIP的下游任务结果。结果表明，该方法具有良好的性能和广泛的应用前景。

    Oct, 2022

  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • 自适应多模态提示学习

    提出了一种自适应多模式提示学习方法，通过同时考虑样本内外的泛化性和掩盖无意义的图像区域来解决当前提示学习方法存在的局限性，实验结果表明该方法在不同下游任务中优于现有方法。

    Nov, 2023

  • 重新参数化的低秩提示：在0.5K参数范围内泛化视觉语言模型

    通过重新参数化低秩提示（RLP），我们设计了一种新型提示，用于高效和有效地适应基于视觉和语言的模型，并显著增加了传统提示调整的平均下游准确性，仅使用0.5K的参数。

    Dec, 2023

  • 使提示可调整：基于贝叶斯建模的视觉-语言提示学习与数据相关先验

    利用贝叶斯框架中的Prompt学习方法，通过建模数据相关先验，减轻少样本学习中的过拟合问题，提高提示信息对未知样例的适应性，并展示相对现有方法在基准数据集上显著性能改进的统计结果。

    Jan, 2024

  • APLe: 多模态提示学习的逐令牌自适应

    通过使用Token-wise Adaptive for Multi-modal Prompt Learning (APLe)在顺序方式中对视觉和语言两个模态的提示进行调整，APLe解决了视觉-语言模型中的挑战，提高了提示学习的性能，具有与最先进技术相媲美的泛化性能。

    Jan, 2024

  • RESTORE: 面向视觉语言提示学习的特征偏移

    本论文研究了具有多模态模型的提示学习方法，指出单独优化某一模态路径上的提示会导致视觉-语言对齐度下降，因此提出了特征偏移和RESTORE方法来解决这一问题，并通过实验证明了该方法在保持特征对齐的同时优于现有的提示学习方法。

    Mar, 2024

  • 逐步多模态条件提示调整

    通过迭代利用图像和当前的编码信息，我们提出了一种新颖的方法——渐进式多模态条件Prompt调整（ProMPT），通过多模态提示的方式使视觉-语言特征逐步对齐，从而实现从粗糙到准确的分类。在所有设置中，广泛的实验证明了ProMPT方法相对于现有方法的优越性。

    Apr, 2024

  • 可推广的视觉语言模型提示调整

    本研究解决了视觉语言模型提示调整中手工和模板化提示缺乏通用性的问题。通过将软提示与手工提示视为文本模态的双重视角，并最大化它们的互信息，研究提出了一种新的方法来增强任务特定信息和一般语义信息的结合。此外，引入的视觉模态类增广技术显著提升了对未见类的鲁棒性。该方法在多个基准测试中的评估结果表明，其在特定任务性能和一般能力方面均具竞争力。

    Oct, 2024