Jun, 2023

用于视觉语言预训练模型的近似提示调优

PDF
TL;DR本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。
prompt tuningvlp modelsapproximated prompt tuningtransfer learningcomputational complexity
发现论文，激发创造
  • 注意力提示调整：参数高效的预训练模型适应时空建模

    通过在 transformer 模块的键和值中直接插入提示信息，我们提出了注意力提示调整（Attention Prompt Tuning，APT）方法，从而在视频行为识别中大大减少了浮点运算和延迟，并在 UCF101、HMDB51 和 SSv2 数据集上实现了显著的性能提升。

    Mar, 2024

  • 基于 Prompt 调整的视觉 - 语言模型适应器

    本研究提出一个新的模型 Prompt-Adapter，将预训练的提示调整与高效自适应网络相结合，用于高效的视觉 - 语言模型适应过程，超过公共数据集中少量数据情况下的现有方法，在此基础上，探讨了多任务预训练初始化与 prompt tuning 相结合的思想。

    Mar, 2023

  • 面向视觉 - 语言模型的分布感知提示调整

    通过学习大规模数据的知识，预训练的视觉 - 语言模型（VLMs）在各种下游任务中表现出色。本文提出了分布感知的提示微调（DAPT），通过对齐两种模态之间的特征空间，并对每种模态的嵌入进行良好排列，显著改善了模型的泛化能力。

    Sep, 2023

  • 视觉提示调优

    该论文提出了一种名为 Visual Prompt Tuning（VPT）的高效且有效的调整大规模 Transformer 模型的替代方案，相较于 fine-tuning，VPT 仅在输入空间中引入很少的可训练参数，通过在广泛的下游识别任务上的实验，我们发现 VPT 在许多情况下甚至比全尺寸 fine-tuning 更加优秀，同时减小了每个任务的存储成本。

    Mar, 2022

  • 重访视觉调优的能量与提示

    通过关键参数的优化和初始化，我们提出了一种改进的视觉提示调整方法，用于优化预训练模型在下游任务中的性能表现，并在大量实验证明该方法在自我监督预训练适应性上取得了显著的性能改进。

    Feb, 2024

  • IAPT：面向大型语言模型的指令感知提示调整

    我们提出了一种新的提示调整方法，Instruction-Aware Prompt Tuning (IAPT)，该方法只需要四个软标记，并且在具有可调参数的情况下优于最近的基准方法，并比低秩适应性 (LoRA) 在单主干多租户设置下更高效。

    May, 2024

  • 视觉 - 语言模型的对抗提示调整

    通过引入 Adversarial Prompt Tuning (AdvPT) 技术，本研究旨在提升视觉 - 语言模型中图像编码器的对抗性鲁棒性，改善对抗攻击的脆弱性，并且结合现有的基于图像处理的防御技术，进一步提高其防御能力。

    Nov, 2023

  • 多任务视觉语言提示微调

    本文提出了一种多任务视觉语言提示调整（MVLPT）方法，将跨任务知识纳入提示调整算法中，其结果在 20 个视觉任务上的表现优于现有方法。

    Nov, 2022

  • 基于提示调整的语音分类任务 SpeechPrompt v2

    本文提出了 “SpeechPrompt V2” 语音分类的编程框架，该框架在统一的下游任务生成和多个语言的情境下具有高效性并取得了优秀的性能。

    Mar, 2023

  • 晚阶段调优：晚期提示可能比诸多提示更好

    该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

    Oct, 2022