Jul, 2022

Pro-tuning: 视觉任务统一提示微调

PDF
TL;DR该论文提出了基于 prompt 调节（Prompt tuning，Pro-tuning）的方法来替代 fine-tuning，适应于各种冻结视觉模型到不同的下游视觉任务。实验结果表明，这种方法在图像分类和密集预测任务方面表现优于 fine-tuning。
computer visionfine-tuningprompt-based learningparameter-efficientvision models
发现论文，激发创造
  • 视觉提示调优

    该论文提出了一种名为 Visual Prompt Tuning（VPT）的高效且有效的调整大规模 Transformer 模型的替代方案，相较于 fine-tuning，VPT 仅在输入空间中引入很少的可训练参数，通过在广泛的下游识别任务上的实验，我们发现 VPT 在许多情况下甚至比全尺寸 fine-tuning 更加优秀，同时减小了每个任务的存储成本。

    Mar, 2022

  • 统一视觉与语言提示学习

    该研究系统研究了文本和视觉提示的参数微调方法。他们提出了一个名为 Unified Prompt Tuning (UPT) 的方法，通过学习一个微小的神经网络来联合优化跨不同模态的提示，并在 11 个视觉数据集上进行了强有力的测试，取得了较好的 few-shot learning 和 domain generalization 的效果。

    Oct, 2022

  • 无需微调？代码智能中的提示微调实验评估

    研究表明预训练模型在很多代码智能任务中具有很好的效果，但由于不同形式的输入难以完全利用预训练模型的知识，这篇论文通过在代码智能任务中进行提示调整，探索它对模型性能和低资源情况的影响，实验表明相对于微调，提示调整在三项代码智能任务中都能实现更好的表现，特别是在低资源情况下表现更为优秀。

    Jul, 2022

  • 基于 Prompt 调整的视觉 - 语言模型适应器

    本研究提出一个新的模型 Prompt-Adapter，将预训练的提示调整与高效自适应网络相结合，用于高效的视觉 - 语言模型适应过程，超过公共数据集中少量数据情况下的现有方法，在此基础上，探讨了多任务预训练初始化与 prompt tuning 相结合的思想。

    Mar, 2023

  • 通过提示规范化对视觉语言模型进行去偏微调

    该论文提出了一种基于提示正则化的新模式，用于在下游任务中微调大规模视觉语言预训练模型。通过提示预训练模型进行预测，来规范微调，从而保持其对迁移领域的高性能。同时，通过引入 Kullback-Leibler 损失等手段，自适应权衡预训练与下游任务训练过程中的差异，进一步提高模型性能。

    Jan, 2023

  • 多视图图对比学习的提示调优

    我们提出了一种多视角图对比学习方法，并为其设计了提示调整方法，以缩小预训练和下游任务之间的差距。

    Oct, 2023

  • 增强 Prompt 调参视觉 Transformer 的适应性

    使用 ADAPT 框架对 Vision Transformers 进行参数高效提示调优，实现对下游任务的鲁棒性训练，从而在只调优了约 1% 的参数数量的情况下，实现与完全模型微调相当的鲁棒准确率（约 40%）.

    Mar, 2024

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021

  • P-Tuning v2: 提示调节在规模和任务上可以与微调相媲美

    通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

    Oct, 2021

  • 多任务视觉语言提示微调

    本文提出了一种多任务视觉语言提示调整（MVLPT）方法，将跨任务知识纳入提示调整算法中，其结果在 20 个视觉任务上的表现优于现有方法。

    Nov, 2022