通过关键参数的优化和初始化，我们提出了一种改进的视觉提示调整方法，用于优化预训练模型在下游任务中的性能表现，并在大量实验证明该方法在自我监督预训练适应性上取得了显著的性能改进。

Feb, 2024

本文提出了一种名为 SGL-PT 的新框架，其中采用 “预训练、提示和预测” 的学习策略，通过采用有生成和对比自监导的结构图（SGL）和基于口头指导的方式，将预训练和微调统一到了一起，从而在图分类任务方面取得了较好的成果。

Feb, 2023

本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

Sep, 2021

采用蒙版微调为动态视觉转换器的静态预训练基础模型提供更好的初始化，以提高准确性并增强其对遮挡的鲁棒性和对信息丢失的抵抗能力。

Oct, 2023

本文提出了一种基于 'MASK' token 编码的 Prompt Tuning 方法 ——Protum，通过隐藏层信息构造分类任务并直接预测标签，相较于 fine-tuning，该方法在较短的时间内连续预训练后取得了更好的性能。

Jan, 2022

该研究提出了一种使用任务特定掩码的方法，通过修改预训练的 BERT 模型来适应下游任务。研究结果表明，这种选择性掩码策略优于随机掩码，具有较好的效果。

Nov, 2022

本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

Apr, 2020

本篇论文提出了一种改进的 Prompt-based fine-tuning 方法，名为 DynaMaR，它通过动态 Prompt 和 Mask Token 表征来解决过度拟合和人工规划任务的问题，并在四个电子商务应用中实现了平均 10% 的 few-shot 设置和 3.7% 的数据丰富设置的性能提高。

Jun, 2022

我们提出了一种多视角图对比学习方法，并为其设计了提示调整方法，以缩小预训练和下游任务之间的差距。

Oct, 2023

本研究提出了一种新的 prompt tuning 框架 (Soft Template Tuning，STT)，它综合了手动和自动提示，将下游分类任务视为遮蔽式语言建模任务，并通过大量实证研究表明，STT 可以在不引入额外参数的情况下缩小 fine-tuning 和 prompt-based 方法之间的差距，并且在情感分类任务上甚至可以超越费时和资源消耗更高的 fine-tuning 方法。

Jul, 2022