本文提出了一种名为OPTIMA的算法，通过领域自适应来改进预处理语言模型的prompt tuning，结果表明OPTIMA可以显著提高prompt tuning的可迁移性和样本效率，并在少样本情况下超过全模型调整性能。
Oct, 2022
本文探索了通过提示调整获得的软提示如何在零样本推理中协助硬提示，以实现任务泛化。结果表明，此简单方法仅增加了0.007％的额外参数，但在大型基准测试上提高了2.39％的平均准确率，对不同评估提示的准确性和鲁棒性有更好的排名。
本文针对单层的注意力机制和上下文混合模型, 探究了Prompt-tuning的策略, 并分析了Prompt在梯度下降过程中学到的规律和其在上下文中的表现, 最终提出了有关Prompt-tuning的理论解释和实验验证。
Jun, 2023
基于对话的基于策略梯度的离散提示优化方法通过多轮对话适应性策略生成可读性提示集，并提出了具有线性复杂度的高质量提示筛选度量和基于策略梯度的强化学习框架，优于四个开源数据集上平均1.52％的最先进方法，在只使用少量的预训练语言模型参数进行学习的少样本设置中，$DP_2O$具有良好的通用性、稳健性和泛化能力。
Aug, 2023
自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的LLM-based提示优化器的策略。实验结果表明GPO具有有效性和高效性，并分别相对基准方法在Big-Bench Hard和MMLU上带来了多达56.8%和55.3%的额外改进。
Feb, 2024
在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。
Apr, 2024
大型预训练视觉语言模型（VLMs）在下游任务中展现出令人印象深刻的零-shot能力，但人工设计的提示对特定领域不够优化。本文提出了一种用于下游任务的软提示方法，通过在特定域数据上进行微调，将软提示作为学习向量。我们从生成的角度重构了提示学习框架，并提出了一种简单而高效的域泛化（DG）任务方法，即软提示生成（SPG）。在训练阶段，我们引入了每个领域的软提示标签，以融合生成模型的领域知识。在推理阶段，生成模型的生成器被用来获取未知目标域的实例特定软提示。对三个域泛化任务的五个领域泛化基准进行的大量实验证明了我们提出的SPG方法达到了最先进的性能。代码将很快提供。
通过渐进性微调将提示知识内化到模型参数中，我们的方法能够使LLMs在新任务中模拟人类学习过程，并逐渐适应该任务，从而减少推理标记超过90％、加速推理4.2倍、节省88.3％的费用。
Jul, 2024
本研究解决了视觉语言模型提示调整中手工和模板化提示缺乏通用性的问题。通过将软提示与手工提示视为文本模态的双重视角，并最大化它们的互信息，研究提出了一种新的方法来增强任务特定信息和一般语义信息的结合。此外，引入的视觉模态类增广技术显著提升了对未见类的鲁棒性。该方法在多个基准测试中的评估结果表明，其在特定任务性能和一般能力方面均具竞争力。
Oct, 2024
本研究针对使用大语言模型（LLMs）时长提示导致的内存和推理成本增加问题，探讨了提示压缩的有效方法。论文综述了硬提示和软提示的技术比较，分析了其机制，并提出了未来优化的方向，旨在推动该领域的进步。主要发现是提示压缩能显著提高大语言模型的效率，为进一步研究提供了潜在影响。