本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用 prompt-tuning 进行多语言 NLU 任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning 在跨数据集跨语言传递方面比微调表现更好，而且只需调整 0.1% 到 0.3% 的参数。此外，分析表明，prompt tuning 可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

Oct, 2022

通过比较 prompt-tuning 和 fine-tuning 的表示，在神经解码方面，我们发现对于 10 个自然语言理解任务，prompt-tuning 优于 fine-tuning，表明更符合大脑的调节方法获得的表征与脑部数据更相关。此外，我们发现与其他任务相比，处理细粒度概念意义的任务在解码大脑激活模式方面表现更好，尤其是句法分块任务，这表明在表示语言时，我们的大脑编码了更多细粒度的概念信息而不仅仅是浅层句法信息。

Oct, 2023

本研究首次探讨了基于生成式口语语言模型 (GSLM) 的提示调整范式用于语音处理任务，实验结果表明，与下游精细调整模型相比，提示调整技术使用的可调参数更少，在语音分类任务中实现了较高性能。

Mar, 2022

开发用于大型语言模型的软提示学习算法，研究词干的形状、使用冻结 / 非冻结语言模型进行文字调优、迁移学习和少样本学习的能力。

Oct, 2023

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022

研究表明预训练模型在很多代码智能任务中具有很好的效果，但由于不同形式的输入难以完全利用预训练模型的知识，这篇论文通过在代码智能任务中进行提示调整，探索它对模型性能和低资源情况的影响，实验表明相对于微调，提示调整在三项代码智能任务中都能实现更好的表现，特别是在低资源情况下表现更为优秀。

Jul, 2022

本文研究了自动提示技术在六个不同的下游任务和更广泛的 K-shot 学习场景中的应用。我们发现，自动提示并不总是优于简单的手动提示。我们的研究表明，在这一领域的研究中，除了 fine-tuning 之外还应该使用手动提示作为基线。

Apr, 2023

本文提出了 input-tuning 的概念，旨在通过 fine-tuning 连续提示和输入表示来更有效地适应陌生的自然语言生成任务输入，实验证明它可以显著且一致地胜过 prompt-tuning。

Mar, 2022

传统方法在对大型语言模型（LLMs）进行任务微调时面临着挑战。这篇论文介绍了一种名为 L-Tuning 的有效微调方法，专为自然语言推理（NLI）框架中的分类任务而设计，通过对预训练 LLM 进行标签令牌的微调，从而改善模型的训练效果和分类准确度，并提高训练效率。

Dec, 2023

通过优化，使用 P-Tuning v2 方法能够在广泛的模型尺度和自然语言理解任务中取得与微调相当的性能，只需调整 0.1%-3% 的参数。

Oct, 2021