动态掩码令牌表示的动态提示

Jun, 2022

DynaMaR: Dynamic Prompt with Mask Token Representation

Xiaodi Sun, Sunny Rajagopalan, Priyanka Nigam, Weiyi Lu, Yi Xu...

TL;DR本篇论文提出了一种改进的 Prompt-based fine-tuning 方法，名为 DynaMaR，它通过动态 Prompt 和 Mask Token 表征来解决过度拟合和人工规划任务的问题，并在四个电子商务应用中实现了平均 10% 的 few-shot 设置和 3.7% 的数据丰富设置的性能提高。

Abstract

Recent research has shown that large language models pretrained using unsupervised approaches can achieve significant performance improvement on many downstream tasks. Typically when adapting these language models to downstream tasks, like a classification or regression task, we employ

large language models fine-tuning prompt-based fine-tuning few-shot tasks dynamar

发现论文，激发创造

动态提示：一种用于提示调整的统一框架

本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning，通过任务优化、位置、长度和提示表示的动态优化，实验证明 DP 能提高分类准确度，并证明其在全数据、少样本和多任务情况下都是有用的。

Mar, 2023

AutoPrompt: 使用自动生成的提示从语言模型中引导知识

利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

Oct, 2020

针对具有鉴别力的预训练语言模型的提示调节

该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。

May, 2022

PT-Tuning：通过提示词符调优来弥合时间序列掩码重构与预测之间的差距

本论文针对时间序列遮蔽重构和预测之间的差距，提出了一种任务目标统一和适应任务难度的方法并且通过引入 PT-Tuning 范式进一步减小了差距，实验证明该方法在实际数据集上具有卓越的性能。

Nov, 2023

通过动态视觉提示将预训练语言模型应用于视觉语言任务

本文旨在研究使用预训练语言模型（Pre-trained language models，PLMs）作为一个独立的模型来进行视觉语言推理任务。提出了一个名为 Dynamic Visual Prompting（DVP）的新型转移学习方法，通过搜索算法，在保持 PLMs 参数完整性的情况下，有效地将其与不同的视觉语言任务相结合。经过广泛的实验验证，DVP 在效率和性能方面都具有优势，并且能够很好地适应预训练语言模型与 VL 任务相结合的需求。

Jun, 2023

针对少样本文本分类的统一提示调整

该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

May, 2022

用对比提示调整使预训练语言模型成为端到端的小样本学习模型

CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

Apr, 2022

使用冻结语言模型的临床提示学习

研究了 prompt learning 对临床应用决策任务的可行性，并与传统的微调方法进行了直接比较。结果部分符合 prompt learning 文献，提示学习能够在可训练参数更少和需要更少的训练数据的情况下与传统微调相匹配或改进，可以作为一种可替代越来越大的预训练语言模型微调的较低计算资源成本，适用于临床环境。

May, 2022

双向语言模型也是小样本学习器

本研究提出了一种名为 SAP 的技术，旨在使双向语言模型具有提示功能。利用机器翻译任务作为案例研究，我们使用 SAP 提示双向 mT5 模型，并证明其少量示例和零量示例的翻译性能优于 unidirectional 模型，同时展示了 SAP 在问答和摘要生成中的有效性，证明提示学习是更广泛的语言模型类别的新兴属性而不仅仅是单向模型的特征。

Sep, 2022

可微提示提升预训练语言模型少样本学习能力

该研究提出了一种名为 DifferentiAble pRompT（DART）的方法，可以将小型语言模型转换为更好的 few-shot learners，而无需进行任何提示工程设计。该方法通过将潜在的自然语言处理任务重新定义为预训练语言模型的任务，并使用反向传播差分优化调整提示模板和目标标签等方面来实现。进一步，该方法可以插接到任何预训练语言模型上，并扩展到广泛的分类任务，综合评估表明，该方法可以取得更好的 few-shot 性能。

Aug, 2021