本文探讨了通过基于提示的少样本学习在对话任务中的应用，通过对多种大小的语言模型进行测试，提出一种新的无需微调的提示分类器，并结合技能选择器创建了一种称为 Few-Shot Bot 的端到端聊天机器人，只需使用少量对话示例便可以完成知识检索并生成人类般自然的响应。

Oct, 2021

该研究旨在通过使用大规模语言模型（LSLM）独特的少样本能力，借助于 Google 搜索返回的信息对语言模型进行少量提示，从而克服其与现实事实和最新信息相关性的挑战，从而使得模型在开放领域问题回答方面的性能优于相同或更大规模的封闭书模型，同时，增加推理时间的计算能力可以提高模型的性能。

Mar, 2022

基于对话文本和外部知识的知识驱动对话系统面临实际应用中各种噪声干扰，为提高系统鲁棒性，我们提出了一种基于实体对比学习的框架，通过引入两种类型的干扰样本，使得模型在真实应用中能够生成具有信息性的回应，实验证明该方法在三个基准数据集上实现了最新的性能提升，并在噪声和少样本场景下胜过其他模型。

Jan, 2024

在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。

Feb, 2020

研究通过提出一种新的 “DTG” 提示框架来改善大型语言模型在自然语言生成任务中的表现，该提示框架在 20 多个数据集和 7 个文本生成任务中进行了广泛实验，表明 DTG 方法在多项文本生成任务中表现卓越，优于现有的提示方法，并提供了有关其机理的深入分析。

May, 2023

本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

Oct, 2022

本文讨论使用主观知识进行任务导向型对话建模的方法，重点关注回答生成。我们通过广泛的数据分析确定了回答长度、情感和对话行为等关键因素，并使用少样本学习来增强数据。我们提出了三种方法应用于 DSTC11：（1）任务特定模型探索，（2）将最频繁的问题纳入所有生成的回答，以及 （3）结合了 GPT-3 和 ChatGPT 的瀑布提示技术。

Aug, 2023

大型预训练视觉语言模型（VLMs）在下游任务中展现出令人印象深刻的零 - shot 能力，但人工设计的提示对特定领域不够优化。本文提出了一种用于下游任务的软提示方法，通过在特定域数据上进行微调，将软提示作为学习向量。我们从生成的角度重构了提示学习框架，并提出了一种简单而高效的域泛化（DG）任务方法，即软提示生成（SPG）。在训练阶段，我们引入了每个领域的软提示标签，以融合生成模型的领域知识。在推理阶段，生成模型的生成器被用来获取未知目标域的实例特定软提示。对三个域泛化任务的五个领域泛化基准进行的大量实验证明了我们提出的 SPG 方法达到了最先进的性能。代码将很快提供。

Apr, 2024

在少样本情况下，本文提出了一种带提示和动态演示的语言模型（LM-PDD）来解决自然语言推理生成任务问题，该方法在 SNLI 和 MNLI 数据集上比标准微调模型有着 8% 的平均绝对改进，并且在 13 种自然语言分类任务上表现良好，可以用于数据增强和可控文本生成。

May, 2022

本文提出了将 prompting 和 reinforcement learning 相结合的方法以控制 chatbot 生成的内容，并通过 multi-task learning 提高该方法的泛化能力和适应性，实验证明所提出的方法可以成功控制多个 SOTA Dialogue Models。

Jun, 2022