Few-Shot Bot: 基于提示的对话系统学习
本文介绍了一种基于 MetaLWOz 数据集的知识迁移技术,实现在少量样本下训练对话系统的方法,并在多个领域的人机对话中达到了最先进的结果,同时也不需要任何标注数据。
Aug, 2019
本文探讨自然语言理解、对话状态跟踪、对话策略和自然语言生成这四个模块在少数据样本下学习的挑战,并评估了使用自然语言生成模型进行少样本迁移学习的效果和局限性,为未来研究提供了启示。
Aug, 2020
本研究提出了一种基于提示的方法,通过连续或离散提示来区分不同构建的输入,例如基础来源和会话内容,证明提示的语言模型表现优于会话模型,并进一步分析影响提示效果的各种因素,为未来研究提供了有价值的发现和见解。
Sep, 2021
通过设计双提示学习框架,利用预训练语言模型的语言理解和生成能力,将对话状态跟踪任务高效地转化为一项语言建模任务,提高了低资源情况下对话状态跟踪的效率。实验证明,该方法优于现有的少样本学习方法,并且可生成未见过的槽位。
Jan, 2022
本研究提出了一个基于in-context learning (ICL)框架、利用大型预训练语言模型 (LM)进行零样本和小样本学习的对话状态跟踪 (DST)方法,重点是通过将DST优化为文本到SQL问题和使用新颖的对话检索方法,以检索标注对话作为样本来提高对答案问题的准确性。在MultiWOZ上的实证结果表明,IC-DST法在小样本情境中明显优于以往最先进的模型,在只输入固定任务指令的零样本情境下,也比以往的零样本方法表现得更好。
Mar, 2022
我们探讨了基于任务导向的对话系统的对话信念状态跟踪(DST)问题。通过以Prompt为基础进行少样本学习,我们证明了Prompt-based方法在DST的Few-shot学习中具有潜在的潜力,并提供了未来改进的方向。
Apr, 2022
本文提出了将prompting和reinforcement learning相结合的方法以控制chatbot生成的内容,并通过multi-task learning提高该方法的泛化能力和适应性,实验证明所提出的方法可以成功控制多个SOTA Dialogue Models。
Jun, 2022
对话系统需要产生高语义可信度的能实现多种类型对话行为的回应。本文提出了一种新颖的少样本过度生成与排序方法来实现对话行为的可控生成,并将其与八种少样本提示方式进行了比较,其中包括使用文本风格转移方法从文本伪参考中生成。在生成过程中,我们开发了六个自动排序函数,可以识别具有正确对话行为和高语义准确性的输出。我们在三个领域和四个预训练语言模型上进行了测试,结果显示,几种提示设置实现了完美的对话行为准确性,并且语义准确率接近完美(99.81%),表现优于少样本微调模型。
Jul, 2023
基于对话的基于策略梯度的离散提示优化方法通过多轮对话适应性策略生成可读性提示集,并提出了具有线性复杂度的高质量提示筛选度量和基于策略梯度的强化学习框架,优于四个开源数据集上平均1.52%的最先进方法,在只使用少量的预训练语言模型参数进行学习的少样本设置中,$DP_2O$具有良好的通用性、稳健性和泛化能力。
Aug, 2023
通过提出多维任务提示学习方法(MTPrompt),将更多的任务相关信息嵌入提示中,以激发大型语言模型中嵌入的知识,从而实现在少样本和五个不同数据集上取得最佳结果,并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。
Dec, 2023