基于大规模预训练语言模型的交替循环对话模型

ACLOct, 2019

基于大规模预训练语言模型的交替循环对话模型

Alternating Recurrent Dialog Model with Large-scale Pre-trained Language Models

Qingyang Wu, Yichi Zhang, Yu Li, Zhou Yu

TL;DR该论文提出了一个简单、通用和有效的对话系统模型 - 交替角色对话模型（ARDM），利用大规模预训练语言模型，可在无需人类注释监督的情况下实现有效会话，并且在 CamRest676 和 MultiWOZ 等任务导向型对话数据集上的表现优于或与最先进的方法相当。该模型还可推广到更具挑战性的非协作任务，例如说服任务，能够生成类似于人的回复，以说服人们捐赠慈善事业。

Abstract

Existing dialog system models require extensive human annotations and are difficult to generalize to different tasks. The recent success of large pre-trained language models such as BERT and GPT-2 (Devlin et al.,

dialog system models pre-trained language models task-oriented dialog datasets ardm persuasion tasks

发现论文，激发创造

针对任务导向对话生成的定制化预训练模型

本文提出一种专门为特定任务对话系统设计的预训练模型 PRAL，并设计采用多种技术来提高模型性能及引入了对话预训练数据集，实验结果表明 PRAL 在三种不同任务中表现优异，超越或与最先进的方法持平。

Apr, 2020

任务导向对话系统语言模型比较研究

本研究比较了使用最新的预训练模型，如 BART 和 T5 对任务导向对话系统的端到端训练的效果和强度，实验结果表明在语言模型微调后，模型生成的响应更流畅、更准确，BART 和 T5 在 BLEU 和 F1 分数方面胜过 GPT-based models，达到了任务导向对话系统的最先进水平。

Jan, 2022

基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

Mar, 2020

基於改寫的任務導向對話生成

该研究提出了一种基于替换词增强的响应生成 (PARG) 框架，该框架联合训练了一个替换模型和一个响应生成模型，以提高对话生成的性能，并通过对话状态和对话行为标签自动构建替换培训数据集。实验结果表明，所提出的框架进一步改善了 CamRest676 和 MultiWOZ 上最先进的对话模型，并在对话生成任务中显着优于其他数据增强方法，特别是在资源不足的情况下。

Apr, 2020

LaMDA：面向对话应用的语言模型

LaMDA 是一种专门用于对话的基于 Transformer 的神经语言模型，其具有高达 137B 的参数，并使用公共对话数据和 Web 文本预训练。它具有先进的优化技术，能够解决安全性和事实基础等关键挑战，以及能够在教育和内容推荐领域发挥积极作用。

Jan, 2022

利用预训练生成语言模型的视频对话

本文提出了一种基于 GPT-2 模型的框架，将视频与文本表示结合成连续、有结构的序列，并利用其 fine-tuning 能力来解决视频对话中的挑战，从而在 Audio-Visual Scene-Aware Dialogues 基准测试中取得了显著的改进。

Jun, 2020

TOD-BERT: 面向任务导向对话的预训练自然语言理解

本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

Apr, 2020

利用大规模语言模型构建具有角色指定的开放域对话系统

本研究旨在解决将角色赋予开放领域对话系统的问题，并提出了一个高效的数据收集框架，借助大规模语言模型的上下文少样本学习来构建满足角色约束的对话数据集。在此基础上，通过比较不同架构的开放领域对话系统，在保持其会话能力的同时满足角色约束。研究结果消息表明，我们的模型返回少量越界言论，在一般指标上保持竞争力。

Apr, 2022

基于预训练语言模型的任务导向对话系统研究 —— 以 GPT-2 为例

本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型，并在 MultiWOZ 数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

Jul, 2019

通过多引用对抗数据集和大规模预训练来改善对话评估

为了更好地训练和评估基于模型的度量方法，我们引入了 DailyDialog++ 数据集，并提出了一种新的基于 BERT 的度量方法 DEB，该方法预训练与 Reddit 对话中并且对我们的数据集进行了微调。DEB 的性能显著优于现有模型，并表现出更好的与人类判断的相关性和更好的随机负例性能，但在对抗性响应的评估中性能显著下降。

Sep, 2020