Jul, 2019

基于预训练语言模型的任务导向对话系统研究 —— 以 GPT-2 为例

PDF
TL;DR本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型，并在 MultiWOZ 数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。
task-oriented dialogue systemsdata scarcitylanguage modelingtransfer learningmultiwoz dataset
发现论文，激发创造
  • 以任务为导向的对话系统作为自然语言生成

    本文提出了一种基于大规模预训练模型（如 GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的 GPT-Adapter-CopyNet 网络，它将轻量级 adapter 和 CopyNet 模块融入 GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

    Aug, 2021

  • FutureTOD：教授预训练语言模型未来知识用于任务导向对话

    本文提出了一种基于 FutureTOD 模型的对话预训练方法，该方法可通过自我训练并利用未来奖励来使模型学习到当下上下文信息和预测未来信息，从而提高对话表示的概括、鲁棒和学习判别性能力，并在不同的下游对话任务中获得了良好的表现。

    Jun, 2023

  • 以语言模型为少样本学习者的任务导向式对话系统

    本文探讨自然语言理解、对话状态跟踪、对话策略和自然语言生成这四个模块在少数据样本下学习的挑战，并评估了使用自然语言生成模型进行少样本迁移学习的效果和局限性，为未来研究提供了启示。

    Aug, 2020

  • 面向口语对话的任务导向对话建模的通用模型

    本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距，我们采用了大量数据扩增策略，包括人工误差注入和文本转语音转换。我们改良了预训练语言模型，并对每个子任务应用了集成算法，以训练稳健的口头对话模型。我们的方法在官方评估中排名第三，在最终的正式人类评估中排名第二。

    Mar, 2022

  • AuGPT：使用辅助任务和数据增强进行端到端对话的预训练语言模型

    为了解决注意力语言模型在任务导向对话中的缺陷，这篇论文引入了修改过的训练目标和巨量数据增强技术，研究数据来源的多重组合方式，并通过人工和自动评估证明了方法的高效性，取得了与最先进技术的竞争性表现。

    Feb, 2021

  • TOD-BERT: 面向任务导向对话的预训练自然语言理解

    本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

    Apr, 2020

  • 利用预训练生成语言模型的视频对话

    本文提出了一种基于 GPT-2 模型的框架，将视频与文本表示结合成连续、有结构的序列，并利用其 fine-tuning 能力来解决视频对话中的挑战，从而在 Audio-Visual Scene-Aware Dialogues 基准测试中取得了显著的改进。

    Jun, 2020

  • 揭开 ChatGPT 的面纱：对人工智能生成的以目标为导向的对话和注释进行关键分析

    本文探讨了预训练语言模型在生成目标导向对话方面的潜力，并通过 ChatGPT 在三类目标导向对话、两种生成模式和两种语言的实验中进行了评估，结果表明生成的对话和注释质量与人类相当。

    May, 2023

  • 面向任务的对话系统中神经响应选择的训练

    通过在大型通用领域对话语料库上预训练反应选择模型，然后利用小型特定领域数据微调预先训练的模型，本论文提出了一种有效的方法来部署任务导向对话中的响应选择，取得了很好的效果。在六个不同的应用领域，从电子商务到银行业，本方法都表现出了良好的效果。

    Jun, 2019

  • 针对任务导向对话生成的定制化预训练模型

    本文提出一种专门为特定任务对话系统设计的预训练模型 PRAL，并设计采用多种技术来提高模型性能及引入了对话预训练数据集，实验结果表明 PRAL 在三种不同任务中表现优异，超越或与最先进的方法持平。

    Apr, 2020