Apr, 2020

针对任务导向对话生成的定制化预训练模型

PDF
TL;DR本文提出一种专门为特定任务对话系统设计的预训练模型 PRAL，并设计采用多种技术来提高模型性能及引入了对话预训练数据集，实验结果表明 PRAL 在三种不同任务中表现优异，超越或与最先进的方法持平。
pre-trained language modelstask-oriented conversational systemsdialog pretraining datasetpralstate-of-the-art methods
发现论文，激发创造
  • 基于大规模预训练语言模型的交替循环对话模型

    该论文提出了一个简单、通用和有效的对话系统模型 - 交替角色对话模型（ARDM），利用大规模预训练语言模型，可在无需人类注释监督的情况下实现有效会话，并且在 CamRest676 和 MultiWOZ 等任务导向型对话数据集上的表现优于或与最先进的方法相当。该模型还可推广到更具挑战性的非协作任务，例如说服任务，能够生成类似于人的回复，以说服人们捐赠慈善事业。

    Oct, 2019

  • 基于预训练语言模型的任务导向对话系统研究 —— 以 GPT-2 为例

    本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型，并在 MultiWOZ 数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

    Jul, 2019

  • OPAL: 面向任务的对话的本体感知预训练语言模型

    本文提出了一种面向任务的对话技术（TOD）前置训练语言模型 (OPAL)，采用预训练和微调相结合的方法，成功地解决了无法获得大规模任务对话数据的问题，并在 CamRest676 和 MultiWOZ 基准测试中实现了令人兴奋的提升和竞争性表现。

    Sep, 2022

  • 对话理解的结构预训练

    本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

    May, 2021

  • FutureTOD：教授预训练语言模型未来知识用于任务导向对话

    本文提出了一种基于 FutureTOD 模型的对话预训练方法，该方法可通过自我训练并利用未来奖励来使模型学习到当下上下文信息和预测未来信息，从而提高对话表示的概括、鲁棒和学习判别性能力，并在不同的下游对话任务中获得了良好的表现。

    Jun, 2023

  • TOD-BERT: 面向任务导向对话的预训练自然语言理解

    本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

    Apr, 2020

  • 任务导向对话系统语言模型比较研究

    本研究比较了使用最新的预训练模型，如 BART 和 T5 对任务导向对话系统的端到端训练的效果和强度，实验结果表明在语言模型微调后，模型生成的响应更流畅、更准确，BART 和 T5 在 BLEU 和 F1 分数方面胜过 GPT-based models，达到了任务导向对话系统的最先进水平。

    Jan, 2022

  • 基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

    本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

    Mar, 2020

  • PLATO：基于离散潜变量的预训练对话生成模型

    本文提出了基于预训练模型的对话生成框架，采用灵活的注意力机制和离散的潜在变量，解决了响应生成中存在的一对多映射问题，并设计了两种互补的任务对话响应生成和潜在动作识别。实验结果表明，该框架在三个公开数据集上验证了其优越性。

    Oct, 2019

  • 插拔式任务导向对话系统的多任务预训练

    该研究提出了通过 PPTOD 模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准 TOD 任务的最新成果。

    Sep, 2021