Jul, 2019

基于预训练语言模型的任务导向对话系统研究——以GPT-2为例

HTML
PDF
TL;DR本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于TransferTransfo和生成模型预训练的对话模型，并在MultiWOZ数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。
发现论文，激发创造
  • 面向任务的对话系统中神经响应选择的训练

    通过在大型通用领域对话语料库上预训练反应选择模型，然后利用小型特定领域数据微调预先训练的模型，本论文提出了一种有效的方法来部署任务导向对话中的响应选择，取得了很好的效果。在六个不同的应用领域，从电子商务到银行业，本方法都表现出了良好的效果。

    Jun, 2019

  • 针对任务导向对话生成的定制化预训练模型

    本文提出一种专门为特定任务对话系统设计的预训练模型PRAL，并设计采用多种技术来提高模型性能及引入了对话预训练数据集，实验结果表明PRAL在三种不同任务中表现优异，超越或与最先进的方法持平。

    Apr, 2020

  • 以语言模型为少样本学习者的任务导向式对话系统

    本文探讨自然语言理解、对话状态跟踪、对话策略和自然语言生成这四个模块在少数据样本下学习的挑战，并评估了使用自然语言生成模型进行少样本迁移学习的效果和局限性，为未来研究提供了启示。

    Aug, 2020

  • AuGPT：使用辅助任务和数据增强进行端到端对话的预训练语言模型

    为了解决注意力语言模型在任务导向对话中的缺陷，这篇论文引入了修改过的训练目标和巨量数据增强技术，研究数据来源的多重组合方式，并通过人工和自动评估证明了方法的高效性，取得了与最先进技术的竞争性表现。

    Feb, 2021

  • 以任务为导向的对话系统作为自然语言生成

    本文提出了一种基于大规模预训练模型（如GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的GPT-Adapter-CopyNet网络，它将轻量级adapter和CopyNet模块融入GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

    Aug, 2021

  • 异曲同工：探究多样化对话任务的适切预训练方法

    研究发现，为了适应特定领域的无标签数据，引入进一步的预训练阶段可以带来积极影响，不同的下游任务需要适当的先前任务作为进一步的预训练任务来弥合任务公式差距，并针对多个任务导向的对话下游任务设计各种任务以提高其性能。

    Sep, 2021

  • 插拔式任务导向对话系统的多任务预训练

    该研究提出了通过PPTOD模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准TOD任务的最新成果。

    Sep, 2021

  • 任务导向对话系统语言模型比较研究

    本研究比较了使用最新的预训练模型，如 BART 和 T5 对任务导向对话系统的端到端训练的效果和强度，实验结果表明在语言模型微调后，模型生成的响应更流畅、更准确，BART 和 T5 在 BLEU 和 F1 分数方面胜过 GPT-based models，达到了任务导向对话系统的最先进水平。

    Jan, 2022

  • FETA：开放域对话中少样本任务迁移的基准

    本论文研究了对话任务转移的方法和应用，提出了FETA：一种开放域对话中少样本任务转移指标的基准，通过分析132对源-目标任务之间的可转移性来创建基线，并报道了有价值的发现，例如大多数性能趋势是模型特定的，而跨越提取和多项选择任务的任务转移受益最大。

    May, 2022

  • 使用上下文摘要和领域框架的零样本泛化端到端任务导向对话系统

    该研究介绍了一种基于GPT-2模型的零-shot通用端到端任务导向对话系统，该系统利用​​域模式允许对未见过的域进行健壮的泛化，并利用对话历史的有效摘要，实现一般任务完成技能的学习。经过了大量的实验评估SGD和SGD-X数据集，跨越多达20个独特的领域，ZS-ToD在关键度量上优于现有技术，联合目标准确率提高了17％，信息传递提高了5个单位。

    Mar, 2023