EMNLPOct, 2022

面向任务导向对话系统的半监督知识驱动预训练

PDF
TL;DR本文介绍了我们的 Track 2 模型，利用大规模真实世界的 MobileCS 中国 TOD 数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。
task-oriented dialogueneural approachessemi-supervised learningknowledge-grounded dialog modelchinese tod dataset
发现论文，激发创造
  • 基于半监督学习的面向知识检索任务的对话系统

    提出一种基于检索的方法，以加强 TOD 系统中的知识选择，并结合半监督学习进行潜变量模型，该模型可以与知识检索器一起利用有标签和无标签的对话数据。实验证明，该方法在有标签和半监督设置下均优于传统的数据库查询方法。

    May, 2023

  • 半监督学习与粗细意图检测探索客户服务对话系统

    本研究基于师生范式构建了一个弱监督数据集，整合粗细分类策略实现用户意图检测，实验表明，基于此方法的模块化对话系统能够以更高的成功率实现任务目标并生成更连贯的响应。

    Dec, 2022

  • 自训练提高了面向任务的对话系统中 Few-shot 学习的预训练

    研究通过自我训练的方法，利用大量未标记的对话数据进一步改进预先训练的模型，以应对高昂的对话系统不同模块的标注成本问题，并证明该方法在少量标记数据可利用时可以一致提高现有预先训练模型的性能。

    Aug, 2021

  • TOD-BERT: 面向任务导向对话的预训练自然语言理解

    本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

    Apr, 2020

  • 插拔式任务导向对话系统的多任务预训练

    该研究提出了通过 PPTOD 模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准 TOD 任务的最新成果。

    Sep, 2021

  • FutureTOD：教授预训练语言模型未来知识用于任务导向对话

    本文提出了一种基于 FutureTOD 模型的对话预训练方法，该方法可通过自我训练并利用未来奖励来使模型学习到当下上下文信息和预测未来信息，从而提高对话表示的概括、鲁棒和学习判别性能力，并在不同的下游对话任务中获得了良好的表现。

    Jun, 2023

  • 知识丰富的面向任务的对话系统 (KETOD)

    在这项工作中，我们研究了如何将任务定向对话和有知识的聊天有机地整合到单个模型中，通过创建一个新的数据集 KETOD 来自然地丰富基于相关实体知识的任务定向对话。我们还提出了两个新模型，SimpleToDPlus 和 Combiner，在自动和人工评估的实验结果中表现出显著的优越性能。

    May, 2022

  • 任务驱动对话中基础知识查询的无监督学习

    本文提出了如何在没有知识库查询注释的情况下，使用强化学习和管道方法来训练任务导向型对话系统，并解决了相关问题，并通过分析强化学习算法的相关性和差异，突出了训练任务导向型对话系统的挑战。

    Apr, 2020

  • 半监督强化任务导向对话系统挑战赛

    本研究旨在解决半监督和强化的任务导向型对话系统方面的问题，并且与 EMNLP2022 SereTOD 研讨会合作。

    Jul, 2022

  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020