AAAIDec, 2020

面向任务对话系统的实体感知知识检索与生成响应的复制机制学习

PDF
TL;DR本文描述利用预训练语言模型及粗层次知识信息进行基于任务的对话建模，实现对话历史和知识访问的响应生成，并在模型最终输出的基础上进行后处理策略以进一步提升知识应用，在客观指标下获得第二名，在人类指标下获得第四名的实验结果。
task-oriented conversational modelingunstructured knowledge accesspre-trained language modelsknowledge-grounded response generationpost-processing strategies
发现论文，激发创造
  • 面向任务的对话中基于非结构化知识的高效检索增强生成

    本文总结了我们在第九届对话系统技术挑战赛（DSTC 9）第一轨中的工作，我们提出了一种基于层次分类和序列嵌入的检索和生成方法，以实现针对任务导向对话中利用非结构化文本信息的回答生成。

    Feb, 2021

  • 面向口语对话的任务导向对话建模的通用模型

    本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距，我们采用了大量数据扩增策略，包括人工误差注入和文本转语音转换。我们改良了预训练语言模型，并对每个子任务应用了集成算法，以训练稳健的口头对话模型。我们的方法在官方评估中排名第三，在最终的正式人类评估中排名第二。

    Mar, 2022

  • DSTC9 中基于任务的对话建模与非结构化知识访问跟踪的超越领域 API

    任务驱动的对话系统使用外部非结构化知识源来扩展任务领域 API 的覆盖范围，三个任务包括知识寻找、选择和响应生成，并用集成方法和大规模预训练语言模型取得了高性能。

    Jan, 2021

  • 可以提供进一步帮助吗？使用非结构化知识访问来改善任务导向的对话建模

    本研究针对限定领域 API 的局限性，采用一种基于查询 - 选择 - 回应的方法，引入了外部非结构化知识资源，通过对话上下文信息的提取和增强实现了对超出 API 覆盖范围用户请求的响应，并在 DSTC9 Track 1 基准数据集上实现了全自动和人工评估的最优性能，验证了我们的贡献的有效性。

    Jun, 2021

  • 具有主观知识的任务导向对话建模

    本文提出了一个基于客户评论和 FAQ 的交互式对话模型，主要通过围绕知识检索、知识选择和响应生成的三个阶段进行改进。我们主要针对知识选择模块的改进以提高整个系统的性能，我们提出了实体检索方法，其中基于命名实体识别的实体检索方法的搜索速度比基准模型提高了 7 倍。除此之外，我们还探索了一个关键词提取方法，该方法可以提高知识选择的准确性，初步结果显示知识选择任务的准确匹配得分提升了 4%。

    Mar, 2023

  • 基于文档支持的任务型对话系统：HLTPR@RWTH 在 DSTC9 和 DSTC10 上的研究

    本文总结了我们在第 9 和 10 个对话系统技术挑战赛（DSTC9 和 DSTC10）的文档驱动对话任务中的贡献，包括知识选择，数据增强，响应生成和评估指标等领域。

    Apr, 2023

  • 微信 AI 和 ICT 提交 DSTC9 交互对话评估赛道

    本论文介绍并参加了 DSTC9 互动式对话评估赛中的子任务一和子任务二，提出了预训练语言模型用于生成与特定话题相关的回复，并提出了回复集合方法，同时提出了用于捕获与人类互动中对话流程的对话策划模型，设计了一种集成的开放域对话系统，具有流畅，连贯，连贯和人类特征的响应，并在子任务一中获得了第一名的人类评分和最高的 Meteor 和 Bert 分数，在子任务二中排名第三。

    Jan, 2021

  • 基于复制增强的序列到序列模型在任务型对话中表现良好

    本篇论文采用潜在神经嵌入状态和学习选择性关注，以及复制上下文等技术，对话系统可以不依赖于显式的用户意图和信念状态而实现特定领域用户对话。它证明了简单的序列到序列神经网络结构与复制机制的有效性，并在每次对话回应生成方面比更复杂的记忆增强模型高出 7％，达到了 DSTC2 的最新水平。

    Jan, 2017

  • 以任务为导向的对话系统作为自然语言生成

    本文提出了一种基于大规模预训练模型（如 GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的 GPT-Adapter-CopyNet 网络，它将轻量级 adapter 和 CopyNet 模块融入 GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

    Aug, 2021

  • 端到端任务导向对话系统的检索生成对齐

    利用最大边际似然方法训练感知检索器，通过利用生成回应的信号来提高生成回应的质量，并结合元知识指导生成器，以增强知识的利用能力。

    Oct, 2023