基于 Deliberation 解码器的增量式 Transformer 模型用于文档引导会话

ACLJul, 2019

基于 Deliberation 解码器的增量式 Transformer 模型用于文档引导会话

Incremental Transformer with Deliberation Decoder for Document Grounded Conversations

Zekang Li, Cheng Niu, Fandong Meng, Yang Feng, Qian Li...

TL;DR本文提出了一种基于 Transformer 的架构和增量式 Transformer 编码多轮言语和相关文档知识以及两阶段解码器（Deliberation Decoder）来提高上下文连贯性和知识正确性的新方法，实证研究表明，我们的模型生成的响应在上下文连贯性和知识相关性方面显著优于竞争基线。

Abstract

document grounded conversations is a task to generate dialogue responses when chatting about the content of a given document. Obviously, document knowledge plays a critical role in →

document grounded conversations transformer-based architecture incremental transformer deliberation decoder knowledge

发现论文，激发创造

面向文档相关对话的数据集

本研究介绍了一个文档驱动的文本对话数据集，包含关于热门电影的维基百科文章，利用两种神经网络模型对话，结果表明这种方法引入了更多信息，提高了生成回答的流畅度和吸引力。

Sep, 2018

多模态增量变压器结合视觉定位生成视觉对话

该研究提出了一种多模态增量变形器（MITVG）的视觉指向方法，该方法可以显式地定位与文本实体相关的图像对象，从而帮助模型排除不需要关注的视觉内容，进而在多轮对话历史记录和视觉场景的基础上生成一致且连贯的响应。该模型在 VisDial v0.9 和 v1.0 数据集上实验结果证明了其优越性能。

Sep, 2021

低资源知识驱动对话生成

在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。

Feb, 2020

UniGDD: 一个面向目标的文档驱动对话的统一生成框架

本文提出了一种基于文档的对话方法，通过生成理解文本的知识与回答用户提问，逐步消除错误传播问题，并采用温度调度方法减少文档信息的负面影响，实验结果证明了多任务学习策略的有效性。

Apr, 2022

一种低资源知识引导对话生成的三阶段学习框架

本文提出了基于弱监督学习的三阶段学习框架和一种变体 Transformer 来构建知识驱动的对话系统。评估结果表明该方法在少量训练数据甚至零资源的情况下仍然表现出色。

Sep, 2021

专注注意力改善基于文档的生成

本文介绍了两个文档基于生成任务：维基百科更新生成和对话响应生成。我们提出了两种新颖的大规模预训练编码器 - 解码器模型并提供了更强大的 BART 基线。我们的方法在自动化和人类评估方面均优于现有方法。

Apr, 2021

使用数据增强和噪声通道模型将基于文档的对话系统适应为口语对话

本文介绍了我们在第十届对话系统技术挑战赛第二轨知识引导的任务导向对话建模中的提交内容。在适应 ASR 转录的噪声方面探索不同的方法来使得模型更加健壮，并采用噪声通道模型来适应口语交流的风格。我们的最佳系统在挑战的自动和人工评估中分别排名第一和第三。

Dec, 2021

揭示隐藏的关联：针对与视频相关的对话进行迭代跟踪和推理

对比传统的视觉问答，基于视频的对话需要深入理解对话历史和视频内容以实现准确的响应生成。为了解决现有方法在逐步理解复杂对话历史和融入视频信息方面所面临的挑战，我们提出了一种迭代的跟踪与推理策略，将文本编码器、视觉编码器和生成器相结合。在核心部分，我们的文本编码器具有路径追踪和聚合机制，能够从对话历史中提取对解读提问至关重要的细微差别。同时，我们的视觉编码器采用迭代推理网络，精心设计以从视频中提取和强调关键的视觉标记，增强视觉理解的深度。通过使用预训练的 GPT-2 模型作为响应生成器，将这些丰富的信息整合在一起，生成连贯和与上下文相关的答案。我们在两个有名的数据集上进行的实证评估证实了我们提出设计的实力和适应性。

Oct, 2023

走向利用大型语言模型实现对会话基础的理解

这篇实验研究分析了信息寻求对话中大型语言模型在分类明示或隐含对话转换以及预测对接知识元素方面的能力，并揭示了大型语言模型在这两个任务中遇到的挑战，讨论了通过流程架构和知识库改进大型语言模型的对话接地理解的研究工作，在对话中处理对接知识的复杂性方面，旨在开发更加有效的对话系统。

Jun, 2024

MultiDoc2Dial: 基于多文档的对话建模

该研究提出了 MultiDoc2Dial，这是一个针对建模基于多个文档的目标导向对话的新任务和数据集，旨在为更真实的信息寻求对话场景提供支持，并介绍了一个新的包含来自四个不同领域的基于多个文档的对话的数据集，探索了其基于对话和文档的上下文表示，提供了强基线方法和各种实验结果，支持进一步的研究工作。

Sep, 2021