研究使用辅助任务对自回归模型进行改进，提高其在开放域对话生成中的长期语境处理和一致性维护，结果在小型和中型的 GPT-2 模型上表明引入新的辅助任务虽然有所改进，但仍有发展空间。

Apr, 2023

本文提出两种具有辅助任务的模型，用于响应选择，并在 MultiWOZ 2.1 数据集上取得了 107.5 和 108.3 的综合分数，优于具有三倍以上的参数基线模型。

Aug, 2022

本研究提出了一种基于预训练语言模型的上下文相应匹配模型，引入了四个自我监督任务，并与 auxiliary tasks 一起多任务训练 PLM-based 响应选择模型，旨在提高多轮响应选择的准确性。实验结果表明，在检索式对话中，引入辅助自我监督任务对多轮响应选择带来了显著的改进，本模型在两个数据集上都达到了最新的最优结果。

Sep, 2020

本文研究基于信息检索的跨度多轮对话系统以往语句的上下文建模的问题，提出将以前的话语通过一种深度聚合模型聚合成细粒度的上下文进行表示。实验结果表明，与现有的最先进的方法相比，该模型在三个多回合对话基准测试中表现更优秀。

Jun, 2018

本文提出了一种新颖的神经网络架构，用于多轮对话场景下的响应选择，它应用了上下文级别的注意力和领域特定单词描述提供的额外外部知识。该架构使用双向门控循环单元进行编码，并学习在给定潜在响应表示的上下文单词之间进行关注，同时还使用另一个 GRU 来编码领域关键词描述，从而提高了相应中领域特定关键词的表示，实验结果表明，相对于所有其他最先进的方法，我们的模型在多轮对话中具有更好的响应选择性能。

Sep, 2018

本文探讨了答案感知的问题生成任务，提出了在基于注意力机制的指针生成模型中，通过将语言建模转化为辅助任务，将问题生成纳入分层多任务学习结构。我们的联合学习模型使编码器能够学习到更好的输入序列表示，从而指导解码器生成更连贯、流畅的问题。在 SQuAD 和 MARCO 数据集上，我们的多任务学习模型提高了性能，取得了最先进的结果。此外，人类评估进一步证明了我们生成的问题的高质量。

Aug, 2019

本研究提出了基于 Transformer 的多轮对话响应生成模型，采用新颖的检索机制，结合 k 最近邻搜索，基于 Google 发布的 Taskmaster-1 数据集和真实的客户服务呼叫中心数据集进行评估，结果优于强基线模型。

May, 2021

本研究探讨了将中间表示作为深度网络低层的辅助监督的方法，将传统的 pipeline 方法与端到端的训练方法相结合，实验结果表明这种方法提高了对话语音识别的识别准确性。

Apr, 2017

本研究提出一个评估聊天机器人响应的系统，利用明确的反馈机制改进神经响应图生成模型，从而获得更具连续性和参与度的响应。

Apr, 2019

本文提出一种联合框架，用于改善多轮对话中回复生成的表现。这种框架结合了阅读理解任务和回复生成任务，共享相同的编码器来提取共同且与任务无关的特征和不同的解码器来学习任务特定的特征。用记忆更新器增强 Transformer 体系结构以更好地将问题和对话历史的信息融合在编码部分，并在大规模对话阅读理解数据集上进行了实验，结果显示该模型对于两个任务都带来了显著的改进。

Dec, 2020