本文提出了一种新颖的神经网络架构，用于多轮对话场景下的响应选择，它应用了上下文级别的注意力和领域特定单词描述提供的额外外部知识。该架构使用双向门控循环单元进行编码，并学习在给定潜在响应表示的上下文单词之间进行关注，同时还使用另一个 GRU 来编码领域关键词描述，从而提高了相应中领域特定关键词的表示，实验结果表明，相对于所有其他最先进的方法，我们的模型在多轮对话中具有更好的响应选择性能。

Sep, 2018

本文提出了一种新的导航代理程序，利用依赖树派生的句法信息增强指令和当前视觉场景之间的对齐，显著提高了在 Room-to-Room 数据集上的性能，同时在 Room-Across-Room 数据集上取得了新的最高性能水平。

Apr, 2021

本文研究基于信息检索的跨度多轮对话系统以往语句的上下文建模的问题，提出将以前的话语通过一种深度聚合模型聚合成细粒度的上下文进行表示。实验结果表明，与现有的最先进的方法相比，该模型在三个多回合对话基准测试中表现更优秀。

Jun, 2018

该论文研究了在多轮对话中选择最适当的回应是一个检索型对话系统的关键问题，提出了一种基于受监督对比学习的新方法并应用于回应选取中，利用句子标记交换和句子重排序的技术，经过实验验证，该方法明显优于基线和目前各种方法。

Mar, 2022

本文研究了在检索型的多轮对话系统中，如何在给定用户和系统对话历史记录的情况下选择最优回复。本研究发现，利用预训练的语言模型可以解决此类回复选择任务，但这种方法只考虑了历史和候选回复的相关性，而忽略了多轮对话系统的时序性。因此，作者提出了一种称为 utterance manipulation strategies (UMS) 的方法，该方法通过插入、删除和搜索等策略来保持对话一致性。研究结果表明，UMS 是高效的自我监督方法，且可以在多种公共基准测试数据集上推动现有技术的发展。

Sep, 2020

本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

Jul, 2016

本文提出了一种用于将对话历史转换为线程的对话提取算法，同时采用预训练 Transformer 进行编码并通过注意力层来得到匹配分数，实验表明依赖关系有助于对话上下文的理解，此模型在 DSTC7 和 DSTC8 等任务上的表现优于现有方法。

Oct, 2020

本文研究了基于 BERT 的联合模型，利用知识关注机制和筛选相关知识三元组的门控机制相互利用两个 SLU 任务的对话上下文和动态信息进行建模，实验结果表明相对于其他竞争基线，该方法在两个复杂的多轮对话数据集上取得了相当大的改进。

Feb, 2022

本文提出了一种基于 Transformer 的端到端架构方法，在自动语音识别中精确建模跨话语的语境依赖，通过引入上下文感知残余注意机制，对先前语音的上下文进行编码，同时，还采用条件解码器框架将历史语言信息融入到当前预测中，结果表明该方法在几种公开对话语料库上都取得了持续的改进

Jul, 2022

文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

Dec, 2020