本文介绍了一种对话模型，该模型将参与者角色和上下文信息都纳入了长短时记忆（LSTM）语言模型中，可以作为语言模型或语言生成模型，实验表明该模型在 Ubuntu Dialog Corpus 上的表现优于传统的 LSTM 模型，而且生成的回复还显示出两种参与者角色之间特征上的不同。

Mar, 2016

本文针对神经网络模型生成内容不足的对话应用展开了研究，提出了一种全新的、基于数据和知识驱动的神经对话模型，该模型通过同时考虑历史对话和外部 “事实” 来生成更有用的回应，实验证明该方法在开放领域中具有广泛应用前景，相较于基线模型的 Seq2Seq 方法，能够显著提高输出的信息量。

Feb, 2017

该研究探讨了长期对话设置中的开放领域对话模型表现问题，并创建多个对话会话的数据集来研究长文本模型，发现召回前期对话历史的检索增强方法和概述方法胜过标准编码解码架构，成为更好的选择。

Jul, 2021

使用大型语言模型递归生成摘要 / 记忆，从而提高长期记忆能力，进而解决开放领域对话系统中遗忘重要信息的问题。实验证明，该方法可以在长对话环境中生成更加一致的回应。

Aug, 2023

通过使用基于 LLM 的代理体系结构和将对话与人物和时间事件图进行关联，我们介绍了一个机器 - 人类管道来生成高质量的非常长期的对话，并通过人类注释者对其进行检验和编辑，以确保其长程一致性和对事件图的关联。通过这个管道，我们收集了一个包含 300 个回合和平均 9K 个记号的非常长期对话的数据集。基于该数据集，我们提出了一个全面的评估基准来衡量模型中的长期记忆，在问题回答、事件摘要和多模态对话生成任务方面。我们的实验结果表明，LLM 在理解冗长对话和理解对话中的长程时间和因果动态方面存在挑战。使用长上下文 LLM 或 RAG 等策略可以提供改进，但这些模型仍然远远落后于人类的性能。

Feb, 2024

通过序列到序列框架，一种简单的端到端的对话模型方法被提出，在特定的领域和大规模通用领域的数据集上表现出很好的对话效果，并可用于执行常识推理任务。

Jun, 2015

本文介绍了一种新的方法，使用图形结构双向 LSTM 对社交媒体上的串行讨论进行建模，该方法代表了分层和时间会话结构。在 Reddit 讨论的评论受欢迎程度预测任务中，实验表明，所提出的模型比节点独立架构在不同的输入特征集上表现更好。分析表明，该模型在整个讨论过程中都具有优势，可以提高早期和晚期的检测效果。此外，使用带有双向树状状态更新的语言提示有助于识别具有争议性的评论。

Apr, 2017

提出了一个系统的方法，用于检验领域知识和大型语言模型在代表危机辅导员与求助者之间的对话时的表现，结果表明领域知识和语言模型生成的特征能够更好地描述咨询对话。

Feb, 2024

本文提出了一种新颖的神经网络架构，用于多轮对话场景下的响应选择，它应用了上下文级别的注意力和领域特定单词描述提供的额外外部知识。该架构使用双向门控循环单元进行编码，并学习在给定潜在响应表示的上下文单词之间进行关注，同时还使用另一个 GRU 来编码领域关键词描述，从而提高了相应中领域特定关键词的表示，实验结果表明，相对于所有其他最先进的方法，我们的模型在多轮对话中具有更好的响应选择性能。

Sep, 2018

为了与人类用户进行对话，需要设计能够进行人机交互的机器智能，因此会话建模是自然语言处理中的重要任务。一个新的机器会话模型使用了逐渐构建的句子结构和复杂度的培训方法来模拟人类学习的构建过程，其通过按照先 “短” 后 “长” 的句子对训练，最终比标准文本准备训练的模型具有更低的验证误差。

May, 2023