通过学习上下文和回应之间的模式信息来推动开放域对话生成

Sep, 2023

通过学习上下文和回应之间的模式信息来推动开放域对话生成

Promoting Open-domain Dialogue Generation through Learning Pattern Information between Contexts and Responses

Mengjuan Liu, Chenyang Liu, Yunfan Yang, Jiang Liu, Mohan Jing

TL;DR本文介绍了一种基于预训练语言模型（GPT-2）的开放域对话模型，通过学习训练样本中上下文和回复之间的隐式模式信息，改进了生成回复的质量。我们提出了改进的预训练模型的定期抽样方法，并设计了一种回复感知机制，使生成的回复更加多样化和接近人类回复。通过在 Persona-Chat 和 DailyDialog 数据集上对所提出的模型（RAD）进行评估，实验结果表明我们的模型在大多数自动和手动评估指标上优于基线模型。

Abstract

Recently, utilizing deep neural networks to build the opendomain dialogue models has become a hot topic. However, the responses generated by these models suffer from many problems such as responses not being contextualized and tend to generate generic responses that lack information content

dialogue models contextualized responses information content pre-trained language model implicit pattern information

发现论文，激发创造

探测神经对话模型的对话理解能力

本研究分析了神经网络开放领域对话系统所学习的内部表示，并评估了这些表示的质量以学习基本的交谈技巧。结果表明，标准的开放领域对话系统难以回答问题、推断矛盾并确定对话话题等任务，需要更多的研究来探讨建筑和训练方法，从而更好地捕捉有关对话的高级信息。

Jun, 2020

对话不是平面的：建模对话内容中动态信息流

本文提出了 DialoFlow 模型，引入了动态流机制来模拟上下文的流动，并设计 3 个训练目标来捕捉大规模预训练中每个话语带来的语义影响，实验表明，DialoFlow 在对话生成任务中优于 DialoGPT。我们还提出 Flow 评分，这是一种有效的自动度量，用于评估基于预训练 DialoFlow 的交互式人机对话质量，与 11 个聊天机器人中的人类评分呈高聊天机器人级别的相关性（ $r=0.9$）。

Jun, 2021

面向知识驱动对话系统的策略驱动型神经响应生成

本文提出通过对话策略来规划目标响应的内容和风格，促进神经响应生成方法生成更为准确、有效和吸引人的回应，通过 Topical-Chat 数据集的自动注释，得到包括对话上下文、目标对话行为、话题信息等方面的行动计划。作者进一步调查了不同的对话策略模型来预测行动计划，证明了在句子级别和依托对话策略的生成模型所生成的回复更具适切性，并且控制效果更为出色。

May, 2020

利用预训练语言模型进行从文本中获取对话式信息检索

本论文研究了利用上下文学习和预训练语言表示模型来解决过程描述文档中信息提取的问题，与原生 GPT-3 模型一起，通过注入概念定义和少量样本进行了两个上下文学习操作。研究结果显示了该方法的潜力和上下文学习的有用性，同时也指出了控制流关系所带来的挑战。

Mar, 2022

社交媒体语境下的对话模型建立方法

本文介绍了一种通过模仿社交媒体上的非正式互动改善系统的原始会话能力的方法，并利用 Reddit 上的过滤评论数据作为 seq2seq 生成器的额外上下文，以提高开放域对话系统的能力。

Jun, 2022

对话领域适应的混合生成 - 检索 Transformer

本文提出了基于 GPT-2 微调多领域 MetaLWOz 数据集的混合生成 - 检索模型，具有稳健、多样的响应生成能力，在领域自适应任务中取得了最优结果，并在适应未见过的 MultiWOZ 数据集时表现出竞争力的泛化性能。

Mar, 2020

从沙子中筛选更多的金子：利用有噪声的自我检索生成优化开放域对话训练

通过引入 BERTScore 提高证据质量，构建 retrieval-generation 训练框架，利用信息丰富但杂乱无章的对话数据，能使模型生成更好的响应，甚至比扩大培训集带来更好的性能提升。

Jan, 2022

基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

Mar, 2020

任务型对话系统中的上下文动态提示响应生成

本文通过使用 context 动态提示的方法，改善了在多轮任务指向对话系统中的通用响应生成。在 MultiWOZ 2.2 数据集上验证后，相较于仅进行的前缀手段，综合值得分提高了 3 个绝对点，同时还将状态对话的提升幅度加大了 20 个绝对点。

Jan, 2023

多方响应生成与关系解缠

该研究提出了一种通过对话上下文进行关系推理来指导神经响应生成的方法，并在多方对话中展示出优于基线模型的效果。

Mar, 2024