本文提出了一种基于内容引入的神经网络生成式对话系统方法,使用点间互信息预测名词作为关键词,并采用seq2BF模型生成包含关键字的回答,该方法在人类评估和熵测量方面明显优于传统的序列到序列方法。
Jul, 2016
该研究探讨了基于深度神经网络的自动生成响应的模型,着重讨论了结构松散的任务,如基于单词级别的对话响应生成,并提出了基于生成的编码器-解码器神经网络架构的新模型,以增强对话的长期历史纪录、建模对话中的不确定性和歧义性、生成具有高级组合结构的响应。
Nov, 2016
本研究发展了一种融合了两种不同方法的模型,能够检索出机器人回答,并将其作为附加语境进行精细调节,从而产生了更准确、更生动、更吸引人的回答。在最近的 CONVAI2 挑战评估中,该模型在人类评估中明显优于传统的检索和生成模型。
Aug, 2018
本文提出了基于预训练模型的对话生成框架,采用灵活的注意力机制和离散的潜在变量,解决了响应生成中存在的一对多映射问题,并设计了两种互补的任务对话响应生成和潜在动作识别。实验结果表明,该框架在三个公开数据集上验证了其优越性。
Oct, 2019
本文提出了一种新的方法,通过利用非对话文本来丰富对话生成,我们通过迭代反向翻译等技术有效地将非对话文本集成进模型中,在不降低与上下文相关性的情况下,生成的回复显著更具多样性。
May, 2020
本研究针对现有开放领域对话生成模型无法合理组织多个语义相近的回复而导致生成通用、无信息量的回答的问题,提出在潜在空间上进行回归任务的代替方案,通过学习提示和回答之间的成对关系,使语义相关的句子在潜在空间上靠近。人类评估表明,在连续空间上学习任务可以生成相关且信息丰富的回复。
Oct, 2020
本文使用预训练语言模型 GPT2,探讨了在条件来自多个输入源的对话生成任务中,如何使用适当的多重注意力信息融合方法以提高与对话历史相关性的一致性。
设计一个基于概念引导的非自回归模型,为了更好地管理概念转换并能够顺序解码引入多个概念,实现可控和连贯的对话生成,实验表明该模型在速度和质量上都优于现有最先进的模型。
Sep, 2021
通过引入BERTScore提高证据质量,构建retrieval-generation训练框架,利用信息丰富但杂乱无章的对话数据,能使模型生成更好的响应,甚至比扩大培训集带来更好的性能提升。
Jan, 2022
本文提出了约束性的、long-term控制对话生成的问题,并提出了一种检测其性能的新指标,并采用改进的基于检索的方法,该方法通过修改logits来提高长期控制的生成性能。通过在三个面向任务的对话数据集上的实验证明了我们的指标相对于当前的替代方案更好地评估了对话控制,并且我们的方法优于最先进的约束性生成基线。
May, 2022