从语义潜空间生成对话回复
本研究发展了一种融合了两种不同方法的模型,能够检索出机器人回答,并将其作为附加语境进行精细调节,从而产生了更准确、更生动、更吸引人的回答。在最近的 CONVAI2 挑战评估中,该模型在人类评估中明显优于传统的检索和生成模型。
Aug, 2018
本文提出了基于预训练模型的对话生成框架,采用灵活的注意力机制和离散的潜在变量,解决了响应生成中存在的一对多映射问题,并设计了两种互补的任务对话响应生成和潜在动作识别。实验结果表明,该框架在三个公开数据集上验证了其优越性。
Oct, 2019
本文介绍了 DialoGPT,一种大型的、可调整的神经对话响应生成模型,它在 Reddit 上 2005 年至 2017 年的时间跨度内提取的 1.47 亿条对话样本上进行训练。在单轮对话设置中,DialoGPT 能够达到接近人类的性能水平,能够生成比强基线系统更相关、更富有内涵和更具上下文一致性的响应。该预训练模型和训练流程已公开发布,以促进神经响应生成研究和更智能的开放域对话系统的开发。
Nov, 2019
我们提出了一个神经共同生成模型,可以同时生成对话行为和响应,相比于现有的流水线方法,我们的模型可以保留多领域对话行为的语义结构并动态关注不同的对话行为,通过在 MultiWOZ 数据集上的测试,我们的模型在自动评估和人类评估中都比几种最先进的模型表现得要好很多。
Apr, 2020
本文提出了 DialogBERT,这是一种新型的对话响应生成模型,通过使用分层Transformer架构和两个训练目标,包括掩码语调回归和分布式语调顺序排名来提高先前基于PLM的对话模型,在三个多轮对话数据集上进行实验证明,相比于BART和DialoGPT,DialogBERT在定量评估方面表现出色,并且在人类评估中证明,DialogBERT比基线模型生成的响应更连贯、信息量更大,并更加接近人类表现。
Dec, 2020
通过引入BERTScore提高证据质量,构建retrieval-generation训练框架,利用信息丰富但杂乱无章的对话数据,能使模型生成更好的响应,甚至比扩大培训集带来更好的性能提升。
Jan, 2022
本文提出了一个新的对话预训练框架DialogVED,使用Reddit进行了预训练,并在PersonaChat,DailyDialog和DSTC7-AVSD数据集上进行了实验,结果表明我们的模型在所有这些数据集上实现了最新的最优结果,其中主要挑战是生成相关且多样化的响应。
Apr, 2022