我们使用预训练的语言模型来研究基于知识的对话生成,通过知识选择模块和无监督方法来优化知识选择和响应生成,实验结果表明,我们的模型在自动评估和人类判断方面都显著优于现有方法。
Oct, 2020
本文提出了一种生成式方法,名为 GenKS,用于在基于对话历史的语境下选择适当的知识片段,该方法通过序列到序列模型生成标识符来选择片段,捕捉片段之间的内部知识交互,并通过超链接机制显式地建模对话 - 知识交互,同时在三个基准数据集上进行实验并证明 GenKS 在知识选择和响应生成方面取得了最佳结果。
Apr, 2023
本文介绍了一种基于后处理的知识注入技术,该技术从外部源中提取相关知识,并将其合并到对话响应中,实验表明使用这种方法可以在目标导向和基于知识的对话环境中实现更具吸引力和更丰富的对话响应。
Mar, 2022
GATE 是一种生成器无关的知识选择方法,它通过在不同的知识结构和可变的知识需求中选择与上下文相关的知识来为后续的响应生成模型准备知识,实验证明 GATE 的优越性,表明生成前的知识选择是一种轻量且有效的方式,可以促进 LLMs 生成更具信息量的响应。
Oct, 2023
本研究对开源聊天机器人的多种回复生成方法进行了系统评估,提出了利用手动注释筛选出的多个正向回复和负向回复,从而提高模型效果的新训练数据,并实验证明性能较之采用对抗训练数据有更显著提升。
Aug, 2022
该论文尝试采用一个采用联合关注机制、根据对话上下文和额外知识信息的变分生成模型,生成多样和信息丰富的回复,解决了现有模型难以生成具有信息量的回复的问题。
Mar, 2019
本文提出了一种新颖的神经网络架构,用于多轮对话场景下的响应选择,它应用了上下文级别的注意力和领域特定单词描述提供的额外外部知识。该架构使用双向门控循环单元进行编码,并学习在给定潜在响应表示的上下文单词之间进行关注,同时还使用另一个 GRU 来编码领域关键词描述,从而提高了相应中领域特定关键词的表示,实验结果表明,相对于所有其他最先进的方法,我们的模型在多轮对话中具有更好的响应选择性能。
Sep, 2018
通过在大型通用领域对话语料库上预训练反应选择模型,然后利用小型特定领域数据微调预先训练的模型,本论文提出了一种有效的方法来部署任务导向对话中的响应选择,取得了很好的效果。在六个不同的应用领域,从电子商务到银行业,本方法都表现出了良好的效果。
Jun, 2019
本文针对神经网络模型生成内容不足的对话应用展开了研究,提出了一种全新的、基于数据和知识驱动的神经对话模型,该模型通过同时考虑历史对话和外部 “事实” 来生成更有用的回应,实验证明该方法在开放领域中具有广泛应用前景,相较于基线模型的 Seq2Seq 方法,能够显著提高输出的信息量。
Feb, 2017
本文提出了一种名为顺序后验推断(SPI)的端到端学习框架,用于选择知识和生成对话,能够从后验分布中近似抽样,直接查询响应生成模型,以实现准确的知识选择和生成忠实的响应
Jun, 2023