双语义知识组合的多模态对话系统
本研究通过学习 MMD 数据集并实现基于知识库的多模态对话模型解决了多模态基于搜索的对话系统中的新挑战,该模型将编码的知识库表示附加到解码器输入中,从而在文本相似性测量方面获得了高于强基线的表现,其中三个 BLEU 点仅由于使用了来自知识库的附加信息。
Oct, 2018
本文总结了我们在第九届对话系统技术挑战赛(DSTC 9)第一轨中的工作,我们提出了一种基于层次分类和序列嵌入的检索和生成方法,以实现针对任务导向对话中利用非结构化文本信息的回答生成。
Feb, 2021
本文提出了一种基于动态多种知识融合的开放域聊天机器人模型,其中结构化的三元组来自知识图谱,非结构化的文本来自文档,并采用动态虚拟知识选择器和控制器以及新颖的动态知识内存模块来扩展知识空间,实验结果表明了方法的有效性。
Apr, 2022
通过整合知识检索和回答生成,本研究提出了一种检索生成器架构,利用检索器获取相关知识并生成系统回应,并通过生成器的反馈建立检索训练标签,通过对三个基准数据集的实验结果证明了方法在任务导向对话任务中的优越性能。
Oct, 2023
本论文提出了一种多模态对话生成模型,通过一种新颖的会话代理 Divter,该模型在低资源情况下学习多模态对话,利用文本和图像对对话历史进行响应,并取得了最先进的结果。
Oct, 2021
提出了一种基于数据驱动的生成型对话系统 GenDS,能够生成对特定领域知识和输入信息进行应答的多个答案实体,在没有实体在训练集中出现的情况下也可以对其进行处理,并在实验中取得了较好的性能表现。
Sep, 2017
本文研究了基于视频对话生成,提出一种方法,可以将视频数据集成到预训练语言模型中,通过多模态推理实现各种模态之间的互补信息,实验结果表明,该模型能够在自动和人工评估方面显著优于现有的最先进模型。
Oct, 2022
提出一种基于检索的方法,以加强 TOD 系统中的知识选择,并结合半监督学习进行潜变量模型,该模型可以与知识检索器一起利用有标签和无标签的对话数据。实验证明,该方法在有标签和半监督设置下均优于传统的数据库查询方法。
May, 2023