Oct, 2018

基于知识的多模态搜索对话代理

PDF
TL;DR本研究通过学习 MMD 数据集并实现基于知识库的多模态对话模型解决了多模态基于搜索的对话系统中的新挑战，该模型将编码的知识库表示附加到解码器输入中，从而在文本相似性测量方面获得了高于强基线的表现，其中三个 BLEU 点仅由于使用了来自知识库的附加信息。
multimodal search-based dialogueneural response generationknowledge-grounded multimodal conversational modelexternal databasemmd dataset
发现论文，激发创造
  • 双重知识增强生成预训练语言模型的多模态对话系统

    本文提出了一个可以双重增强知识的生成式语言模型，用于为多模态任务导向式对话系统生成适当的文本响应。实验证明，该模型优于现有竞争对手。

    Jul, 2022

  • 双语义知识组合的多模态对话系统

    提出了一种名为 MDS-S2 的新型多模式任务导向对话系统，通过从知识库中获取相关属性和关系知识，设计了多级知识组成模块以及一组潜在查询变量以实现表征级别的语义规范化来解决文本响应生成过程中的关键问题。

    May, 2023

  • 基于动态多形式知识融合的开放域对话生成

    本文提出了一种基于动态多种知识融合的开放域聊天机器人模型，其中结构化的三元组来自知识图谱，非结构化的文本来自文档，并采用动态虚拟知识选择器和控制器以及新颖的动态知识内存模块来扩展知识空间，实验结果表明了方法的有效性。

    Apr, 2022

  • 基于知识的神经对话模型

    本文针对神经网络模型生成内容不足的对话应用展开了研究，提出了一种全新的、基于数据和知识驱动的神经对话模型，该模型通过同时考虑历史对话和外部 “事实” 来生成更有用的回应，实验证明该方法在开放领域中具有广泛应用前景，相较于基线模型的 Seq2Seq 方法，能够显著提高输出的信息量。

    Feb, 2017

  • 视频对话生成中的多模态语义图协同推理

    本文研究了基于视频对话生成，提出一种方法，可以将视频数据集成到预训练语言模型中，通过多模态推理实现各种模态之间的互补信息，实验结果表明，该模型能够在自动和人工评估方面显著优于现有的最先进模型。

    Oct, 2022

  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020

  • 通过知识库问答提高知识感知对话生成

    本文提出了一种新的知识感知对话生成模型，称为 TransDG，该模型将知识库问答（KBQA）任务的问题表示和知识匹配能力转移到生成对话的内在理解和事实知识选择中。我们采用了一种响应引导注意力和多步解码策略的方法，以引导模型集中于生成相关的特征。在两个基准数据集上的实验证明，我们的模型在生成信息全面和流畅的对话方面具有稳健的优越性。

    Dec, 2019

  • 低资源知识驱动对话生成

    在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。

    Feb, 2020

  • 以场景为驱动的多模态知识图构建用于具象人工智能

    通过结合传统的知识工程和大型语言模型，我们提出了一种以场景驱动的多模态知识图谱构建方法，用于知识表示和增强室内机器人功能。我们通过实例化 ManipMob-MMKG 评估了我们方法的优势，在数据收集效率和知识质量方面具有广泛的优越性。实验结果表明，使用我们实例化的 ManipMob-MMKG 进行知识增强方法可以明显改善性能，无需复杂重新设计模型结构。

    Nov, 2023

  • 多模态知识图谱下的多模态推理

    提出了一种利用多模态知识图 (MMKGs) 进行多模态推理的方法 (MR-MKG)，通过利用多模态知识图 (MMKGs) 跨模态地学习丰富的语义知识，显著提高了大型语言模型 (LLMs) 在多模态推理中的能力。通过在仅使用 LLM 参数的 2.25% 进行训练，MR-MKG 在多模态问答和多模态类比推理任务上取得了优越的性能，胜过了之前的最新模型。

    Jun, 2024