多模态开放领域对话

Oct, 2020

Multi-Modal Open-Domain Dialogue

Kurt Shuster, Eric Michael Smith, Da Ju, Jason Weston

TL;DR本文旨在研究结合先进的开放域对话代理和视觉模型，以实现多模态对话的目标，研究不同的图像融合方案和域自适应预训练和微调策略，并展示了我们最好的模型不仅在多模态对话方面优于现有的强模型，而且在纯文本对话方面表现也和其前身 BlenderBot 一样好，同时我们还研究并整合了安全组件，展示这种努力不会削弱模型性能方面的吸引力度量。

Abstract

Recent work in open-domain conversational agents has demonstrated that significant improvements in model engagingness and humanness metrics can be achieved via massive scaling in both pre-training data and model size (Adiwardana et al., 2020; Roller et al., 2020). However, if we want t

open-domain conversational agents multi-modal dialogue vision models image fusion schemes safety components

发现论文，激发创造

IMAD: 图像增强的多模态对话

该研究提出了一种基于多模态视角的对话系统，并通过构建 IMAD 数据集和进行基线模型训练，证明了其在图像解释、数据集建设和模型表现方面具有潜在优势。

May, 2023

构建多模态人工智能聊天机器人

该研究旨在创建一个多模态人工智能系统，可以与人类交谈并分享相关图片，其中包括了图片检索模块和图片理解生成回复的模块。使用 ViT，BERT，GPT-2/DialoGPT 三个模型，在自动生成的和人工评估中结果显示，在开放式场景的图像识别中表现优异。

Apr, 2023

对话十项全能：基于开放领域知识和图像为基础的会话代理

本文介绍了一个名为 DodecaDialogue 的任务集，旨在衡量对话智能体是否能够通过个性化和移情表达、提问、利用知识资源回答问题、讨论话题和情境以及感知和谈论图像等多方面的能力与人类进行开放领域的对话。通过在如此广泛的大规模数据上进行多任务学习，我们希望能够朝向并衡量出产生单一统一智能体的进步。我们表明，此类任务的多任务学习相对于 BERT 预训练基线有所提升，这主要归功于在相似领域中使用非常大的对话数据集进行多任务学习，而多任务学习通常在正式微调和任务转移两种情况下使用多个指标提供文本和基于图像的任务的增益。在许多任务中，我们获得了最先进的结果，为本挑战提供了一个强有力的基础。

Nov, 2019

多模态对话回应生成

本论文提出了一种多模态对话生成模型，通过一种新颖的会话代理 Divter，该模型在低资源情况下学习多模态对话，利用文本和图像对对话历史进行响应，并取得了最先进的结果。

Oct, 2021

面向任务的多模态层次强化学习策略：视觉对话

通过多模态层次强化学习框架和状态适应技术，实现了语音和图像的目标驱动对话。在图像猜谜游戏中进行了实验，取得了良好的效果。

May, 2018

MultiFusion：预训练模型融合用于多语言，多模态图像生成

本文提出了一种名为 MultiFusion 的方法，利用预训练模型将多个语言和多模态输入整合到单一的图像生成模块中，从而大幅提高了效率。实验证明，MultiFusion 可以将各个独立的组件整合起来，使图像生成模块能够利用来自各种语言和模态的输入。

May, 2023

探测神经对话模型的对话理解能力

本研究分析了神经网络开放领域对话系统所学习的内部表示，并评估了这些表示的质量以学习基本的交谈技巧。结果表明，标准的开放领域对话系统难以回答问题、推断矛盾并确定对话话题等任务，需要更多的研究来探讨建筑和训练方法，从而更好地捕捉有关对话的高级信息。

Jun, 2020

DialogCC：大规模多模态对话数据集

本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

Dec, 2022

利用大规模语言模型构建具有角色指定的开放域对话系统

本研究旨在解决将角色赋予开放领域对话系统的问题，并提出了一个高效的数据收集框架，借助大规模语言模型的上下文少样本学习来构建满足角色约束的对话数据集。在此基础上，通过比较不同架构的开放领域对话系统，在保持其会话能力的同时满足角色约束。研究结果消息表明，我们的模型返回少量越界言论，在一般指标上保持竞争力。

Apr, 2022

用语义相关的图片替换文本构建多模式对话数据集

本文提出创建一种包含图像的 45k 多模态对话数据集的方法，该方法通过准备、预处理文本对话数据集、使用文本转图像技术创建混合图像对话，以及利用基于上下文相似性的过滤步骤确保数据集的上下文一致性。自动度量和人类评估结果表明，我们的数据集可以有效地用于多模态对话系统的训练，需要以上下文感知的方式理解图像和文本。

Jul, 2021