Dec, 2019

视觉对话的大规模预训练：一个简单的最先进基准线

PDF
TL;DR本文提出了一种基于 ViLBERT 的方法，该方法采用与 Visual Dialog 相关的视觉语言数据集的预训练，随后转移到 Visual Dialog 的训练上。文中还发现，在 Visual Dialog 中使用密集注释进行微调，可以提高 NDCG，但会降低 MRR。
visual dialogneural modelsvilbertpretrainingdense annotations
发现论文，激发创造
  • OpenViDial：一个包含视觉背景的大规模开放域对话数据集

    本文提出了一个大规模多模态对话数据集 OpenViDial，并基于该数据集提出了一族多种编码器 - 解码器模型，使用了文本和视觉上下文。结果表明，多模态特征的整合可以显著提高对话生成的质量，是实现大规模多模态对话学习的重要一步。

    Dec, 2020

  • VD-BERT: 一个与 BERT 结合的统一视觉和对话 Transformer

    该研究提出的 VD-BERT 框架，是一种简单且有效的视觉 - 对话 Transformer 编码器，可以通过统一的编码器捕获图像和多回合对话之间的交互，并通过与 BERT 语言模型的整合实现回答的排名和生成，同时无需预训练外部视觉 - 语言数据即可获得最新的最高水平。

    Apr, 2020

  • VU-BERT：一个视觉对话的统一框架

    本文提出了一种名为 VU-BERT 图文联合嵌入的框架，通过用 patch projection 获取视觉嵌入来简化模型，从而解决了现有研究中用于建模交互的具有特定模态的模块难以使用的问题，并在可视对话任务上取得了较高的竞争性表现。

    Feb, 2022

  • 模拟视觉对话中的指代关系

    本文提出两个基于人类对话语言知识和语境特征的软约束来改进模型的对话代词消解能力，将这两个约束嵌入到深度 transformer 神经架构中。实验结果显示出了本模型在 VisDial v1.0 数据集上相比于现有模型的性能提升，无需预训练其他视觉语言数据集。

    Mar, 2022

  • 对话必将继续：通过生成自训练来改善视觉对话

    本文提出了一种名为生成自我训练的半监督学习方法，利用网络上的无标注图像生成合成对话并结合原始数据进行对话训练，其中对抗攻击等问题进行对抗性评估，目前实验结果在两种数据集上都取得了最新的最佳表现。

    May, 2022

  • InfoVisDial: 大型多模态和语言模型的信息可视对话数据集

    我们构建了一个名为 InfoVisDial 的视觉对话数据集，通过将大规模多模态模型（如 GIT）和语言模型（如 GPT-3）进行有效的数据收集，利用可生成信息丰富的对话，最后通过人工筛选生成的对话来证明其覆盖了信息丰富且多样化的对话主题，为视觉对话任务提供了一个强有力的基线。

    Dec, 2023

  • 视觉对话

    本文介绍了视觉对话任务，即通过图像、对话历史和问题，要求 AI 智能体以自然、对话式的语言与人类进行有意义的对话，并率先提出了一种基于视觉的通用测试方法以及一种新颖的二人聊天数据收集协议。在此基础上，利用 Latre Fusion、Hierarchical Recurrent Encoder 和 Memory Network 等三个编码器和两个解码器（生成式和判别式），超越了许多复杂的基准线，并采用了基于检索的评估协议，Quantify 了机器和人类在视觉对话任务上的性能差距，进而演示了第一款 “视觉聊天机器人”。

    Nov, 2016

  • ViLBERT：预训练无任务束缚的视觉语言表示，用于视觉与语言任务

    ViLBERT 是一种用于学习图像内容和自然语言的任务不可知联合表示的模型，并通过在多模态两个流中处理图像和文本输入，通过相互关注变压器层实现交互。我们通过在大型自动收集的概念字幕数据集上执行两个代理任务来预训练我们的模型，然后通过仅对基础体系结构进行轻微添加，将其转移到多个已建立的视觉语言任务 —— 视觉问答、视觉常识推理、指称表达和基于字幕的图像检索，我们观察到与现有特定任务模型相比，在所有四个任务中都实现了显着的改进，成为学习视觉与语言之间接地只作为任务培训的一部分，而不是对待视觉接地作为可预训练和可转移能力的代表性工作。

    Aug, 2019

  • 多模态开放领域对话

    本文旨在研究结合先进的开放域对话代理和视觉模型，以实现多模态对话的目标，研究不同的图像融合方案和域自适应预训练和微调策略，并展示了我们最好的模型不仅在多模态对话方面优于现有的强模型，而且在纯文本对话方面表现也和其前身 BlenderBot 一样好，同时我们还研究并整合了安全组件，展示这种努力不会削弱模型性能方面的吸引力度量。

    Oct, 2020

  • 对比视觉语言预训练

    本文提出了一种基于对比学习的无偏置视觉 - 语言预训练方法，可以在多模态表示学习中获得更好的性能，在验证集 VQA、GQA 和 NLVR2 中取得了良好的结果。

    Jul, 2020