Sep, 2023

VDialogUE: 一个统一的可视对话评估基准

PDF
TL;DR提出了 VDialogUE 基准测试，定义了五个核心多模态对话任务，并提出了一种综合评估模型性能的新评估指标 VDscore，同时介绍了一种名为 VISIT 的基准模型，该模型通过两阶段的预训练策略逐步构建多模态基础和对话能力，以促进通用多模态对话系统的发展。
visually-grounded dialog systemsvdialogueevaluation frameworkmulti-modal dialogue tasksvdscore
发现论文，激发创造
  • VU-BERT：一个视觉对话的统一框架

    本文提出了一种名为 VU-BERT 图文联合嵌入的框架，通过用 patch projection 获取视觉嵌入来简化模型，从而解决了现有研究中用于建模交互的具有特定模态的模块难以使用的问题，并在可视对话任务上取得了较高的竞争性表现。

    Feb, 2022

  • VD-BERT: 一个与 BERT 结合的统一视觉和对话 Transformer

    该研究提出的 VD-BERT 框架，是一种简单且有效的视觉 - 对话 Transformer 编码器，可以通过统一的编码器捕获图像和多回合对话之间的交互，并通过与 BERT 语言模型的整合实现回答的排名和生成，同时无需预训练外部视觉 - 语言数据即可获得最新的最高水平。

    Apr, 2020

  • VLUE: 一个评估视觉语言模型的多任务基准

    本研究介绍了一个名为 VLUE 的视觉语言理解评估基准，可用于评估 VLP 模型的泛化能力和效率 - 性能权衡。该基准显示了所有 VLP 模型在处理来自更多文化领域且未在预训练中出现的图像时存在较大的泛化差距，并且衡量 VLP 模型的效率 - 性能权衡可为设计选择提供有益见解。

    May, 2022

  • 视觉对话

    本文介绍了视觉对话任务，即通过图像、对话历史和问题，要求 AI 智能体以自然、对话式的语言与人类进行有意义的对话，并率先提出了一种基于视觉的通用测试方法以及一种新颖的二人聊天数据收集协议。在此基础上，利用 Latre Fusion、Hierarchical Recurrent Encoder 和 Memory Network 等三个编码器和两个解码器（生成式和判别式），超越了许多复杂的基准线，并采用了基于检索的评估协议，Quantify 了机器和人类在视觉对话任务上的性能差距，进而演示了第一款 “视觉聊天机器人”。

    Nov, 2016

  • DualVD：一种用于视觉对话中深度视觉理解的自适应双编码模型

    该研究提出了一种新的模型来从视觉和语义两个角度描述图像，在多角度图像特征的基础上提出了特征选择框架，逐层适应性地捕捉问题相关信息，并在基准视觉对话数据集上取得了最先进的结果。更重要的是，通过可视化门控值，我们能够确定视觉和语义哪个模式在回答当前问题中发挥更重要的作用，为我们理解人类认知在视觉对话中的作用提供了见解。

    Nov, 2019

  • 情感视觉对话：基于视觉对话的情绪推理的大规模基准测试

    我们引入情感视觉对话，这是一个情感解释和推理任务，作为研究在视觉对话中理解情感形成的测试基准。该任务涉及三个技能：（1）基于对话的问答（2）基于对话的情感预测和（3）基于对话的情感解释生成。我们的主要贡献是收集了一个大规模的数据集，称为 AffectVisDial，包含 50,000 个 10 轮的视觉对话，以及结论性的情感归因和基于对话的情感解释，总计达 27,180 个工作小时。我们解释了在收集数据集时的设计决策，并介绍了与对话参与者相关的提问者和回答者任务。我们训练并展示了基于最先进模型的坚实的情感视觉对话基准。值得注意的是，我们的模型生成的回答显示了对视觉对话中情感推理能力有希望的结果。我们的项目页面可在此 https URL 找到。

    Aug, 2023

  • 多模态增量变压器结合视觉定位生成视觉对话

    该研究提出了一种多模态增量变形器（MITVG）的视觉指向方法，该方法可以显式地定位与文本实体相关的图像对象，从而帮助模型排除不需要关注的视觉内容，进而在多轮对话历史记录和视觉场景的基础上生成一致且连贯的响应。该模型在 VisDial v0.9 和 v1.0 数据集上实验结果证明了其优越性能。

    Sep, 2021

  • VUT: 面向多模态多任务用户界面建模的通用 UI Transformer

    本研究提出了一种 VUT 多任务模型，可以同时完成 UI 镜像和结构编码、UI 对象检测、问题回答和命令接地等 5 个不同的任务。实验结果表明，VUT 在减少多任务模型数量和占用空间的同时，准确度也不逊于单独训练的基准模型。

    Dec, 2021

  • 利用视觉上下文增强对话系统以实现和谐的人机交互：综述

    本文介紹了智能對話系統的演進並提出了基於多模態信息的 Visual Context Augmented Dialogue System (VAD) 與其系統架構，藉此提高與人類互動的自然性和方便性，並探討了幾個有挑戰性與有代表性的研究議題。

    Jul, 2022

  • 多模态基于注意力机制视频特征的端到端视听场景感知对话

    该论文介绍了一种新的视频场景感知对话系统，该系统将多个研究领域的最新技术整合应用 ，包括端到端的对话技术、视觉问答技术，以及视频描述技术。通过收集一个有关人类行为视频的对话数据集，作者们使用该数据集训练出一种多模态对话模型，它可以在对视频进行讨论时生成响应。最终实验结果表明，使用为多模态注意力视频描述开发的多模态特征可以提高对于动态场景（视频）生成对话的质量。

    Jun, 2018