Jun, 2023

CVPR'2023 AQTC 挑战赛第一名解决方案：基于功能交互为中心的时空视觉语言对齐方法

HTML
PDF
TL;DR本研究提出了结合预训练的视觉-语言和视频-语言模型的方法，以及新颖的手-物-交互聚合模块，用于解决 AQTC 中视频信号与语言信号的时空对齐，且取得了 CVPR’2023 AQTC Challenge 第一名的高分表现。
发现论文，激发创造
  • TGIF-QA：关于视觉问答中时空推理的研究

    本文提出了三个特别设计用于视频VQA的新任务，推出一个新的大型数据集TGIF-QA，并提出了一种利用空间和时间关注的双LSTM方法，证明其在经验评估中的有效性。

    Apr, 2017

  • TVQA+: 视频问答的时空引用

    该研究针对视频问答这一任务，提出增加bounding boxes数据集，以此为基础构建了STAGE框架，在空间和时间域上对视频进行处理，以便回答关于视频的自然语言问题，并展示了实验结果和可视化。

    Apr, 2019

  • 从特征和样本的视角重新思考视频问答中的多模态对齐

    本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在NExT-QA基准测试上表现出很高的性能。

    Apr, 2022

  • A-OKVQA: 利用世界知识的视觉问答基准

    介绍了 A-OKVQA 数据集，它包含了约 25000 个多样化的问题，需要广泛的常识和世界知识才能回答，相对于现有的基于知识的 VQA 数据集，这些问题通常不能通过简单地查询知识库来回答，而是需要对图像中所描绘的场景进行某种形式的常识推理，该数据集对几种最先进的视觉语言模型进行了基础性能测试。

    Jun, 2022

  • CVPR'2023 AQTC挑战赛解决方案：多步推理视频对齐

    本研究介绍一种通过学习指导性视频，为用户提供操作设备的逐步指导的场景，并提出了一种解决方案来提高多步推理的视频对齐，通过实验展示了其方法的有效性和优越性，并获得了CVPR'2023 AQTC challenge第二名。

    Jun, 2023

  • 语言引导的视觉问答：使用知识丰富的提示提升多模态语言模型

    对于图像中的问题，通过使用语言指导（LG）如解释、图像标题、场景图等方面的共识知识、世界知识和理解创意和概念来回答问题更准确；提出了一种多模态框架，使用CLIP和BLIP模型通过A-OKVQA、Science-QA、VSR和IconQA数据集的多选问题回答任务进行了基准测试，语言指导使得CLIP的性能提高了7.6%，BLIP-2的性能提高了4.8%；使用所提出的语言指导在Science-QA、VSR和IconQA数据集上也观察到了持续的性能改进。

    Oct, 2023

  • 从图像到语言：对视觉问答（VQA）方法、挑战和机遇的关键分析

    通过调查Visual Question Answering（视觉问题回答）领域的复杂性，本研究提供了对VQA数据集和方法的详细分类，展示了该领域的最新趋势、挑战和改进方向，并将VQA推广到多模态问答，探索与VQA相关的任务，并提出了一系列未来研究的开放性问题。

    Nov, 2023

  • 认知视觉语言映射器：通过增强视觉知识对齐推进多模态理解

    在当前大型多模态模型的研究中，我们评估和重新思考了广泛使用的视觉语言投射方法（如Q-former或MLP），发现它们侧重于图像-文本描述的对齐，但忽略了视觉知识维度的对齐，即将视觉元素与相关知识连接起来。本文主要探索通过视觉语言知识对齐来改进大型多模态模型，特别关注知识型视觉问题回答。为此，我们提出了一个认知视觉语言映射器（CVLM），包含一个预训练的视觉知识对齐器（VKA）和一个用于多模态指令调整阶段的细粒度知识适配器（FKA）。我们通过在知识型视觉问题回答基准测试上进行广泛实验证明，CVLM显著提高了LMM在知识型视觉问题回答上的性能（平均提升5%），消融研究也验证了VKA和FKA的有效性。

    Feb, 2024

  • 基于多模态大语言模型的联合视觉与文本提示改善目标中心感知

    使用视觉和文本提示的新方法(VTPrompt)提高了Multimodal Large Language Models在物体感知方面的能力，并在三个基准测试上表现出显著的改进。

    Apr, 2024

  • HOI-Ref：基于主体视角的手-物体交互引用

    我们提出了一种基于大规模视觉语言模型（VLMs）的HOI-Ref任务，该任务旨在使用VLMs理解自我中心图像中手和物体之间的交互。通过我们精心制作的HOI-QA数据集，我们训练了第一个用于HOI-Ref的VLM，称为VLM4HOI，并证明了VLMs在自我中心图像中具有较好的手和物体交互的识别和引用表现。

    Apr, 2024