May, 2019

利用多任务学习获取多模态视频问答的额外监督

PDF
TL;DR该研究提出通过多任务学习获得额外监督的方法，解决多模态视频问答建立大规模数据集昂贵且现有基准数据集较小的挑战。该方法由多模态视频问答网络、时间检索网络和模态对齐网络组成，通过层次共享中间层同时解决相关的辅助任务提供额外的协同监督，并提出多任务比率调度的方法进行训练。实验结果表明，该方法在公开数据集 TVQA 上实现了最先进的效果。
multi-modal video question answeringmulti-task learningtemporal retrieval networkmodality alignment networkcurriculum learning
发现论文，激发创造
  • 从特征和样本的视角重新思考视频问答中的多模态对齐

    本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在 NExT-QA 基准测试上表现出很高的性能。

    Apr, 2022

  • 异构内存增强的多模态注意力模型用于视频问答

    本文提出了一种新的端到端可训练的视频问答（VideoQA）框架，包含三个主要组成部分：新的异构内存、重设计的问题内存和新的多模式融合层，其通过自我更新的注意力实现多步推理并关注相关的视觉和文本线索来推断正确答案，实验结果表明该方法在四个 VideoQA 基准数据集上实现了最先进的性能。

    Apr, 2019

  • 自监督预训练和对比表征学习在多项选择视频 QA 中的应用

    本文介绍了一种新的多项选择视频问题回答（Video QA）的训练方案，其中包括自监督预训练阶段和监督对比学习的辅助学习。在自监督预训练阶段中，我们将原始问题格式进行了转化，以预测相关问题并提供模型更广泛的背景输入。然后，我们在对比学习的主阶段中添加了屏蔽噪声，并通过将正样本映射到受掩输入来改进模型表现。最后，我们采用了本地对齐注意力来更有效地关注相关字幕句子的视频帧。我们的实验结果表明，我们的模型在相关测试集上均取得了最先进的性能，并通过进一步的分析验证了我们的方法。

    Sep, 2020

  • 基于大型多模型的弱监督高斯对比定位的视频问答

    提出了一种新颖的弱监督框架，用于利用问题关键时刻作为视觉输入强迫大型多模态模型进行视频问答，通过融合问题和答案对作为事件描述来找到多个关键帧作为目标时刻，并利用高斯对比基础模块学习视频的时间结构，将问题关键帧作为正样本作为大型多模态模型的视觉输入，实验证明该框架相比于先前最先进的方法取得了显著的改进。

    Jan, 2024

  • 从网络视频中学习回答视觉问题

    为了避免手动注释，提出了利用自动交叉模态监督生成视频问答数据集的方法，通过使用问题生成变形器从语音转录中生成问题 - 答案对，然后根据视频 - 问题多模式变形器和答案变形器之间的对比损失训练处理答案的多模式变形器，生成如何 VQA69M，WebVidVQA3M 和 iVQA 等不同数据集，结果表明在多个数据集上其结果优秀。

    May, 2022

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • 从数百万个叙述视频中学习回答问题

    本研究提出了一种使用自动跨模态监督和问题生成转换器生成问题和答案对的方法来生成大规模视频问答训练数据集，并提出了一种基于对比损失的训练程序来处理其多样的答案类型。通过实验证明，在 MSRVTT-QA、MSVD-QA、ActivityNet-QA 和 How2QA 等多个任务上，该方法明显优于现有技术。

    Dec, 2020

  • 多视角注意力的多任务学习 - 用于答案选择和知识库问答

    本文使用多任务学习方法和多视角注意力机制，同时处理答案选择和知识库问答问题，并通过在不同视角学习多视角注意力来提高两个任务的性能。

    Dec, 2018

  • 自监督多模态通用网络

    本文介绍了一种利用视频中存在的三种模态（视觉、音频和语言），通过自监督学习来学习表示的方法，并引入了多模态多功能网络的概念 —— 一种可以吸收多种模态，其表示方法可以在多种模态下用于下游任务。通过这种方法，我们可以在多个具有挑战性的基准测试中获得最先进的性能。

    Jun, 2020

  • 视频理解作为机器翻译

    本文介绍了在大规模多模式视频数据集上的自我监督学习的发展；提出了一种基于生成模型的方法，以翻译问题的形式解决了这一问题，并将其应用于多种下游视频理解任务中。结果表明，本方法在性能上优于基于对比度度量学习的方法。

    Jun, 2020