MMAug, 2023

视频问答的冗余感知 Transformer

PDF
TL;DR这篇论文介绍了当前 VideoQA 中存在的两种冗余问题，并提出了一种新的基于 Transformer 的体系结构来解决这些问题，通过模拟 VideoQA 的冗余特点，该模型在多个 VideoQA 基准上取得了最先进的结果。
videoqaredundancyvideo encodersvision-language fusion designstransformer-based architecture
发现论文，激发创造
  • 异构内存增强的多模态注意力模型用于视频问答

    本文提出了一种新的端到端可训练的视频问答（VideoQA）框架，包含三个主要组成部分：新的异构内存、重设计的问题内存和新的多模式融合层，其通过自我更新的注意力实现多步推理并关注相关的视觉和文本线索来推断正确答案，实验结果表明该方法在四个 VideoQA 基准数据集上实现了最先进的性能。

    Apr, 2019

  • 从特征和样本的视角重新思考视频问答中的多模态对齐

    本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在 NExT-QA 基准测试上表现出很高的性能。

    Apr, 2022

  • 视觉问答的互注意融合

    该研究提出了一种新的注意力机制，同时考虑视觉细节的两个层次，即物体实例和它们的部分，通过高效的张量分解方案，设计了分层融合多模态信息的模型并提高了已有模型达到了一个显著的提升。

    May, 2018

  • RaP：红 undancy-aware 视 deo-language 预 ning 练词为 Text- 视 deo 检索

    通过测量视频补丁和文本单元的冗余度，我们提出了一种针对视觉和文本信息之间互模态冗余问题的视频语言预训练方法，并通过冗余感知对比学习获得了显著的结果提升。

    Oct, 2022

  • 具有金字塔式多模态变换器的高效端到端视频问答

    本文提出了一种新的端到端视频问答方法，使用金字塔多模态变换器（PMT）模型实现视频语言交互，通过使用异性金字塔在不同的时空尺度上实现跨视频语言交互，并在保持本地和全局语义完整性的同时，将视频特征流分解为空间和时间子流，并实现它们与语义的交互，并结合可重用的预训练权重的特征提取器，在 5 个视频问答基准测试中实现更好或同等的性能。

    Feb, 2023

  • 视频问题回答的视频图变换器

    该研究论文提出了一种名为 VGT 的视频图形转换器模型，旨在解决视频问答任务中动态关系推理方面的挑战，其独特性在于利用动态图形变换器模块对视频进行编码，并利用分离的视频和文本变换器来执行问答任务。通过充分的分析和启发性的观察，证明了 VGT 的有效性和优越性，并揭示了其可用于更数据有效的预训练。

    Jul, 2022

  • 通过冻结大型语言模型实现零样本视频问答

    本研究提出一种简单而有效的 Retrieving-to-Answer 框架，通过预先训练的多模态模型从通用文本语料库中检索到一组语义上相似的文本，再与问题一起使用大型语言模型产生答案，可以在多个 VideoQA 基准测试中达到较高水平，并且无需跨模态微调。

    Jun, 2023

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • 一个高效的基于 Transformer 的视频问答方法：视频是否能够取代 $n imes n$ 张图像？

    本文提出了一种高效的基于现有的视觉 - 语言预训练模型的视频问答方法，该方法将视频帧连接成 $n imes n$ 的矩阵，从而将图像编码器的使用量从 $n^2$ 减少到 1，保持了原始视频的时间结构。实验结果表明，我们的方法在 MSRVTT 和 TrafficQA 数据集上取得了与当前最佳方法相同甚至更好的性能，速度快近 4 倍，使用的内存仅占现有方法的 30%，能够节省计算资源。

    May, 2023

  • VA-RED$^2$: 视频自适应冗余度减少

    本文介绍了一种名为 VA-RED^2 的新型冗余特征减少框架，可用于深度学习模型的视频推断，通过输入依赖的策略来减少时间和通道维度的计算量，实现了 20％-40％的计算（FLOPs）减少而无需牺牲性能。

    Feb, 2021