IJCAIMay, 2022

多尺度采样的分层多级网络用于视频问答

PDF
TL;DR本研究提出了一种新的多级分层网络（MHN），结合多重时间尺度和深度学习模型的多层次处理能力，通过 Multiscale Sampling 实现逐层交互式的表示学习，从而实现视频问题回答中的视觉推理。
videoqamultiscale informationdeep learning modelmultilevel hierarchical networkparallel visual reasoning
发现论文，激发创造
  • 异构内存增强的多模态注意力模型用于视频问答

    本文提出了一种新的端到端可训练的视频问答（VideoQA）框架，包含三个主要组成部分：新的异构内存、重设计的问题内存和新的多模式融合层，其通过自我更新的注意力实现多步推理并关注相关的视觉和文本线索来推断正确答案，实验结果表明该方法在四个 VideoQA 基准数据集上实现了最先进的性能。

    Apr, 2019

  • 从特征和样本的视角重新思考视频问答中的多模态对齐

    本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在 NExT-QA 基准测试上表现出很高的性能。

    Apr, 2022

  • 视频问答的时域金字塔变换器和多模态交互

    本文提出了一种基于时域金字塔变换器的多模交互模型，用于视频问答，实现了问题语义的建立和视频信息的推断，并在三个视频问答数据集上通过了广泛的实验证明了该方法相较于现有技术的卓越表现。

    Sep, 2021

  • MoReVQA: 探索视频问答的模块化推理模型

    通过分解为多阶段的模块化推理框架来解决视频问答（videoQA）任务，我们的方法 MoReVQA 通过事件解析器、定位阶段、最终推理阶段和外部存储器在标准视频问答基准测试中取得了最先进的结果，并在相关任务（基于视频的问答、段落字幕生成）上得到扩展。

    Apr, 2024

  • 具有金字塔式多模态变换器的高效端到端视频问答

    本文提出了一种新的端到端视频问答方法，使用金字塔多模态变换器（PMT）模型实现视频语言交互，通过使用异性金字塔在不同的时空尺度上实现跨视频语言交互，并在保持本地和全局语义完整性的同时，将视频特征流分解为空间和时间子流，并实现它们与语义的交互，并结合可重用的预训练权重的特征提取器，在 5 个视频问答基准测试中实现更好或同等的性能。

    Feb, 2023

  • 超越双线性：面向视觉问答的广义多模态分解高阶池化

    本文利用深度神经网络中的协同注意机制与通用的多模式高阶因式化池化方法实现多模态特征的融合，使用 KL（Kullback-Leibler）散度作为损失函数，最终实现了优越的视觉问答表现。

    Aug, 2017

  • 模块化混合注意力网络用于视频问答

    多模态机器学习中的网络结构复杂，通过连接可重用且可组合的神经单元，可以以更直观的方式完成多模态机器学习任务的网络构建，同时通过参数共享大大减少了空间复杂度。

    Nov, 2023

  • 视觉问答的多模态潜在交互网络

    该研究提出了一种多模态潜在交互模块（MLI），用于学习图像问题答案中潜在的视觉和语言信息之间的跨模态关系，从而最大化地汇总了两种信息来源，并且与预训练语言模型 BERT 结合可以显着提高性能，达到了竞争性的结果。

    Aug, 2019

  • 多模态视频问答的情感转移注意力网络

    该论文提出了一种称为模态转移关注网络的模型解决多模式视频问答任务，该模型对任务进行任务分解并使用时间提议网络和异构推理网络进行处理，通过模态转移进行任务的执行，这种模型在 TVQA 基准数据集上的实验结果表明它优于之前的最优性能，达到 71.13％的测试准确率，并开展了广泛的消融研究和定性分析以验证网络的各个组件。

    Jul, 2020

  • 利用多任务学习获取多模态视频问答的额外监督

    该研究提出通过多任务学习获得额外监督的方法，解决多模态视频问答建立大规模数据集昂贵且现有基准数据集较小的挑战。该方法由多模态视频问答网络、时间检索网络和模态对齐网络组成，通过层次共享中间层同时解决相关的辅助任务提供额外的协同监督，并提出多任务比率调度的方法进行训练。实验结果表明，该方法在公开数据集 TVQA 上实现了最先进的效果。

    May, 2019