Sep, 2020

一种简单而有效的视频时间对齐方法，具有交叉模态注意力

PDF
TL;DR本文主要研究了利用语言引导定位视频中的相关片段的问题，提出一种简单直观的跨模态注意力模块 (CMA) 和针对此任务的新回归损失函数来提高定位精度，并在 Charades-STA 和 ActivityNet Captions 数据集上超越了目前最先进的方法。
language-guided video temporal groundingcross-modality attention moduletemporal grounding accuracyannotation biasvideo and language alignment
发现论文，激发创造
  • 端到端多模式视频时间定位

    本文提出了一种基于多模态框架的文本指导视频时间地基方法，采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习，在 Charades-STA 和 ActivityNet Captions 数据集上实验表明，该方法表现优越。

    Jul, 2021

  • 基于常识的快速视频时间对齐细节文本对齐学习

    本文提出一种基于常识感知的跨模态对齐框架，通过从语料库中提取结构化语义信息，设计跨模态交互模块获得桥接式视觉和文本特征，并将其整合到共同的空间中进行快速视频时间定位。在两个具有挑战性的数据集上，证明该方法能够以高速运行，且表现优于现有的方法。

    Apr, 2022

  • 局部 - 全局视频文本交互的时间对齐

    该论文提出了一种基于回归模型的方法，使用文本查询中的语义短语提取中间特征，以反映查询中描述的重要语义实体和视频的视觉特征之间的双模态交互，通过在多个层面上从局部到全局利用上下文信息，有效地预测目标时间区间。实验证明，该方法在 Charades-STA 和 ActivityNet Captions 数据集上的表现明显优于现有方法。

    Apr, 2020

  • 利用全局时间语义知识的视频句子定位

    利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。

    Apr, 2024

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • 自我监督的空间位置辅助指令视频中的叙述理解

    该文介绍了将叙述交互视频逐帧定位的任务，并通过一个多层交叉模态注意力网络实现自我监督的效果，其中交替计算视觉和自然语言模态的相互关注，以有效地进行训练，其表现超过基线模型包括浅层和全跨模态关注。

    Oct, 2021

  • 观看、倾听和描述：全局和局部对齐的跨模态关注力用于视频字幕生成

    提出了一种新的分层对齐交叉模态注意力 (HACA) 框架来学习和选择性地融合不同模态的全局和本地时间动态，在视频字幕任务中， 首次验证了深度音频特征的卓越性能，该模型显著优于先前最佳系统并在广泛使用的 MSR-VTT 数据集上实现了新的最新成果。

    Apr, 2018

  • 多模态 Transformer 在视频锚定中的设计追求

    本篇论文提出了一种新型的端到端、多模态 Transformer 模型 ——GTR，通过将视频定位看作一个集合预测任务来实现，采用立方体嵌入层将原始视频转换为视觉令牌；在解码器中，采用新型的多头跨模态注意力机制来更好地融合两种模态，整个模型的优化采用 Many-to-One 匹配损失函数，实现了记录性能和较快的推理速度，获得更好的结果。

    Sep, 2021

  • 混洗视频是否有益于解决时间偏置问题：一种新的时间定位训练框架

    该论文提出了一种新的培训框架，通过使用混洗的视频来解决时间偏差问题，该框架引入了交叉模态匹配和时间顺序区分两个辅助任务来促进模型训练，以强化其对于长期时间上下文的理解和减轻依赖于时间偏差的影响。

    Jul, 2022

  • 双重对比学习的干预式视频对齐

    本文提出了一种新的干预视频地基范式，即基于结构因果模型和 do-calculus 的干预视频地基（IVG），并引入双重对比学习方法（DCL）来提高文本和视频之间的匹配度，实验证明了这些方法的有效性。

    Jun, 2021