EMNLPOct, 2021

面向时间语言对接的关系感知视频阅读理解

PDF
TL;DR本文提出了一种使用选择 - 查询交互和选择 - 选择关系构建解决视频阅读理解中的时间语言接地问题的框架，并引入了一种新颖的多选择关系构造器，通过利用图卷积捕获最佳选择的视频时刻之间的依赖关系，并在 ActivityNet-Captions、TACoS 和 Charades-STA 数据集上进行了广泛的实验证明了我们的方法的有效性。
发现论文，激发创造
  • 阅读，观看和移动：用强化学习将自然语言描述与视频时序地联系起来

    本文通过强化学习和多任务学习建立一个分阶段调整临时定位边界的代理模型，在考虑附加边界信息的训练过程中稳步提高绩效，达到了 ActivityNet'18 DenseCaption 和 Charades-STA 数据集上的最优性能。

    Jan, 2019

  • 基于多级弱监督关注重建网络的视频文本查询锚定

    本文提出一种基于弱监督学习的多级注意力重建网络（MARN）来实现视频中文本查询的时间定位，该方法又利用注意重建的思想，建立了一个候选时间片段的注意力模型，并利用候选片段和视频句子对进行训练。作者还利用 2D 卷积来提取更可靠的注意力图，并在 Charades-STA 和 ActivityNet-Captions 数据集上进行实验，表明 MARN 优于现有的弱监督方法。

    Mar, 2020

  • RGNet：一个用于长视频的统一检索与定位网络

    通过统一跨模态 RG-Encoder 和稀疏采样技术，RGNet 方法实现了对长视频进行端到端的特定时刻定位，从而超过了以往在长视频时间定位数据集 MAD 和 Ego4D 上的方法，展示了最先进的性能。

    Dec, 2023

  • 利用全局时间语义知识的视频句子定位

    利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。

    Apr, 2024

  • 局部 - 全局视频文本交互的时间对齐

    该论文提出了一种基于回归模型的方法，使用文本查询中的语义短语提取中间特征，以反映查询中描述的重要语义实体和视频的视觉特征之间的双模态交互，通过在多个层面上从局部到全局利用上下文信息，有效地预测目标时间区间。实验证明，该方法在 Charades-STA 和 ActivityNet Captions 数据集上的表现明显优于现有方法。

    Apr, 2020

  • 基于多分支关系网络的物体感知时空视频定位

    本文探讨了如何对不对齐的数据和多种形式的句子进行时空视频对齐，通过提出可发现对象之间对象感知关系、对象感知多分支关系网络的方式进行研究，最后得到了一个有效的结果。

    Aug, 2020

  • 揭示视频问答的时间背景

    本文提出了一个基于循环神经网络的编码器 - 解码器方法，利用双通道排名损失来回答带有时间维度的选择题，同时探讨了 “填空题” 形式的方法来更细致地理解视频内容，并从 TACoS、MPII-MD、MEDTest 14 数据集中收集了超过 1,000 小时的 109,895 视频片段和 390,744 个对应的问题。大量实验表明，我们的方法显著优于已有的基准模型。

    Nov, 2015

  • 流式视频中的时间语句定位

    该研究旨在解决一项新颖任务 —— 流媒体视频中的时间句子定位，通过提出 TwinNet 结构和语言引导的特征压缩器，该方法在多个数据集上进行了广泛实验证明了其卓越性能。

    Aug, 2023

  • 弱监督时间轴自然语言地点在未剪辑视频中的强化学习

    该研究提出了一个基于强化学习的边界自适应精细化（Boundary Adaptive Refinement，BAR）框架，用于加强视频中自然语言的时间地位确定性，无需精细的标注，并证明其性能优于现有的弱监督和一些有竞争力的全监督方法。

    Sep, 2020

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020