ECCVAug, 2018

视频问答与检索的联合序列融合模型

PDF
TL;DR本文提出了一种名为 JSFusion（联合序列融合）的方法，可以测量多模式序列数据（例如视频剪辑和语言句子）之间的语义相似性，并通过发现两个序列模态之间的隐藏分层匹配来计算它们的相似度得分，该模型适用于多模式检索和视频 QA 等任务，并在多个数据集上超过了现有的许多最先进的方法。
jsfusionmultimodal sequence datasemantic similarityconvolutional hierarchical decoderhierarchical attention mechanisms
发现论文，激发创造
  • 通过自然语言查询进行联合时刻检索和高亮检测

    本计划提出了一种新方法，使用多模式 Transformer 进行基于自然语言查询的视频摘要和亮点检测，以匹配用户自然语言查询来检索视频中最相关和最有趣的时刻， 并在多个数据集上进行评估，如 YouTube 亮点和 TVSum。

    May, 2023

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • T2VLAD：文本 - 视频检索的全局 - 局部序列对齐

    本文主要设计了一种高效的全局 - 局部对齐方法，在共享的语义中心集合中，自适应地汇聚多模式视频序列和文本特征，并计算相同中心内的视频特征与文本特征之间的局部交叉模态相似性，从而实现了细致的局部比较，同时降低了交互成本。此外，还提出了一种全局对齐方法，并在三个标准的文本 - 视频检索基准测试中取得了一致的改进和领先的效果。

    Apr, 2021

  • 一次搞定 —— 用于视频检索的多模态融合 Transformer

    本文提出一种基于多模态、模态无关的融合变压器方法，通过交换多个模态之间的信息并将其整合成一个联合的多模态表示，从而获得聚合多模态时态信息的嵌入，可用于零 - shot 检索和分类。我们在 HowTo100M 数据集上训练模型，并在四个具有挑战性的基准数据集上评估结果，取得了零 - shot 视频检索和零 - shot 视频行动定位的最新成果。

    Dec, 2021

  • 视频和音频检索的跨模态嵌入

    本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

    Jan, 2018

  • 基于多模态特征的文本视频分割运动建模

    本文提出了一种多模态视频分割方法，通过语言引导的特征融合模块和多模态对齐损失函数，将视觉外观、运动信息和语言特征融合，实现了精准的文本视频分割。在 A2D Sentences 和 J-HMDB Sentences 数据集上的实验表明，该方法与现有方法相比具有更好的性能和泛化能力。

    Apr, 2022

  • 多模式超图网络的文本视频检索

    我们提出了一种基于分块匹配的文本 - 视频检索方法，通过构建多模态超图和引入变分推断，实现在高阶语义空间中对文本和视频的复杂多元交互进行建模，进而提高检索性能。

    Jan, 2024

  • 基于反应式多阶段特征融合的多模态对话建模

    本文提出了一种直观的机制，通过多个阶段融合特征和注意力以很好地集成多模式特征，以解决音频视觉场景感知对话任务，并进一步分析了各种最先进的模型在该任务上的泛化能力。

    Aug, 2019

  • 包含视频的文档的多模式摘要

    本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

    Sep, 2020

  • 面向文本到视频检索的语义角色感知相关性变换器

    该论文提出了一种新型的 Transformer 模型，将文本和视频显式分离，通过注意力机制了解三种角色的内部和内部角色之间的相关性，以在不同级别上寻找识别特征，初步结果表明，在所有的指标中，我们的方法都超过了当前最先进的方 法，在两个指标上也超过了两种最先进的方法。

    Jun, 2022