Sep, 2020

文本视频双编码检索

PDF
TL;DR本文提出了一种新的视频检索方法，采用双重深度编码网络进行多级编码，将视频和查询作为两种模态编码为向量，同时结合好的可解释性和性能的高性能的概念空间和潜在空间来进行深空间学习，经实验证明了方法的可行性。
video retrievalcross-modal matchingdual deep encoding networkmulti-level encodinghybrid space learning
发现论文，激发创造
  • 零样例视频检索的双重编码

    这篇论文提出了一种新的方案，采用双重深度编码网络，将视频和查询编码成强大的密集表示，并在零样本视频检索的三个基准测试中实现了最新的成果。

    Sep, 2018

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • 统一潜在和词典表示以实现有效的视频文本检索

    该研究提出了 UNIFY 框架，通过学习词库表示来捕捉细粒度语义概念，并结合潜在表示和词库表示的优势进行视频文本检索。实验证明，UNIFY 框架大大优于先前的视频文本检索方法，在 MSR-VTT 和 DiDeMo 上分别提高了 4.8% 和 8.2% 的 Recall@1。

    Feb, 2024

  • 复杂查询视频检索的树增强交叉模态编码

    本文提出了一种基于 Tree-augmented Cross-modal Encoding 的方法，用于结合学习查询的语言结构和视频的时间特征进行视频检索，以实现更好的视频检索性能。

    Jul, 2020

  • 重新审视跨模态检索

    本文提出了一种交叉模态检索系统，利用图像和文本编码，实现了同时检索模态的功能，避免了需要为每个模态使用不同网络的缺点。在所使用的知识中，本文是第一篇采用单一网络和融合的图像 - 文本嵌入进行跨模态检索的工作。在 MS-COCO 和 Flickr30K 两个著名的多模态数据集上对该方法进行了评估。

    Jul, 2018

  • 视频和音频检索的跨模态嵌入

    本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

    Jan, 2018

  • 使用双重多模式编码器对合成图像检索进行候选集重新排序

    该研究提出了一个两阶段模型：第一阶段使用常规向量距离度量，快速对候选项进行修剪；第二阶段采用双编码器体系结构，对参考文本 - 候选项 - 文本进行有效注视和重新排序，利用视觉和语言预训练网络，实现了组合先前方法的优点。

    May, 2023

  • Deep Binaries: 对话 - 视觉跨检索中编码语义丰富线索的有效方法

    本文提出了一种名为文本视觉深度二进制编码（TVDB）的方法，该方法利用区域卷积网络和文本卷积网络来分别探索图像的区域细节和句子的语义线索，通过交替优化来高效地优化二进制编码和深层编码函数，实验证明此方法能够显著提高跨模态检索的性能。

    Aug, 2017

  • 密集视频字幕生成与跨模态记忆检索

    通过使用外部记忆库和跨模态视频 - 文本匹配方法，我们提出了一种新的框架来解决密集视频字幕的挑战，实现了事件定位和事件字幕任务的自动化。实验结果表明，在 ActivityNet Captions 和 YouCook2 数据集上，我们的模型表现出良好的性能，无需来自大型视频数据集的大量预训练。

    Apr, 2024

  • 用于多通道视频 - 语言检索的预训练对比模型的快速适应

    探索多模态检索中利用预训练对比模型和文本符号融合信息的最佳方式，并发现用离散文本符号表示视频的方法取得最佳效果。

    Jun, 2022