Sep, 2023

双模态注意力增强的文本-视频检索与三元局部对比学习

HTML
PDF
TL;DR通过改进对比学习方法，引入新的技术，分别利用文本和视觉线索，从中挖掘出困难负样例，并且能够自适应地确定它们对训练损失的影响；同时，通过构建部分有序三元组样本来模拟细粒度语义相似性，以提高文本-视频检索的性能。
发现论文，激发创造
  • HiT：层次化动量对比视频-文本检索的Transformer模型

    提出了一种新的名为Hierarchical Transformer (HiT)的方法，其中包括Hierarchical Cross-modal Contrastive Matching和Momentum Cross-modal Contrast的元素，以解决现有交叉模式Transformer方法存在的局限性，并在三个主要的Video-Text检索基准数据集上实现了优越的实验结果。

    Mar, 2021

  • 对比学习视频语料库瞬间检索

    本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

    May, 2021

  • 高效交叉视角视频检索的混合对比量化方法

    本研究提出了用于跨视图视频检索的混合对比量化（HCQ）方法，该方法通过引入transformers来学习粗粒度和细粒度量化，并在跨视图的多个细粒度层次上进行不对称量化对比学习（AQ-CL）以对齐文本和视频。 HCQ方法在存储和计算方面表现出高效率，并展示了与最先进的非压缩检索方法相当的性能。

    Feb, 2022

  • 跨媒体语言-视频注意力X-Pool在文本-视频检索中的应用

    提出了一种名为 X-Pool 的跨模态注意力模型，用于在文本和视频之间进行推理，从而提取重要的视觉线索。通过使用一个标度点乘的注意力机制，允许文本关注其最语义相似的帧，并生成基于文本的帧的注意力权重的聚合视频表示。在 MSR-VTT、MSVD 和 LSMDC 三个基准数据集上进行评估，实现了相对提高 Recall@1 高达 12% 的新的最佳效果。

    Mar, 2022

  • 用于多通道视频-语言检索的预训练对比模型的快速适应

    探索多模态检索中利用预训练对比模型和文本符号融合信息的最佳方式，并发现用离散文本符号表示视频的方法取得最佳效果。

    Jun, 2022

  • X-CLIP: 视频文本检索的端到端多粒度对比学习

    本篇论文提出了一种名为X-CLIP的多层次对比模型，通过Attention Over Similarity Matrix模块将多粒度相似度矩阵聚合到实例级别，大幅度提高了视频-文本检索的性能表现。在五个常用的视频文本检索数据集上，X-CLIP相较于之前最先进的模型提升了6.3％至11.1％，证明了多层次对比模型和AOSM模块的优越性。

    Jul, 2022

  • 使用细粒度帧采样的对比视频语言学习

    FineCo使用Fine-grained Contrastive Loss对视频帧进行抽样，以更好地学习视频和语言表示，从而提高跨模态对应性和在文本-视频检索和视频问答数据集上取得了有竞争力的成果，尤其是在YouCookII上实现了最先进的性能。

    Oct, 2022

  • 所有组合都相等吗？使用多空间学习将文本和视觉特征结合以进行基于文本的视频检索

    本文旨在解决跨模态视频检索问题，具体聚焦于文本到视频的检索，并探讨将多种不同的文本和视觉特征最佳组合以生成多个联合特征空间的方法。通过多空间学习过程训练网络结构，引入额外的softmax运算来修正推断的查询-视频相似性，并在三个大规模数据集上进行实验验证，以记录所提出网络的表现。

    Nov, 2022

  • 文本-视频检索的标准化对比学习

    本研究介绍了一个新的实例归一化方法，通过实例内置偏差计算，实现了跨模态检索中每个实例平等检索与准确表示，提高了文本和视频检索的性能，并在多个数据集上实现了最新的多模态检索指标。

    Nov, 2022

  • 通过自适应边缘提升视频检索

    本研究提出了一种自适应边界训练机制，称为CMGSD，通过计算正负实例的距离调整边界，以改善视频检索中的两个问题，即负样本之间的语义联系及性能下降，并利用CMGSD的优势在三个广泛使用的数据集上获得更好的性能。

    Mar, 2023