MMSep, 2023

双模态注意力增强的文本 - 视频检索与三元局部对比学习

PDF
TL;DR通过改进对比学习方法，引入新的技术，分别利用文本和视觉线索，从中挖掘出困难负样例，并且能够自适应地确定它们对训练损失的影响；同时，通过构建部分有序三元组样本来模拟细粒度语义相似性，以提高文本 - 视频检索的性能。
text-video retrievalcontrastive learning methodsdual-modal attention-enhanced modulenegative-aware infoncetriplet partial margin contrastive learning
发现论文，激发创造
  • 跨模态视频文字检索的记忆增强嵌入学习

    本研究提出了一种新颖的记忆增强嵌入学习（MEEL）方法，构建了两种记忆模块，交叉模态记忆模块和文本中心记忆模块，用于跨模态视频文本检索任务，解决了局部负样本和文本描述多样性的问题。在 MSR-VTT 和 VATEX 两个基准数据集上进行的实验表明，该方法具有很高的有效性。

    Mar, 2021

  • 文本 - 视频检索的标准化对比学习

    本研究介绍了一个新的实例归一化方法，通过实例内置偏差计算，实现了跨模态检索中每个实例平等检索与准确表示，提高了文本和视频检索的性能，并在多个数据集上实现了最新的多模态检索指标。

    Nov, 2022

  • 用于多通道视频 - 语言检索的预训练对比模型的快速适应

    探索多模态检索中利用预训练对比模型和文本符号融合信息的最佳方式，并发现用离散文本符号表示视频的方法取得最佳效果。

    Jun, 2022

  • 跨模态对比学习与非对称协同注意网络在视频时刻检索中的应用

    视频时刻检索是一项具有挑战性的任务，需要视频和文本模态之间的精细交互。我们评估了一个最近提出的解决方案，在视频 grounding 任务中引入了不对称协同注意力网络，并在两个模态中加入了动量对比损失，其整合效果在 TACoS 数据集上表现更好，并在 ActivityNet Captions 上表现可比的结果，而且相对于基线模型，参数数量显著减少。

    Dec, 2023

  • 通过自适应边缘提升视频检索

    本研究提出了一种自适应边界训练机制，称为 CMGSD，通过计算正负实例的距离调整边界，以改善视频检索中的两个问题，即负样本之间的语义联系及性能下降，并利用 CMGSD 的优势在三个广泛使用的数据集上获得更好的性能。

    Mar, 2023

  • 对比学习视频语料库瞬间检索

    本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

    May, 2021

  • 视频理解作为机器翻译

    本文介绍了在大规模多模式视频数据集上的自我监督学习的发展；提出了一种基于生成模型的方法，以翻译问题的形式解决了这一问题，并将其应用于多种下游视频理解任务中。结果表明，本方法在性能上优于基于对比度度量学习的方法。

    Jun, 2020

  • 使用 CLIP 引导的视觉文本注意力进行视频问答

    本文提出了一种利用 Contrastive Language-Image Pre-training（CLIP）作为跨模态学习指导的 Visual-Text Attention 机制来应用于视频问答任务。在特定领域中提取视频和文本特征后，利用 CLIP 对一组通用知识域上视觉 - 文本特征进行特征提取，并提出了交叉域学习来提取目标域和通用域间的视觉和语言特征之间的注意力信息，将特征集成用于迁移学习，结果表明这种方法优于现有的最先进方法。

    Mar, 2023

  • 音视频检索的两阶段三元组损失训练及课程增强

    通过课程学习引导，本研究提出了一种两阶段训练范式，从半硬三元组到困难三元组，来优化跨模态检索模型的性能。在两个音视频数据集上进行的广泛实验结果显示，与当前最先进方法 MSNSCA 相比，我们提出的方法在 AVE 数据集上的视听跨模态检索任务的平均均值平均准确率 (MAP) 方面有显著提升，约为 9.8%，表明我们的方法的有效性。

    Oct, 2023

  • 通过 MildTriple Loss 实现运动和文本的跨模态检索

    本文提出了一种基于 transformer 和 triplet loss 的 cross-modal retrieval 模型来解决 human motion sequences 和 text 之间的检索问题，并提出了一种新的 MildTriple Loss 来减少 semantic conflicts 的影响，经实验证明，在 HumanML3D 和 KIT Motion-Language 数据集上具有较高的检索召回率。

    May, 2023