EMNLPNov, 2022

文本 - 视频检索的标准化对比学习

PDF
TL;DR本研究介绍了一个新的实例归一化方法，通过实例内置偏差计算，实现了跨模态检索中每个实例平等检索与准确表示，提高了文本和视频检索的性能，并在多个数据集上实现了最新的多模态检索指标。
cross-modal contrastive learningnormalized contrastive learningmultimodal retrievalretrieval performanceinstance-wise biases
发现论文，激发创造
  • 双模态注意力增强的文本 - 视频检索与三元局部对比学习

    通过改进对比学习方法，引入新的技术，分别利用文本和视觉线索，从中挖掘出困难负样例，并且能够自适应地确定它们对训练损失的影响；同时，通过构建部分有序三元组样本来模拟细粒度语义相似性，以提高文本 - 视频检索的性能。

    Sep, 2023

  • 对比学习视频语料库瞬间检索

    本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

    May, 2021

  • 多模态检索与排序的广义对比学习

    我们提供了一个大规模的数据集，以促进未来的研究和评估，随后我们提出了一种用于多模态检索和排序的广义对比学习方法 (GCL)，其设计用于从细粒度排序中学习，实验结果表明，与基线模型 CLIP 相比，GCL 在域内任务中的 NDCG@10 增加 94.5%，在冷启动评估中增加了 26.3 至 48.8%。

    Apr, 2024

  • 跨模态对比学习：多模态视频表征

    提出了一种新的对比损失方法 CrossCLR，能够实现跨模态嵌入学习中考虑嵌入空间中类内相似性，避免了同一内容被映射到多个点的问题，从而显著提高了视频与文本的检索和视频字幕生成的性能。该方法具有很好的普适性，可用于其他模态之间的联合嵌入学习。

    Sep, 2021

  • 用于多通道视频 - 语言检索的预训练对比模型的快速适应

    探索多模态检索中利用预训练对比模型和文本符号融合信息的最佳方式，并发现用离散文本符号表示视频的方法取得最佳效果。

    Jun, 2022

  • 跨模态视频文字检索的记忆增强嵌入学习

    本研究提出了一种新颖的记忆增强嵌入学习（MEEL）方法，构建了两种记忆模块，交叉模态记忆模块和文本中心记忆模块，用于跨模态视频文本检索任务，解决了局部负样本和文本描述多样性的问题。在 MSR-VTT 和 VATEX 两个基准数据集上进行的实验表明，该方法具有很高的有效性。

    Mar, 2021

  • X-CLIP: 视频文本检索的端到端多粒度对比学习

    本篇论文提出了一种名为 X-CLIP 的多层次对比模型，通过 Attention Over Similarity Matrix 模块将多粒度相似度矩阵聚合到实例级别，大幅度提高了视频 - 文本检索的性能表现。在五个常用的视频文本检索数据集上，X-CLIP 相较于之前最先进的模型提升了 6.3％至 11.1％，证明了多层次对比模型和 AOSM 模块的优越性。

    Jul, 2022

  • 分布归一化：对基于对比学习的视觉语言模型进行 “轻松” 的测试时间增强

    通常的下游做法只是优化目标的零阶近似，而 Distribution Normalization（DN）可以很好地检索到负样本的信息，从而在测试时间获得更好的性能。

    Feb, 2023

  • 层次网络多粒度融合的跨模态相关学习

    本文提出了一种跨模态相关学习方法，通过层级网络的多粒度融合实现多级别关联，在保留内 - 外模态互补上下文的同时，采用多任务学习策略平衡内 - 外模态的约束，成功地将粗细模型进行融合以实现精确的跨模态相关性，实验结果表明我们的方法在多个数据集上表现出色。

    Apr, 2017

  • 跨模态对比学习与非对称协同注意网络在视频时刻检索中的应用

    视频时刻检索是一项具有挑战性的任务，需要视频和文本模态之间的精细交互。我们评估了一个最近提出的解决方案，在视频 grounding 任务中引入了不对称协同注意力网络，并在两个模态中加入了动量对比损失，其整合效果在 TACoS 数据集上表现更好，并在 ActivityNet Captions 上表现可比的结果，而且相对于基线模型，参数数量显著减少。

    Dec, 2023