通过多粒度视觉特征学习和二阶段检索体系结构，本研究提出了一种在检索效果和效率之间取得平衡的文本到视频检索方法，同时在训练阶段采用了参数无关的文本门控交互块和额外的 Pearson 约束来优化跨模态表示学习，从而实现了与当前最先进方法相媲美的性能，且速度快近 50 倍。

Jan, 2024

在这项工作中，我们在独立嵌入框架之上提出了一个图像 - 文本对齐模块 SelfAlign，通过自监督对比学习在概念级和语境级强制进行图像 - 文本对齐，提高了检索准确性同时保持了检索效率。

Aug, 2023

本研究提出了一种名为 Disentangled Conceptualization and Set-to-set Alignment (DiCoSA) 的跨模态任务解决方法，可以将视觉实体与自然语言描述对齐，采用多个与语义概念相关的潜在因素来划分粗特征进行概念化，使用自适应的池化方法来聚合语义概念以解决部分匹配，并通过在少量维度上独立编码概念确保细粒度交互，从而实现高效和精细的交互。在多个数据集上的实验表明，该方法优于现有的最先进方法。

May, 2023

提出了 CrossTVR，一个两阶段的文本视频检索架构。第一阶段利用现有的文本 - 视频检索方法进行候选选择，第二阶段提出了一个新颖的解耦视频文本交叉注意力模块，以捕捉时空维度中细粒度的多模态信息。通过在细粒度检索中采用冻结的 CLIP 模型策略，可以扩展到更大的预训练视觉模型，如 ViT-G，从而提高检索性能。对文本视频检索数据集进行的实验证明了我们提出的 CrossTVR 相较于最先进的方法的有效性和可扩展性。

Jul, 2023

通过多层次教学，利用具有更高性能但计算负荷较大的模型，如 X-CLIP、TS2-Net 和 X-Pool，以及引入注意力框架特征聚合（AFA）块来提高学生网络的学习能力，以实现高效的文本到视频检索。实验结果表明所提出的方法是可行的。

Aug, 2023

本篇论文提出了一种名为 X-CLIP 的多层次对比模型，通过 Attention Over Similarity Matrix 模块将多粒度相似度矩阵聚合到实例级别，大幅度提高了视频 - 文本检索的性能表现。在五个常用的视频文本检索数据集上，X-CLIP 相较于之前最先进的模型提升了 6.3％至 11.1％，证明了多层次对比模型和 AOSM 模块的优越性。

Jul, 2022

FineCo 使用 Fine-grained Contrastive Loss 对视频帧进行抽样，以更好地学习视频和语言表示，从而提高跨模态对应性和在文本 - 视频检索和视频问答数据集上取得了有竞争力的成果，尤其是在 YouCookII 上实现了最先进的性能。

Oct, 2022

本研究提出了一种新的多空间多粒度监督学习框架 SUMA，用于学习视频和文本之间的对齐表示空间，其中初始对齐空间由一定数量的概念聚类初始化。实验结果表明，SUMA 相比现有方法具有更好的性能。

Feb, 2023

本文主要设计了一种高效的全局 - 局部对齐方法，在共享的语义中心集合中，自适应地汇聚多模式视频序列和文本特征，并计算相同中心内的视频特征与文本特征之间的局部交叉模态相似性，从而实现了细致的局部比较，同时降低了交互成本。此外，还提出了一种全局对齐方法，并在三个标准的文本 - 视频检索基准测试中取得了一致的改进和领先的效果。

Apr, 2021

通过提出 Global-Local 语义一致性学习方法，该研究利用文本 - 视频预训练模型，实现在文本 - 视频检索中的高效性和效果提升。通过全局和局部交互模块实现粗粒度和细粒度的语义对齐，并引入一致性损失和多样性损失，达到概念对齐和生成更有区分性的概念的目的。实验结果表明，该方法在多个基准测试中具有优越的性能和高效率。

May, 2024