通过 Dual-view Curricular Optimal Transport（DCOT）在跨语言跨模态检索中学习带有噪声的对应关系，从而解决机器翻译产生的不完美翻译问题，实验证明了该方法的有效性和鲁棒性。

Sep, 2023

该论文提出了一种元相似性纠正网络（MSCN），通过元数据提供可靠的相似性打分，同时设计了数据净化策略来降低噪声影响，提高跨模态检索方法的性能。实验结果表明该方法在处理各种噪声数据集时具有优异的表现。

Apr, 2023

本文提出了一种时间对齐网络，能够对长期视频序列和关联文本句子进行处理，使用了一种新颖的共同训练方法来减少噪音并训练原始指导视频，应用于多个视频理解任务，包括文本 - 视频检索和弱监督视频动作分割等，获得了更好的性能。

Apr, 2022

本文提出了两种新的视频分析策略来处理噪声标签问题：一种基于特征的噪声标签检测轻量级通道选择方法，另一种构建干净与噪声实例关系以规范化模型训练的对比策略。实验结果表明，我们的方法在三个基准测试集上都优于现有基线，在 Mini-Kinetics 数据集上通过噪声对称 80％测试，噪声检测 F1-score 的提高率达到了 0.4％，分类准确度提高了 5％以上。

Dec, 2022

引入基于邻居对应匹配算法的视频帧合成方法，通过多尺度空间 - 时间邻域建立简化多运动场景中的帧间插值问题，并应用于视频压缩等实际场景，取得了最佳效果。

Jul, 2022

视频字幕模型容易受到短尾分布短语的影响，导致生成含糊不清的句子，而现有的去偏置策略往往会导入外部知识来构建单词的依赖树或通过复杂的损失函数和额外的输入特征来完善频率分布，缺乏可解释性且难以训练。为了减轻模型对颗粒度偏差的影响，我们引入了一种基于统计的偏差提取方法。该提取器量化了句子和视频中的信息内容，提供了衡量视频 - 句子对受颗粒度偏差影响可能性的估计。此外，随着对比学习方法在视频字幕任务中的增长趋势，我们使用双向三元组损失在批处理中获取更多的负样本。随后，我们将边际分数纳入对比学习损失中，为头部和尾部句子建立了不同的训练目标。这种方法有助于提高模型在尾部样本上的训练效果。我们提出的简单而有效的损失函数，结合了颗粒度偏差，称为边际对比损失（GMC 损失）。所提出的模型在 MSRVTT 上展示了最先进的性能，CIDEr 达到了 57.17，而在 MSVD 上达到了 138.68。

Nov, 2023

本篇研究提出了一种在线熵最优传输方法 OTTER，使用其进行对比学习，使来自预先训练的图像和文本编码器的模型仅需要使用 3M 图像 - 文本对进行训练，就可以在 Google Open Images 和 Tencent ML-Images 上获得在零样本评估方面的强大性能。

Dec, 2021

本篇论文提出了一种名为 X-CLIP 的多层次对比模型，通过 Attention Over Similarity Matrix 模块将多粒度相似度矩阵聚合到实例级别，大幅度提高了视频 - 文本检索的性能表现。在五个常用的视频文本检索数据集上，X-CLIP 相较于之前最先进的模型提升了 6.3％至 11.1％，证明了多层次对比模型和 AOSM 模块的优越性。

Jul, 2022

本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

May, 2021

FineCo 使用 Fine-grained Contrastive Loss 对视频帧进行抽样，以更好地学习视频和语言表示，从而提高跨模态对应性和在文本 - 视频检索和视频问答数据集上取得了有竞争力的成果，尤其是在 YouCookII 上实现了最先进的性能。

Oct, 2022