跨模态对比学习：多模态视频表征

ICCVSep, 2021

跨模态对比学习：多模态视频表征

CrossCLR: Cross-modal Contrastive Learning For Multi-modal Video Representations

Mohammadreza Zolfaghari, Yi Zhu, Peter Gehler, Thomas Brox

TL;DR提出了一种新的对比损失方法 CrossCLR，能够实现跨模态嵌入学习中考虑嵌入空间中类内相似性，避免了同一内容被映射到多个点的问题，从而显著提高了视频与文本的检索和视频字幕生成的性能。该方法具有很好的普适性，可用于其他模态之间的联合嵌入学习。

Abstract

contrastive learning allows us to flexibly define powerful losses by contrasting positive pairs from sets of negative samples. Recently, the principle has also been used to learn cross-modal embeddings for video

contrastive learning cross-modal embeddings cross-modal retrieval intra-modality similarities generality

发现论文，激发创造

全局背景下的视频对比学习

该研究提出了一种基于段落的视频级对比学习方法，它使用全局上下文形成正样本，同时还结合了一个时间顺序正则化项来确保视频的时序结构，实验证明该方法在动作分类、动作定位和视频检索等任务上能够超越现有的最先进方法。

Aug, 2021

MaCLR: 面向视频的动态感知对比学习表征

MaCLR 是一种新方法，通过视觉和运动模态之间的交叉模态学习，在 RGB 视频剪辑和动作路径之间富化标准对比学习目标，从而更关注前景运动区域，达到了自监督下行任务的最先进性能。

Jun, 2021

对比视觉语言细粒度理解中的同模态句式和排名跨模态硬负例

为了解决 Vision and Language Models 对于细致的理解和 fine-grained 任务的挑战，本研究提出一种基于 intra-modal 和 cross-modal rank loss 的策略，该策略不需要额外的注释或参数，可应用于任何使用图像 - 文本对比损失训练的 VLMs。在应用于 CLIP 上时，该方法在三个细粒度基准测试上显著提高了性能，并增强了 X-VLM 在细粒度推理上的表现。

Jun, 2023

多模态学习中对比损失的重要性

通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

Apr, 2023

能量对比学习视觉表征

探索了一种基于能量的对比学习方法，将对比学习与基于能量的模型相结合，可以用于学习小型和中型数据集中的视觉表示，其在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 等数据集上都表现出了很好的结果，并相对于其他方法有 X4 到 X20 倍的加速。

Feb, 2022

视觉表征学习的多模态对比训练

通过同时利用内部数据属性和跨模态关联的语义信息，开发了一种学习视觉表示形式的方法，其中包括多种类型的对比损失，从而提高了学习到的视觉表示的质量。该方法在 COCO 数据集上进行训练，可以被用于图像分类、目标检测、实例分割等下游任务，并在 ImageNet 数据集上实现了 55.3% 的顶级验证精度。

Apr, 2021

文本 - 视频检索的标准化对比学习

本研究介绍了一个新的实例归一化方法，通过实例内置偏差计算，实现了跨模态检索中每个实例平等检索与准确表示，提高了文本和视频检索的性能，并在多个数据集上实现了最新的多模态检索指标。

Nov, 2022

TCLR: 视频表征的时序对比学习

本研究提出了一种新的时间对比学习框架，采用两个新的损失函数以提高现有自监督视频表示学习方法的性能，其中局部 - 局部时间对比损失和全局 - 局部时间对比损失实现了在各种下游视频理解任务中的显着改进。

Jan, 2021

时空表示的双重对比学习

该论文提出了一种新的双重对比学习框架来解决背景场景偏差问题并有效地学习时空表示，实验证明在 UCF-101，HMDB-51 和 Diving-48 数据集上具有最先进的性能。

Jul, 2022

CrossVideo: 点云视频理解的自监督跨模态对比学习

本文介绍了一种名为 CrossVideo 的新方法，旨在增强点云视频理解领域的自监督跨模态对比学习。通过利用点云视频和图像视频之间的跨模态关系获取有意义的特征表示，我们提出了一种自监督学习方法来解决数据稀缺和标签获取困难的问题。通过使用单模态和跨模态对比学习技术，我们实现了对点云视频的有效理解，并提出了一种适用于两种模态的多层对比方法。通过广泛的实验证明，我们的方法明显超过了先前的最先进方法，并进行了全面的消融研究来验证我们提出的设计的有效性。

Jan, 2024