本文介绍了在大规模多模式视频数据集上的自我监督学习的发展；提出了一种基于生成模型的方法，以翻译问题的形式解决了这一问题，并将其应用于多种下游视频理解任务中。结果表明，本方法在性能上优于基于对比度度量学习的方法。

Jun, 2020

本文利用包含超过 10 亿个图像备选文本对的嘈杂数据集，采用简单的双编码器体系结构通过对比损失，学习了图像和文本对的视觉和语言表示，显示出我们语料库的规模可以弥补其噪音，即使使用这样的简单学习方案也能实现最先进的表现，使跨模式搜索变得更加容易。

Feb, 2021

本研究提出了使用视频自然增广的无标签视频学习方法，可以有效地提取单个图像的表示，并可用于各种时间和非时间任务中。

Mar, 2020

通过使用基于扩散模型建立的噪声 - 视频映射，由搜索 - 反转流程逼近文本输入的最佳噪声，同时通过一个语义保持改写器来丰富文本提示，实现文本到视频模型的有效优化。

Nov, 2023

该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

Jan, 2022

本文介绍了一种自监督学习方法，以学习音频和视频表征，并通过行动识别任务的实验验证了其解决音频 - 视觉实例区别问题和提高迁移学习性能的贡献。

Mar, 2021

本文提出一种新颖的视觉表达学习方法，使用语言相似性来对比学习语义相似的图像对，通过对比语言的相似性来采样图像视图对，避免手工增强和学习聚类。我们的方法通过预训练语言模型来引导学习，显示出比基于图像和图像 - 文本表征学习方法更好的特征。

Feb, 2023

本文提出一种新的对抗噪声视图具有鲁棒性的对比损失函数，它在图像、视频和图形上的对比学习基准测试中提供了一致的改进，并且是模态无关和与 InfoNCE 损失的一个简单替代方法。

Jan, 2022

通过改进对比学习方法，引入新的技术，分别利用文本和视觉线索，从中挖掘出困难负样例，并且能够自适应地确定它们对训练损失的影响；同时，通过构建部分有序三元组样本来模拟细粒度语义相似性，以提高文本 - 视频检索的性能。

Sep, 2023

视频字幕模型容易受到短尾分布短语的影响，导致生成含糊不清的句子，而现有的去偏置策略往往会导入外部知识来构建单词的依赖树或通过复杂的损失函数和额外的输入特征来完善频率分布，缺乏可解释性且难以训练。为了减轻模型对颗粒度偏差的影响，我们引入了一种基于统计的偏差提取方法。该提取器量化了句子和视频中的信息内容，提供了衡量视频 - 句子对受颗粒度偏差影响可能性的估计。此外，随着对比学习方法在视频字幕任务中的增长趋势，我们使用双向三元组损失在批处理中获取更多的负样本。随后，我们将边际分数纳入对比学习损失中，为头部和尾部句子建立了不同的训练目标。这种方法有助于提高模型在尾部样本上的训练效果。我们提出的简单而有效的损失函数，结合了颗粒度偏差，称为边际对比损失（GMC 损失）。所提出的模型在 MSRVTT 上展示了最先进的性能，CIDEr 达到了 57.17，而在 MSVD 上达到了 138.68。

Nov, 2023