本文提出了一个基于概率理论的 Probabilistic Representation Contrastive Learning（PRCL）框架，通过将像素到表示的映射建模为多维高斯分布的概率，可以调节不确定性表示的贡献，提高表示的可靠性，从而提高了语义分割的性能，并在 Pascal VOC 和 CityScapes 上进行了充分的实验验证。

Oct, 2022

我们提出了一种协作版对比学习方法，利用数据驱动的采样来利用多个输入视频视图之间的隐式关系，以应对该问题，并在动作识别这一下游任务上取得了竞争性能表现。

Apr, 2021

通过对半监督语义分割进行对比学习取得了巨大突破，但是由于有限的注释，模型自身生成的无标签图像上的引导 inevitably 存在噪音，扰乱了无监督训练过程。为了解决这个问题，我们提出了一个强大的基于对比的 S4 框架，称为概率表示对比学习 (PRCL) 框架来增强无监督训练过程的鲁棒性。我们将逐像素表示建模为多元高斯分布的概率表示 (PR), 并通过调整模糊表示的贡献度来容忍对比学习中的不准确引导的风险。此外，我们通过收集整个训练过程中所有 PR 生成全局分布原型 (GDP)。由于 GDP 包含相同类别的所有表示的信息，它在表示中即使存在噪声也是鲁棒的，并且承载着表示的类内差异。此外，我们基于 GDP 生成虚拟负样本 (VNs) 来参与对比学习过程。在两个公开基准测试上进行的大量实验证明了我们 PRCL 框架的优越性。

Feb, 2024

给定时间序列数据，本论文展示了如何利用对比学习获得紧凑的、闭合形式的解来回答 “未来会发生什么？” 和 “我们是如何到达这一点的？” 这些概率推断问题在高维观测时很具有挑战性。我们通过对时间序列数据应用一种变体的对比学习方法来实现这些问题的解答。我们的理论验证了这种对比学习所学习到的表示遵循高斯 - 马尔科夫链。

Mar, 2024

介绍了一种新的自监督对比学习方法，旨在从未标记的视频中学习表示。该方法利用新的约束条件，以建立对时间变换等价的表示，并更好地捕捉视频动态。实验表明，时间等变表示在 UCF101，HMDB51 和 Diving48 的视频检索和动作识别基准测试中实现了最先进的结果。

Dec, 2021

该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

Jan, 2022

本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到 70.4% 的 top-1 准确率

Aug, 2020

该研究提出了一种基于段落的视频级对比学习方法，它使用全局上下文形成正样本，同时还结合了一个时间顺序正则化项来确保视频的时序结构，实验证明该方法在动作分类、动作定位和视频检索等任务上能够超越现有的最先进方法。

Aug, 2021

本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

Jul, 2018

研究使用视频数据进行决策预训练表示学习，讨论两种情景：观察中的独立同分布噪声和存在外部噪声的困难情景，验证了在不同情境中学习表征方法的样本复杂度和性能表现。

Mar, 2024