本文提出了一种自监督表征学习方法，它将对比学习与动态模型相结合，以协同地实现三个目标，即通过最大化信息 NCE 界来诱导线性预测嵌入，通过显式学习非线性转换模型进一步提高学习嵌入的马尔可夫性以及最大化下一嵌入的互信息，其基于当前动作和当前状态的两个独立增强的嵌入预测，实验表明，与基于对比学习或重建的现有方法相比，我们的方法在样本效率和泛化性能上都取得了更好的结果。

Mar, 2022

使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。

Feb, 2021

提出了一种名为 InfoGCL 的基于信息瓶颈原则的信息感知图对比学习框架，与最新的图像对比学习方法统一，在节点和图分类基准数据集上进行了实证验证，取得了显著的效果优于现有技术。

Oct, 2021

图神经网络（GNNs）在建模关系型数据方面表现出显著的潜力，并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递，其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解 GNNs 的优势和局限，并进而指导模型设计。最近，出现了大量使用连续动态学的 GNNs 的作品，旨在解决 GNNs 已知的局限性，如过度平滑和过度压缩。在这项调查中，我们首次系统全面地审查了使用连续动态学视角的研究。为此，我们介绍了适应 GNNs 的连续动态学的基本要素，以及对图神经动力学设计的一般框架。然后，我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典 GNNs 的局限性。最后，我们确定了多个开放的研究方向。

Oct, 2023

本文从因果关系的角度研究了图对比学习（Graph Contrastive Learning），发现传统的图对比学习由于含有非因果信息而不能很好地学习不变表示。为了解决这个问题并促使当前的图对比学习方法学习更好的不变表示，我们提出了一种新的图对比学习方法，通过引入谱图增强来模拟对非因果因素的干预，并设计了不变性目标和独立性目标来更好地捕捉因果因素。实验结果表明我们的方法在节点分类任务上的有效性。

Jan, 2024

通过对图对比学习方法进行系统研究，我们发现了图对比学习方法中与视觉对比学习方法不同的一些共同现象，包括正样本对于图分类和采用特定归一化模块进行节点分类时并不是必需的，而且数据增强对于图对比学习的影响较小。通过揭示图神经网络的内在归纳偏差是如何在对比学习中起作用的，我们从理论上对图对比学习的上述有趣特性提供了深入的洞察。因此，在设计图对比学习方法时，倡导更多关注图学习的独特架构及其隐含的影响。

Nov, 2023

提出了基于记忆的消息传递方法（MMP），以解决现有消息传递方法在不光滑和噪声建模上的缺陷，通过记忆分离节点信息为鉴别和传播两部分，并发展控制机制和解耦合法则以提高所提出方法的效果和鲁棒性。

Feb, 2022

本研究利用对比学习方法，在已有预训练模型为基础上，训练对话生成模型，提高其多样性和能力以应对开放领域会话问题，并提出一种适用于广泛对话生成模型的群内对比学习框架，实验结果表明该方法在性能上表现优异。

Sep, 2020

本论文详细分析了对比学习的三个问题：扩展标准对比损失、局部特征学习和竞争特征抑制现象，并指出了此类方法可能存在的数据增强限制和学习饱和等问题。

Nov, 2020

该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

Jan, 2022