本研究提出了一种掩蔽图自编码器 (GraphMAE)，解决了基于结构数据增强和复杂的训练策略的对比学习的不足之处，侧重于特征重建，并表现出优异的性能。

May, 2022

本文提出了一种基于掩蔽自监督学习框架 GraphMAE2，利用多视角随机重新覆盖解码策略和潜在表示预测策略，并通过广泛的实验表明其在各种公共数据集上始终产生顶级结果。

Apr, 2023

Hierarchical Graph Masked AutoEncoders (Hi-GMAE) is a multi-scale framework that addresses the limitations of single-scale Graph Masked Autoencoders (GMAEs) in incorporating hierarchical structures within graphs, resulting in improved performance compared to other self-supervised competitors.

May, 2024

本文提出了一种新颖的 MGAE 框架，通过对图结构进行随机遮掩边来重构这些缺失的边并利用 GNN 对部分遮掩的图进行传播来训练 MGAE 以达到有效学习图结构数据的目的，并在多个开放数据集上进行了广泛实验，表明 MGAE 在链接预测和节点分类方面总体性能优于最先进的无监督学习竞争对手。

Jan, 2022

HGCVAE 是一种新颖的对比变分图自编码器，通过创新地结合了生成性自我监督学习和对比性自我监督学习的方法，在处理异构图学习的挑战时表现出显著的结果。

Oct, 2023

通过采用 UGMAE 方法，在自学习图上进行图遮挡自编码器的统一框架，解决了现有方法中节点重要性不均匀、整体图信息利用不足、表示空间中的语义知识忽视以及遮挡内容过大导致的不稳定问题，实验证明 UGMAE 在多个数据集上的多项任务上优于对比和生成最先进基准模型。

Feb, 2024

我们提出了一种名为 GiGaMAE 的新型图掩蔽自编码器框架，通过协同重构信息化和综合的潜在嵌入，从而解决了当前图数据上遇到的推理能力不强的问题。通过将图拓扑和属性信息包含在嵌入中，作为重构目标，我们的模型能够捕捉到更广义和综合的知识，并引入基于互信息的重构损失，使得能够有效重构多个目标，实验结果表明 GiGaMAE 在多个基准测试中表现优于现有基线模型。

Aug, 2023

通过在理论上构建 GraphMAE 和 GCL 之间的桥梁，我们证明了 GraphMAE 中的节点级重构目标隐含地执行上下文级 GCL，并指出了 GraphMAE 在对齐性和一致性方面的局限性。为了解决这些限制，我们提出了一种增强的对齐一致性图掩码自编码器 AUG-MAE，并通过实验证明了该模型优于现有最先进方法。

Feb, 2024

本文研究了自监督自编码器在图数据中的表现问题，并提出一种新的自编码器模型用于图形表示学习，该模型包括分层自适应掩蔽机制和可训练的破坏机制，通过在十个基准数据集上的广泛实验，证明了所提出方法相对于现有的图表征学习模型其卓越性。

Jan, 2023

通过将 Masked Auto-Encoder（MAE）作为一个统一的、与模态无关的自监督学习框架，通过元学习对其进行解读，并从统一提高其在不同模态下的自监督学习的动机出发，我们提出了 MetaMAE。我们的关键思想是将 MAE 的掩码重构视为元学习任务，并通过未掩码标记的变换器元学习的涉及来预测掩码令牌。基于这个新颖的解读，我们提出了集成两种先进的元学习技术的方法。首先，我们使用基于梯度的元学习来适应变换器编码器的平均潜在因素以增强重构。然后，我们通过任务对比学习来最大化平均化和适应化潜在因素之间的对齐，从而指导变换器编码器更好地编码任务特定的知识。我们的实验证明了 MetaMAE 在与模态无关的自监督学习基准（称为 DABS）中的优越性，明显优于之前的基线。

Oct, 2023