Oct, 2023

图形自我监督学习的生成和对比范式相辅相成

PDF
TL;DR通过融合图对比掩码自编码器（Graph Contrastive Masked Autoencoder，GCMAE）中的局部边缘特征与全局图结构关系，GCMAE 在节点分类、节点聚类、链接预测和图分类等四个流行的图任务中表现出良好的准确性，与最佳基准线相比，最大准确性提升达到 3.2%。
发现论文，激发创造
  • 通过对齐和均匀性重新思考图形遮罩自编码器

    通过在理论上构建 GraphMAE 和 GCL 之间的桥梁，我们证明了 GraphMAE 中的节点级重构目标隐含地执行上下文级 GCL，并指出了 GraphMAE 在对齐性和一致性方面的局限性。为了解决这些限制，我们提出了一种增强的对齐一致性图掩码自编码器 AUG-MAE，并通过实验证明了该模型优于现有最先进方法。

    Feb, 2024

  • 自监督掩码图自编码器

    本研究提出了一种掩蔽图自编码器 (GraphMAE)，解决了基于结构数据增强和复杂的训练策略的对比学习的不足之处，侧重于特征重建，并表现出优异的性能。

    May, 2022

  • GraphMAE2: 一个集解码增强的掩码自监督图学习器

    本文提出了一种基于掩蔽自监督学习框架 GraphMAE2，利用多视角随机重新覆盖解码策略和潜在表示预测策略，并通过广泛的实验表明其在各种公共数据集上始终产生顶级结果。

    Apr, 2023

  • UGMAE: 图卷积自编码器的统一框架

    通过采用 UGMAE 方法，在自学习图上进行图遮挡自编码器的统一框架，解决了现有方法中节点重要性不均匀、整体图信息利用不足、表示空间中的语义知识忽视以及遮挡内容过大导致的不稳定问题，实验证明 UGMAE 在多个数据集上的多项任务上优于对比和生成最先进基准模型。

    Feb, 2024

  • 从局部对比角度理解掩码自编码器

    通过对编码器 - 解码器架构以及局部对比学习的分析，本文探索了 Masked AutoEncoder 的机制，并将其改进为一种局部区域级对比学习形式，为改进自监督学习框架提供了更全面和灵活的解释。

    Oct, 2023

  • 序列推荐的图形掩蔽自编码器

    提出了一种简单而有效的图蒙版自编码器，通过自监督学习来自适应动态提取全局项转换信息，在顺序推荐中进行信息增强。

    May, 2023

  • 异构图遮蔽自编码器

    本文提出了一种名为 HGMAE 的新型异构图蒙版自编码器模型，通过创新的掩膜技术和独特的训练策略，解决了捕捉复杂图结构、结合各种节点属性和编码不同节点位置等异构图学习面临的挑战，并在多个数据集上的多项任务中优于现有的对比和生成基线。

    Aug, 2022

  • 对比遮蔽自编码器是更强的视觉学习者

    Contrastive Masked Autoencoders (CMAE) is a new self-supervised pre-training method that unifies contrastive learning (CL) and masked image model (MIM) for learning more powerful visual representation, achieving state-of-the-art results on image classification, semantic segmentation, and object detection tasks.

    Jul, 2022

  • MGAE：用于图像自监督学习的屏蔽自编码器

    本文提出了一种新颖的 MGAE 框架，通过对图结构进行随机遮掩边来重构这些缺失的边并利用 GNN 对部分遮掩的图进行传播来训练 MGAE 以达到有效学习图结构数据的目的，并在多个开放数据集上进行了广泛实验，表明 MGAE 在链接预测和节点分类方面总体性能优于最先进的无监督学习竞争对手。

    Jan, 2022

  • GiGaMAE: 通过协同潜在空间重建实现可泛化的图掩码自编码器

    我们提出了一种名为 GiGaMAE 的新型图掩蔽自编码器框架，通过协同重构信息化和综合的潜在嵌入，从而解决了当前图数据上遇到的推理能力不强的问题。通过将图拓扑和属性信息包含在嵌入中，作为重构目标，我们的模型能够捕捉到更广义和综合的知识，并引入基于互信息的重构损失，使得能够有效重构多个目标，实验结果表明 GiGaMAE 在多个基准测试中表现优于现有基线模型。

    Aug, 2023