关键词generative self-supervised learning
搜索结果 - 5
- 看前或看周围？自回归与掩码预训练之间的理论比较
通过建立理论框架，比较了两种主要生成式自监督学习范式 —— 自回归 SSL 和掩码 SSL 在分类和内容生成任务中的优势和局限性，并提出了多样性增强的自回归和可变长度掩码目标，显著提高了自回归 SSL 的分类性能和掩码 SSL 的生成性能。
- 通过相似度蒸馏保持图自编码器中节点的独特性
通过双编码器 - 解码器架构将原始图的区别知识传递到重建图以避免模糊重建并提高性能。
- UGMAE: 图卷积自编码器的统一框架
通过采用 UGMAE 方法，在自学习图上进行图遮挡自编码器的统一框架，解决了现有方法中节点重要性不均匀、整体图信息利用不足、表示空间中的语义知识忽视以及遮挡内容过大导致的不稳定问题，实验证明 UGMAE 在多个数据集上的多项任务上优于对比和 - HGCVAE: 整合生成与对比学习的异构图学习
HGCVAE 是一种新颖的对比变分图自编码器，通过创新地结合了生成性自我监督学习和对比性自我监督学习的方法，在处理异构图学习的挑战时表现出显著的结果。
- AAAI异构图遮蔽自编码器
本文提出了一种名为 HGMAE 的新型异构图蒙版自编码器模型，通过创新的掩膜技术和独特的训练策略，解决了捕捉复杂图结构、结合各种节点属性和编码不同节点位置等异构图学习面临的挑战，并在多个数据集上的多项任务中优于现有的对比和生成基线。