可扩展的图自监督学习
SE-HSSL 是一个基于超图的自我监督学习框架,通过两个无需采样的目标和一个基于层次关系的对比目标来解决超图自我监督学习模型中的负样本采样偏差和计算效率问题。实验证明,与现有方法相比,SE-HSSL 在有效性和效率上都具有优势。
Apr, 2024
本文提出了一种基于潜在图预测的自我监督学习框架 LaGraph,通过其理论上的自我监督上界来学习预测未观察到的潜在图。在实验中得到了相对于其他相关方法在性能上的提高和对样本减少的鲁棒性提升的证明。
Feb, 2022
自监督学习(SSL)是一种越来越流行的表示学习范例。我们提出了 FroSSL 目标函数,通过最小化协方差 Frobenius 范数以避免坍缩和最小化均方误差以实现增强不变性,从而比其他 SSL 方法更快地收敛,并在各种数据集上展示了竞争性表示学习的能力。
Oct, 2023
本文提出了一种新颖的流图半监督学习逼近方法,旨在捕捉标签分布的稀疏性并确保算法准确地传播标签,进一步将每个节点的空间复杂度降低到 O (1),同时提供了适用于大型数据的分布式算法和为自然语言应用构建的图构建机制以及经过深度学习架构训练的鲁棒性图增强策略,实验结果证明该方法在内存占用上具有显著的降低,并且在性能上优于现有的最先进算法。
Dec, 2015
通过分析梯度公式,我们对基于非参数实例区分的单分支自监督学习方法进行了改进,提出了一种新的自蒸馏损失以减小实例区分中的更新问题,并且在训练开销和性能方面与不同方法进行了系统比较,在不同规模的数据和不同骨干网络下,我们的方法在大大降低开销的同时,比各种基准方法表现更好,尤其在有限数量的数据和小型模型的情况下效果显著。
Apr, 2024
本论文研究了自监督学习的非对比方法,通过构建 DirectPred 理论框架,分析了线性网络的表示学习动态,并通过共轭积的方法提供了一个显式的方差规则机制,提出了一种新的各向同性损失函数,并在 CIFAR-10 和 STL-10 数据集上证明了理论发现的正确性。
Dec, 2022
本文综述了基于自监督学习技术在图数据中的应用,提出了一个统一的数学框架,并将这些方法根据预文本任务的目标分为四类,并描述了在各个研究领域中的应用及所采用的数据集,评估基准,性能比较和开源图形 SSL 代码。
Feb, 2021
本文研究了使用 PCA,t-SNE 和 UMAP 等降维技术对半监督图神经网络中节点标签的传播效果,并通过 Cora 和 Citeseer 等数据集进行了量化和定性分析,并发现在某些情况下,将降维技术应用于 GNN 的输入和输出可以同时提高半监督节点标签传播和节点聚类的有效性。
Mar, 2022