使用本地和全局结构进行自监督的图级表示学习
本文提出了一种名为 OEPG 的方法,可以用于图表示学习。该方法可以将全局的语义嵌入到本地图卷积中,实现本地图卷积与全局信息的相互适应,并可以通过预处理任务和动量更新来提高性能
May, 2022
本文提出了一种自监督的图表征学习策略,需要使用全局上下文进行图表征学习,其中通过训练神经网络预测节点之间相对位置来学习节点表征,以提高节点分类、聚类和链接预测等下游任务的性能。
Mar, 2020
提出了基于全局和局部特征表示的多网络对比学习框架,通过多个网络引入自监督对比学习的全局和局部特征信息,并通过对比由多个网络生成的嵌入对来学习图像不同尺度上的特征信息,并扩展对比样本数,提高了模型的训练效率。在三个基准数据集上的线性评估结果表明,我们的方法优于几种现有的经典自监督学习方法。
Jun, 2023
该研究提出了一种新的自监督学习策略,称为 LoGo,它通过不同的本地和全局裁剪来促进特征的多样性,并取得了在 1/10 数据的情况下超越有监督模型的转移学习的最好结果。
Mar, 2022
我们提出了一种局部结构感知的图对比学习方法 (LS-GCL),用于从多个视角建模节点的结构信息,并且通过多层对比损失函数来优化模型,实验结果表明我们的方法在节点分类和链接预测任务上均优于最先进的图表示学习方法。
Aug, 2023
本文提出了一种新型的无监督视觉基础框架,使用概念学习作为代理任务来获得自我监督,以鼓励模型定位和解释语义属性,在多项实验中,该方法在图像本体库、ReferItGame 数据集上分别提升了 5.6% 和 5.8%,在 Flickr30k 数据集上达到了与最先进的表现相媲美的水平。
Mar, 2018
本文提出了去中心化的 “local2global” 图表示学习方法,首先将输入的图划分为重叠的子图(或 “补丁”,patches),并分别对每个 “补丁” 训练本地表示。然后通过组同步,利用 “补丁” 重叠处的信息来估计最佳对齐的刚性运动集,将局部表示组合成全局一致的表示。相对于现有工作,local2global 的一个关键区别是无需在分布式训练期间进行昂贵的参数同步,可以独立地训练各个 “补丁”。这使得 local2global 可以扩展到大规模工业应用程序,在这些应用中,输入图甚至可能无法适合内存,并以分布方式存储。目前中等规模数据集(高达 7K 个节点和 200K 个边缘)的初步结果是令人鼓舞的,local2global 的图重建性能与全局训练嵌入相当。对大规模数据的 local2global 进行全面评估以及在节点分类和链接预测等下游任务中的应用尚在进行中。
Jul, 2021
本研究提出基于关系图的深度传递学习框架,从大规模未标记的数据中学习通用潜在关系图,并将其转移到各种下游任务中,包括问题回答、自然语言推理、情感分析和图像分类,表明所学习的关系图具有足够广泛的适用性。
Jun, 2018
提出了一种新型的结构保持的图表示学习方法(SPGRL),通过构建特征图对原始图进行对比,在保留全局拓扑结构信息的同时最大化整幅图和特征嵌入的互信息,该方法在简单噪声扰动下表现优异,且针对半监督节点分类任务具有很高的性能。
Sep, 2022
本文提出了一种基于结构和语义对比学习算法框架的简单神经网络 - S^3-CL,用于在无监督情况下学习表达具有全局结构和语义的节点特征,通过实验表明与现有的基于 GNN 的无监督 GCL 方法相比,S^3-CL 在不同的下游任务上可以获得优异的表现。
Feb, 2022