MMJul, 2023
图对比学习的熵神经估计
Entropy Neural Estimation for Graph Contrastive Learning
Yixuan Ma, Xiaolin Zhang, Peng Zhang, Kun Zhan
TL;DR在本研究中，我们理论上证明了数据集的熵可以通过在图的不同视图之间最大化互信息的下界来近似计算，即熵由神经网络估计。基于这一发现，我们提出了一种简单而有效的子集采样策略，以对数据集的视图之间进行配对表示的对比，我们通过从给定图中随机采样节点和边，构建输入子集用于视图。然后，两个视图输入到一个参数共享的 Siamese 网络中，用于提取高维嵌入并估计整个图的信息熵。我们通过同时使用两个目标来优化网络的学习过程，其中对比损失函数的输入包括正例和负例对。我们的对比选择策略与以前的方法不同，并根据视图间的相似性选择节点来增强图编码器的表示能力。我们通过在相似性得分的指导下选择高度相似的样本和完全不同的数据来丰富正例和负例对的多样性。我们还引入了一个跨视图一致性约束，以保证从整个图的角度来看，所学到的表示在不同视图之间是一致的。我们在七个图形基准上进行了大量实验证明，所提出的方法在性能上与当前最先进的方法相当。本文一旦被接受将公开发布源代码。