LightGCN: 评估和增强
研究采用邻域聚合操作来简化 GCN 模型设计,提出了名为 LightGCN 的新模型,用于协同过滤任务上取得了比基于 GCN 的 Neural Graph Collaborative Filtering 模型高出 16.0% 的性能改善,分析表明 LightGCN 相比于其他 GCN-based 推荐模型更加合理且易于实现和训练。
Feb, 2020
本文介绍了基于图卷积网络的推荐算法,提出了一种简化的模型 UltraGCN,通过限制损失函数直接逼近无限层图卷积的极限来替代昂贵的消息传递过程。通过实验表明,UltraGCN 相比现有的 GCN 模型和 LightGCN 有较大提升,并且训练速度有 10 倍以上的加速。
Oct, 2021
通过消除 GCN 中的不必要的非线性和权重矩阵,我们提出了一种线性模型,它对应于一个固定的低通滤波器,然后是一个线性分类器。 在许多下游应用中,我们的实验评估表明这种简化并不会对精度产生负面影响。 此外,由于我们的模型简化减少了计算量,因此我们的模型在更大的数据集上具有可扩展性,并且具有更快的推理速度。
Feb, 2019
通过对连续图扩散的角度解剖了线性 GCNs 的特征传播步骤,分析了为什么线性 GCN 不能从更多的传播步骤中受益。随后,我们提出解耦的图卷积(DGC),分离终端时间和特征传播步骤,使其更灵活,能够利用非常多的特征传播步骤。实验表明,我们提出的 DGC 显著改善了线性 GCNs,并使它们能够与许多现代非线性 GCNs 的变体竞争。
Feb, 2021
LinGCN 是一个旨在减少乘法深度和优化基于同态加密 (Graph Convolution Network) 推断性能的框架,通过 (1) 可微的结构线性化算法和参数化的离散指示函数,使模型具有最小化的乘法深度;(2) 紧凑的结点级多项式替代策略以及二阶可训练激活函数,通过从基于全 ReLU 的教师模型的两级蒸馏方法引导更优的收敛性;(3) 改进的同态加密方案,能够在结点级激活函数中实现更精细的运算融合,进一步降低乘法消耗;在 NTU-XVIEW 骨骼关节点数据集上的实验证明,LinGCN 在同态加密推断中具有出色的延迟、准确性和可扩展性,优于 CryptoGCN,并且相对于 CryptoGCN 实现了 14.2 倍的延迟加速,同时保持了 75% 的推断准确率并显著降低乘法深度。
Sep, 2023
本文提出了一种基于 Lorentzian 线性 GCN 的新框架,将学习到的图节点特征映射到双曲空间,并进行 Lorentzian 线性特征转换以捕捉数据的树状层次结构,并通过在标准引文网络数据集上的半监督学习实验证明,我们的方法在 Citeseer 达到了 74.7% 的准确率,在 PubMed 达到了 81.3% 的准确率,并且观察到在 PubMed 数据集上,我们的方法训练速度比其他非线性 GCN 模型快了两个数量级。
Mar, 2024
该研究论文提出了一种新颖的基于 Interest-aware Message-Passing GCN 的推荐模型,通过在用户兴趣相似的子图中进行高阶图卷积操作,避免了过度平滑问题,其在三个基准数据集上的实验结果表明,该模型可以通过叠加更多的层次获得性能提升,并且在 GCN-based 推荐模型上显著优于现有的最佳模型。
Feb, 2021
本文提出了一种新的图对比学习范式 LightGCL,基于奇异值分解对图的对比增强进行单一约束结构的调整,在推荐系统领域具有显著的性能优势和鲁棒性。
Feb, 2023
本文通过建立变体研究了基于 Graph Convolutional Networks 的知识图谱完成模型,在实验中发现了与预期相反的图结构建模并不对模型性能产生显著影响,而实体表示的转换是改善性能的关键因素。作者基于此提出了 LTE-KGE 框架,通过线性转换实体嵌入向现有的 KGE 模型中添加 GCNs 模块以达到类似的性能提升。实验结果表明,与 GCN-based KGC 方法相比,LTE-KGE 模型在性能上有类似的提升,同时更具计算效率。因此,本文表明 GCNs 对于 KGC 并不必要,新型基于 GCNs 的 KGC 模型需要进行更多的消融研究来验证其有效性。
Feb, 2022
本研究提出了一种新的框架 -- 基于知识嵌入的图卷积网络 (KE-GCN),该框架充分利用了复杂图形的丰富结构信息,并针对图的异构性和节点更新问题进行改进,优于具有同类基线方法的表现。
Jun, 2020