Sep, 2023

LinGCN：结构化线性化图卷积网络用于同构加密推理

PDF
TL;DRLinGCN 是一个旨在减少乘法深度和优化基于同态加密 (Graph Convolution Network) 推断性能的框架，通过 (1) 可微的结构线性化算法和参数化的离散指示函数，使模型具有最小化的乘法深度；(2) 紧凑的结点级多项式替代策略以及二阶可训练激活函数，通过从基于全 ReLU 的教师模型的两级蒸馏方法引导更优的收敛性；(3) 改进的同态加密方案，能够在结点级激活函数中实现更精细的运算融合，进一步降低乘法消耗；在 NTU-XVIEW 骨骼关节点数据集上的实验证明，LinGCN 在同态加密推断中具有出色的延迟、准确性和可扩展性，优于 CryptoGCN，并且相对于 CryptoGCN 实现了 14.2 倍的延迟加速，同时保持了 75% 的推断准确率并显著降低乘法深度。
graph convolution networkprivacy-preserving machine learninghomomorphic encryptionlingcnmultiplication depth
发现论文，激发创造
  • CryptoGCN：快速且可扩展的同态加密图卷积网络推断

    该论文介绍了一种基于同态加密的 GCN（图卷积网络）推断框架 CryptoGCN，最大程度地保持了数据隐私，并有效利用矩阵操作的稀疏性，提高了同态加密的计算效率，最终实验证明其比目前最先进的解决方案更有效。

    Sep, 2022

  • L$^2$GC：洛伦兹线性图卷积网络用于节点分类

    本文提出了一种基于 Lorentzian 线性 GCN 的新框架，将学习到的图节点特征映射到双曲空间，并进行 Lorentzian 线性特征转换以捕捉数据的树状层次结构，并通过在标准引文网络数据集上的半监督学习实验证明，我们的方法在 Citeseer 达到了 74.7% 的准确率，在 PubMed 达到了 81.3% 的准确率，并且观察到在 PubMed 数据集上，我们的方法训练速度比其他非线性 GCN 模型快了两个数量级。

    Mar, 2024

  • 知识图谱补全中的图卷积网络再思考

    本文通过建立变体研究了基于 Graph Convolutional Networks 的知识图谱完成模型，在实验中发现了与预期相反的图结构建模并不对模型性能产生显著影响，而实体表示的转换是改善性能的关键因素。作者基于此提出了 LTE-KGE 框架，通过线性转换实体嵌入向现有的 KGE 模型中添加 GCNs 模块以达到类似的性能提升。实验结果表明，与 GCN-based KGC 方法相比，LTE-KGE 模型在性能上有类似的提升，同时更具计算效率。因此，本文表明 GCNs 对于 KGC 并不必要，新型基于 GCNs 的 KGC 模型需要进行更多的消融研究来验证其有效性。

    Feb, 2022

  • LightGCN: 评估和增强

    本论文在图推荐算法中分析了 LightGCN。尽管图卷积网络最初的设计是用于图分类，但非线性操作并不总是必要的。LightGCN 能够实现嵌入的线性传播，从而提升性能。我们重现了原始发现，评估了 LightGCN 在不同数据集和指标上的鲁棒性，并探索了作为 LightGCN 信号传播增强的图扩散方法。

    Dec, 2023

  • 简化图卷积网络

    通过消除 GCN 中的不必要的非线性和权重矩阵，我们提出了一种线性模型，它对应于一个固定的低通滤波器，然后是一个线性分类器。 在许多下游应用中，我们的实验评估表明这种简化并不会对精度产生负面影响。 此外，由于我们的模型简化减少了计算量，因此我们的模型在更大的数据集上具有可扩展性，并且具有更快的推理速度。

    Feb, 2019

  • 洛伦兹图卷积网络

    本文提出了一种新的超半球几何图卷积神经网络（Lorentzian graph convolutional network，LGCN）来学习超半球几何中的节点特征，并在 6 个数据集上的实验表明，相比于现有的超半球几何图卷积神经网络方法，LGCN 在学习类似树形的图的表示时存在更低的畸变，并且有些超半球几何图卷积神经网络的性能使用本文所定义的图操作可以得到改进。

    Apr, 2021

  • HeteGCN：面向文本分类的异构图卷积网络

    本文提出了一种异构图卷积网络建模方法 HeteGCN，结合了 predictive text embedding (PTE) 和 TextGCN 的优点用于文本分类，以解决现有方法预测能力、可扩展性和归纳能力的局限性。通过使用不同的图层在一个 HeteGCN 架构中学习特征嵌入并派生文档嵌入，将 TextGCN 简化为几个 HeteGCN 模型，从而简化了模型参数，以提高性能和训练速度。实验结果表明所提出的方法在小的标注训练集方案下有效。

    Aug, 2020

  • 双曲图卷积神经网络

    本文提出了第一个归纳式的超几何图卷积神经网络 (HGCN)，它利用了超几何空间的表达能力和嵌入高度曲率的特点来学习分层和无标度图的归纳式节点表示，并说明了如何将欧几里得输入特征转换为具有不同可训练曲率的超几何嵌入。 实验证明，HGCN 学习到的嵌入保留了分层结构，并且与欧几里得模型相比，即使具有非常低的维度嵌入，也能获得更好的性能：在链路预测中，ROC AUC 误差降低最多为 63.1％，在节点分类中，F1 score 提高最多为 47.5％，也改善了 Pubmed 数据集的最新技术水平。

    Oct, 2019

  • LightGCN：简化和强化图卷积网络用于推荐

    研究采用邻域聚合操作来简化 GCN 模型设计，提出了名为 LightGCN 的新模型，用于协同过滤任务上取得了比基于 GCN 的 Neural Graph Collaborative Filtering 模型高出 16.0% 的性能改善，分析表明 LightGCN 相比于其他 GCN-based 推荐模型更加合理且易于实现和训练。

    Feb, 2020

  • 半监督学习中图卷积网络的深入洞察

    本文研究机器学习领域的图半监督学习，提出了基于图卷积网络的深度学习方法，解决了图卷积网络机制不清晰及需要大量标注数据的问题，并针对浅层结构的限制提出了弱监督训练的方法。经过广泛实验验证，研究结果具有实际应用价值。

    Jan, 2018