Mar, 2024

图神经网络中的熵感知消息传递

PDF
TL;DR本文介绍了一种受物理启发的 GNN 模型，用于改善深度图神经网络中的过度平滑问题，该模型与现有的 GNN 架构相集成，引入了一种熵感知的消息传递项，在节点聚合过程中执行熵的梯度上升，从而在嵌入中保留一定程度的熵。我们通过对多个常见数据集进行比较分析，评估了我们的模型与最先进的 GNN 模型的性能。
deep graph neural networksoversmoothingphysics-inspired gnn modelentropy-aware message passingcomparative analysis
发现论文，激发创造
  • 熵感知训练方法用于快速准确的分布式图神经网络

    通过改进分布式框架和训练技术，提高了大规模图神经网络的训练效率和准确性，减少了数据分布和类别不均衡引起的性能下降，并在基准测试中实现了训练时间加速和 F1 分数的提升。

    Nov, 2023

  • 提升表达能力的非冗余图神经网络

    基于邻域树的新型聚合方案提高了表达能力，减轻了过度压缩，并通过神经树规范化技术提供了高分类准确性。

    Oct, 2023

  • 面向公平性的图神经网络消息传递

    提出了一种新颖的公平感知消息传递框架 GMMD，该框架考虑了图平滑性和表示公平性，并且可以显著提高各种 GNN 模型的公平性，同时保持高精度。

    Jun, 2023

  • 图卷积神经网络中的转移熵

    基于 Transfer Entropy 的策略可解决 Graph Convolutional Networks 中的过度平滑和节点关系属性的利用两个重要挑战，并通过使用异质性和度信息作为节点选择机制以及基于特征的 Transfer Entropy 计算来提高 GCN 模型的分类准确率，但需要考虑计算复杂度。

    Jun, 2024

  • 利用解释导向消息传递来训练 GNNs

    该研究提出了一种基于解释的神经信息传递框架（EXPASS），用于提高图神经网络的表达能力并解决过度平滑问题，该框架可以与任何现有图神经网络结构和子图优化模型结合使用，并在实验中展示出其提高了预测能力的效果。

    Nov, 2022

  • 揭示 GNN 上双隐私保护中消息传递的作用

    通过理论分析和模拟仿真，我们发现图神经网络中的结构偏差传播导致了隐私泄露问题，基于这些发现，我们提出了一个双重隐私保护框架，该框架有效地保护了节点和链接隐私，同时在节点分类等下游任务中保持高效用。

    Aug, 2023

  • 分级消息传递图神经网络

    提出了一种新的 Hierarchical Message-passing Graph Neural Networks 框架，通过生成 hierarchical structure，并采用 inra- 和 inter-level propagation manners 以及 hierarchical community detection algorithm，实现了对长程信息的高效访问，从而在节点分类、社区检测等任务中优于现有基于 GNN 的模型。

    Sep, 2020

  • 分布式神经网络中熵模型的弹性

    通过实验证明，熵攻击可以增加传输开销高达 95%，提出一个新的防御机制，可以将受攻击输入的传输开销减少约 9%，只有约 2% 的准确度损失，并提出该防御机制可以与对抗训练等方法结合使用以进一步提高鲁棒性。

    Mar, 2024

  • 基于熵的深度神经网络引导加速收敛与提升性能

    通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

    Aug, 2023

  • PANDA: 扩展宽度感知的消息传递超越重连

    引入一种扩展型宽度感知信息传递（PANDA）的新信息传递范式，在网络结构中选择性地扩展具有高度中心性的节点，以解决 “过度压缩” 问题，并且在实验中表现优于传统的网络重连方法。

    Jun, 2024