简单的 GNN 正则化用于 3D 分子属性预测以及其他应用

ICLRJun, 2021

简单的 GNN 正则化用于 3D 分子属性预测以及其他应用

Simple GNN Regularisation for 3D Molecular Property Prediction & Beyond

Jonathan Godwin, Michael Schaarschmidt, Alexander Gaunt, Alvaro Sanchez-Gonzalez, Yulia Rubanova...

TL;DR本研究表明，简单的噪声正则化可以是解决 GNN 过度平滑的有效方式。通过在输入图形上添加噪声并添加噪声校正的节点级损失，我们提出了 “噪声节点” 技术。该技术可促进图形多流形学习，并在量子化学任务上取得最新成果及显著提高 Open Graph Benchmark（OGB）数据集的结果，从而成为 GNN 工具包中的有效建模模块。

Abstract

In this paper we show that simple noise regularisation can be an effective way to address gnn oversmoothing. First we argue that regularisers addressing oversmoothing should both penalise node latent similarity a

noise regularisation gnn oversmoothing noisy nodes graph manifold learning complementary building block

发现论文，激发创造

标签噪声下的图学习

本文提出了一种名为 Consistent Graph Neural Network（CGNN）的新方法，它在图的标签噪声下仍然能够对节点进行分类，并通过基于同质性假设的样本选择技术来检测和纠正噪声标签。实验证明，与现有技术相比，CGNN 在三个基准数据集上具有更好的表现。

Jun, 2023

从拓扑视角度量和缓解图神经网络的过度平滑问题

本文研究了图神经网络的过度平滑问题，并提出了两个定量度量指标 MAD 和 MADGap。通过量化实验和分析，我们发现过度平滑是 GNNs 的基本性质，且由于节点接收到的噪声信息比例较高，是导致过度平滑的主要因素。最后我们提出了两种针对拓扑结构的方法：MADReg 和 AdaGraph，证明了这两种方法在 7 个广泛使用的图形数据集上都有效降低了过度平滑问题，并改善了各种 GNN 模型的性能。

Sep, 2019

面向带有稀疏标签噪声图的鲁棒图神经网络

本篇论文研究如何开发一种具有噪声图和有限标记节点的噪声阻抗图神经网络，通过采用噪声边作为监督来学习去噪和密集图的新框架，并利用生成的边来规范化未标记节点的预测，以更好地训练图神经网络。实验结果表明，所提出的框架在具有有限标记节点的噪声图上具有鲁棒性。

Jan, 2022

可微分分组归一化加深图神经网络

通过引入两个过度平滑度衡量指标以及可微分的分组正规化技术（DGN），增加同一组内节点的平滑度，同时在不同组之间分离节点分布以显着减轻过度平滑的问题，使得 GNN 模型更加鲁棒，并实现更好的性能与更深层次的 GNN。

Jun, 2020

图神经网络中过度平滑问题的注记

本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

Jun, 2020

通过噪声治理实现图神经网络的稳健训练

本文提出了一种通过学习明确控制标签噪声的框架（RTGNN），包括自我强化和一致性正则化，以实现对带有标签噪声和少量标签的图形神经网络的训练，并证明了其在各种噪声情况下相对于现有方法的优越性能。

Nov, 2022

图神经网络的简单而又相对有效的防御方法

图神经网络（GNN）是处理图结构数据的主要方法，但存在对小的对抗性扰动脆弱性的问题。本文介绍了一种新的防御方法 NoisyGNNs，它通过在模型架构中引入噪声来提高 GNN 的鲁棒性。通过理论分析和实证评估，揭示了噪声注入和 GNN 鲁棒性增强之间的关联，并展示了 NoisyGNN 在节点分类任务上的卓越性能。这种方法是模型无关的，可与不同的 GNN 架构集成，与现有的防御技术结合使用可以进一步提高对抗性防御效果。

Feb, 2024

Noisin: 循环神经网络的无偏正则化

本文提出了一种名为 Noisin 的新方法，通过注入随机噪声到 RNN 的隐藏状态对其进行正则化，有效避免过拟合，实验证明 Noisin 在语言建模任务上相较于 dropout 有 12.2% 的性能提升。

May, 2018

NRGNN: 在稀疏和嘈杂标记图上训练标签噪声抵抗力图神经网络

本文提出了一种抵抗标签噪声的新型图神经网络，通过链接具有高特征相似性的未标记节点和已标记节点以及精确的伪标签来提高半监督节点分类的准确性，并在真实数据集上进行了广泛的实验研究。

Jun, 2021

深度图卷积网络中过度平滑化的重新审视

本论文提出了一种新的观点，即深度图卷积网络在训练过程中可以学习抗去平滑化的能力，并设计了一种简单却有效的技巧来改善 GCN 训练，同时在三个引用网络上验证了结论并提供了 GCN 邻域聚合方面的见解。

Mar, 2020