ICLRMar, 2023

ContraNorm：对过度平滑以及更多问题的对比学习视角

PDF
TL;DR该研究证明了在图神经网络和转换器中过度平滑现象是由于维度坍塌而引起的，并提出了一种名为 ContraNorm 的归一化层，该层能够预防完全坍塌和维度坍塌现象，在各种真实世界的数据集上均能有效提高模型性能。
graph neural networksoversmoothingtransformerscontranormdimensional collapse
发现论文，激发创造
  • PairNorm：解决 GNN 中的过度平滑问题

    本文介绍了 PairNorm，一种新的归一化层，它可以使更深层的图神经网络更加健壮，并显著提高某些问题设置下的性能。

    Sep, 2019

  • ContraGen：用于因果语言模型的有效对比学习

    本文提出了一种名为 ContraGen 的对比学习框架，用于解决语言生成过程中的表示限制问题，该框架可以显著提高表征的均匀性和区分性，改善语言理解和源代码生成的表现。

    Oct, 2022

  • 扩展规模，扩展深度：基于块的图形对比学习

    本文首先从过度平滑的角度，对一种名为 “图对比学习” 的图卷积网络技术进行了分析，发现其存在类似于神经网络过度平滑的问题，并提出了一个简单有效的 “BlockGCL” 训练框架用于解决这个问题，并在真实的图数据集上取得了较好的效果。

    Jun, 2023

  • 残差连接和归一化能够在图神经网络中可证明地防止过度平滑

    本文研究了图神经网络中残差连接和标准化层的作用，并提出了一种名为 GraphNormv2 的归一化层，以解决过度平滑问题。

    Jun, 2024

  • 深度图卷积网络中过度平滑化的重新审视

    本论文提出了一种新的观点，即深度图卷积网络在训练过程中可以学习抗去平滑化的能力，并设计了一种简单却有效的技巧来改善 GCN 训练，同时在三个引用网络上验证了结论并提供了 GCN 邻域聚合方面的见解。

    Mar, 2020

  • 图神经网络超平滑的非渐进分析

    本文研究了图神经网络中过度平滑的问题，并通过对随机采样自上下文随机块模型（CSBM）的图进行定量分析，从多个方面给出了应对思路。

    Dec, 2022

  • 图神经网络中过度平滑问题的注记

    本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

    Jun, 2020

  • ContraSim -- 基于对比学习的相似度衡量

    本研究提出了一种基于对比学习的相似度度量方法 ContraSim，相较于传统的相似度度量方法，应用于语言和视觉模型的多语言以及图片 - 文字配对测试中都表现出更高的准确率。

    Mar, 2023

  • 可微分分组归一化加深图神经网络

    通过引入两个过度平滑度衡量指标以及可微分的分组正规化技术（DGN），增加同一组内节点的平滑度，同时在不同组之间分离节点分布以显着减轻过度平滑的问题，使得 GNN 模型更加鲁棒，并实现更好的性能与更深层次的 GNN。

    Jun, 2020

  • 卷积归一化：提高深度卷积网络的鲁棒性和训练效果

    介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

    Mar, 2021