Nov, 2019

图上离散和连续的深度残差学习

PDF
TL;DR本文提出了在图神经网络中使用连续残差模块来进行图核函数计算的方法，结合普通微分方程（ODE）求解器来应用连续残差层产生输出，并通过实验表明相较于非残差模块，这些残差模块在多层图卷积网络中能够取得更好的结果，并减轻低通滤波效应。最后，我们还探讨了这些残差模块在其他领域的应用潜力，以提供计算过程中更可预测的行为。
发现论文，激发创造
  • 深度残差网络对神经常微分方程的隐式正则化

    深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

    Sep, 2023

  • 连续深度神经网络

    通过将连续动力学系统嵌入高阶数值积分方案中，我们构造了一种连续的深度神经网络框架 ——ContinuousNet，其具有与时间步长大小无关的层次独立性和增量深度训练方法，实现了在保持准确性的同时加快推断速度。

    Aug, 2020

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 图神经常微分方程

    本文介绍了连续深度图神经网络 (GNN) 的框架，将图神经常微分方程 (GDEs) 形式化为 GNN 的对应物，其输入输出关系由一系列 GNN 层的连续融合离散拓扑结构和微分方程来决定，证明了其兼容各种静态和自回归 GNN 模型。结果表明 GDEs 在静态设置中通过在前向传递中将数值方法纳入其中提供了计算优势，在动态设置中，通过利用潜在动态的几何结构性能得到了提高。

    Nov, 2019

  • DRGCN: 深度图卷积网络的动态进化初始残差

    提出一种名称为动态进化的初始残余图卷积网络（DRGCN）的新型模型，通过动态和进化块建模残差演化模式来有效缓解深 GCNs 中的超平滑问题，并在各种基准数据集上优于现有的最新技术，其代码可以在 GitHub 上复现。

    Feb, 2023

  • 连续图神经网络

    本文提出了一种连续图神经网络 (CGNN)，可以广泛应用于现有的离散动态的图神经网络，并能够捕捉节点之间的远距离依赖关系。实验结果表明，相对于竞争基线，该方法在节点分类任务上是有效的，且具有抗过度平滑的特性。

    Dec, 2019

  • 连续学习的原始对偶算法

    神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

    May, 2024

  • 残差门控图卷积网络

    本文研究了将深度学习方法推广到图论领域，通过对比 RNN 和 ConvNet 的效果，将门控边缘和残差技术用于设计神经网络对图学习任务进行分类，获得了比现有方法更高的准确率和更快的速度。

    Nov, 2017

  • 简单而深入的图卷积网络

    本研究提出了一种使用深度学习解决图像识别问题的方法 ——GCNII，并通过两种新技术 — 初始残差和身份映射 — 缓解了问题过度平滑的问题。实验结果表明深度 GCNII 模型在半监督和全监督任务中的性能优于现有方法。

    Jul, 2020

  • 神经常微分方程和深度残差网络的泛化界

    本文研究基于连续时间参数的 ODE 类模型及其泛化界限，并探讨其与深度残差网络的类比关系，说明权重矩阵之间的差异对于神经网络的泛化能力有何影响。

    May, 2023