ICMLJun, 2020

残差网络与非残差网络之间的插值

PDF
TL;DR本研究提出了一种新的 ODE 模型，该模型可以通过添加阻尼项来回复 ResNet 和 CNN，并通过调整插值系数来提供解释残差和非残差网络的统一框架，同时其使用的 Lyapunov 分析表明了更好的稳定性，实验证明该方法可以显著提高图像分类的准确性，并在攻击方向上展现了更强的鲁棒性。
odescnnsdamped ode modelrobustness improvementloss landscape analysis
发现论文，激发创造
  • 深度残差网络对神经常微分方程的隐式正则化

    深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

    Sep, 2023

  • 神经常微分方程的鲁棒性

    通过实验和理论探讨，研究了神经常微分方程（ODEs）模型的鲁棒性。发现相比传统的卷积神经网络（CNNs），ODE 网络更加稳健，并提出一种新的时间不变稳态神经 ODE 方法（TisODE）来进一步提高鲁棒性。

    Oct, 2019

  • 神经 ODEs 和可逆残差网络的逼近能力

    证明了任何拓扑同胚都可以用在 $p$- 维欧几里得空间上的神经 ODE 或 i-ResNet 逼近，且也同时表明，用单个线性层对神经 ODE 或 i-ResNet 进行修整，就足以将模型变为非可逆连续函数的通用逼近器。

    Jul, 2019

  • 利用凸分析和 ODE 设计稳定的神经网络

    本文提出了一种 ResNet 风格的神经网络架构，编码非扩张（1-Lipschitz）算子，不同于普通的 ResNet 架构，该架构的 Lipschitz 常数不会随着网络深度的增加而呈指数级增长。进一步分析表明，权重的谱范数可以进一步约束，以确保网络是平均算子，使其成为 Plug-and-Play 算法中学习去噪器的自然候选物。通过一种新颖的自适应方法实现了谱范数约束，证明了即使有这些约束，也可以训练出性能良好的网络。提出的架构应用于对抗鲁棒图像分类问题，图像去噪以及反问题退化模糊。

    Jun, 2023

  • 用于不规则采样时间序列的潜在 ODE

    本文提出了一种名为 ODE-RNNs 的模型，可以对非匀齐时间间隔的时间序列进行建模，并通过实验表明，这种基于 ODE 的模型在处理不规则抽样数据时比基于 RNN 的模型表现更优。

    Jul, 2019

  • 神经随机微分方程：用随机噪声稳定神经常微分方程网络

    本研究介绍了一种新型连续神经网络框架 Neural SDE，该框架自然地融合了基于随机噪声注入的各种常用正则化机制，可用于输入干扰和非对抗性扰动的鲁棒建模，并可实现更好的泛化性能和对抗性强化训练。

    Jun, 2019

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 深度残差网络的缩放性质

    通过数值实验，我们研究了 Residual 网络的权重性质和与深度有关的规模，在某些网络结构下得到了另一种常微分方程的极限，这表明了深度 ResNets 的极限模型不完全适用于神经正则微分方程。

    May, 2021

  • 神经常微分方程和深度残差网络的泛化界

    本文研究基于连续时间参数的 ODE 类模型及其泛化界限，并探讨其与深度残差网络的类比关系，说明权重矩阵之间的差异对于神经网络的泛化能力有何影响。

    May, 2023

  • 单张图像去雾的隐式欧拉 ODE 网络

    本文提出了一个高效的端到端多级隐式网络（MI-Net）以解决单图像除雾问题，通过采用多级融合（MLF）机制和残差通道注意块（RCA-block）来提高我们网络的性能。实验表明，该方法在几个除雾基准数据集上优于现有方法，并实现了最先进的性能。

    Jul, 2020