深度神经网络的稳定结构

May, 2017

Stable Architectures for Deep Neural Networks

Eldad Haber, Lars Ruthotto

TL;DR本文提出了一种新颖的前向传播算法，其灵感来源于 ODE 系统，能够克服深度神经网络设计和训练中的挑战，并通过对稳定性和合理性的分析，发展了新的网络架构，以稳定深度学习，且具有竞争力。

Abstract

deep neural networks have become invaluable tools for supervised machine learning, e.g., classification of text or images. While often offering superior results over traditional techniques and successfully expressing complicated patterns in data, deep architectures are known to be chal

deep neural networks supervised machine learning numerical instabilities ordinary differential equations network architecture

发现论文，激发创造

任意深度残差神经网络可逆架构

本研究将深度残差网络解释为普通微分方程，并由此开发出一种稳定和可逆的深度神经网络理论框架，以及提出了三种可任意加深的可逆神经网络架构，实现了对深度网络的记忆高效实现，并且通过实验证明了本文方法在 CIFAR-10，CIFAR-100 和 STL-10 等数据集上取得了明显的优于现有强基准的性能表现，并且能够通过使用更少的训练数据来训练神经网络。

Sep, 2017

分解神经常微分方程

本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

Feb, 2020

深度神经网络的选择动态

本文介绍了一种基于偏微分方程框架的深度残差神经网络和相关学习问题的方法，并研究了前向问题的稳定性和最优性，同时探究了神经网络、PDE 理论、变分分析、优化控制和深度学习之间的算法和理论联系。

May, 2019

嵌入深度神经网络

本文提出了一种新的方法，通过将网络的深度作为一个基本变量，将问题简化为正向初始值问题的系统，探讨了深度的不同对神经网络的不同性质产生的影响，并通过实验展示了该方法在监督学习和时间序列预测方面的竞争性表现。

Jan, 2022

利用凸分析和 ODE 设计稳定的神经网络

本文提出了一种 ResNet 风格的神经网络架构，编码非扩张（1-Lipschitz）算子，不同于普通的 ResNet 架构，该架构的 Lipschitz 常数不会随着网络深度的增加而呈指数级增长。进一步分析表明，权重的谱范数可以进一步约束，以确保网络是平均算子，使其成为 Plug-and-Play 算法中学习去噪器的自然候选物。通过一种新颖的自适应方法实现了谱范数约束，证明了即使有这些约束，也可以训练出性能良好的网络。提出的架构应用于对抗鲁棒图像分类问题，图像去噪以及反问题退化模糊。

Jun, 2023

线性动态系统的连续时间神经网络的系统构建

本文讨论了一种构建神经网络架构的系统方法，用于模拟一类动力系统，即线性时不变 (LTI) 系统。我们使用一种变种的连续时间神经网络，其中每个神经元的输出连续演化为一阶或二阶常微分方程的解。我们提出了一种无梯度算法，从给定的 LTI 系统中直接计算稀疏架构和网络参数，利用其特性。我们提出了一种横向隐藏层的新型神经网络架构范例，并解释了为什么使用传统的纵向隐藏层神经网络可能不是理想选择。我们还给出了该神经网络数值误差的上界，并展示了我们构建的网络在三个数值示例上的高精度。

Mar, 2024

神经常微分方程

提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018

深度卷积神经网络设计模式

本文介绍了一些基于最近深度学习的集体知识挖掘的神经网络结构设计原则，并提出了 FractalNet、Stagewise Boosting Networks 和 Taylor Series Networks 等创新型架构。

Nov, 2016

用具有李雅普诺夫稳定平衡点的稳定神经常微分方程对抗对抗攻击

本文提出 SODEF (一种稳定的神经 ODE)，并验证其对抗攻击防御能力，该方法利用 Lyapunov 稳定的平衡点，通过一些正则化方法强制特征点落在该平衡点的邻域内， SODEF 可以应用于任何神经网络的最终回归层，以增强其稳定性。

Oct, 2021

再次让深度网络变得浅显

通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

Sep, 2023