May, 2019

深度神经网络的选择动态

PDF
TL;DR本文介绍了一种基于偏微分方程框架的深度残差神经网络和相关学习问题的方法，并研究了前向问题的稳定性和最优性，同时探究了神经网络、PDE 理论、变分分析、优化控制和深度学习之间的算法和理论联系。
deep residual neural networkspartial differential equationinverse deep learning problempde theoryoptimal control
发现论文，激发创造
  • 高维随机偏微分方程深度神经网络代理

    利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

    Jun, 2018

  • 深度神经网络和参数化偏微分方程的理论分析

    本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

    Mar, 2019

  • 微分方程作为深度神经网络的模型

    本研究系统地分析了用作机器学习模型的微分方程的一般性质，并证明了损失函数相对于隐藏状态的梯度可被视为一般化的动量，可以应用经典力学的工具。此外，我们还展示了残差网络和前馈神经网络可以与微小非线性权重矩阵偏差只稍微偏离单位矩阵的微分方程相关。我们提出了一种描述这种网络的微分方程并研究了它的属性。

    Sep, 2019

  • 深度放松：用偏微分方程优化深度神经网络

    通过与非线性偏微分方程的连接，将统计物理中的松弛技术重新解释为粘性哈密尔顿 - 雅各比偏微分方程的解，并利用随机控制理论证明改进的算法表现比随机梯度下降更好，在数学上分析了该算法的应用及众所周知的偏微分方程的规则性结果，并推导出实现算法中的随机同化问题的偏微分方程，该算法能有效地处理现代神经网络的高维数据。

    Apr, 2017

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 演化深度神经网络

    本文引入了一种演化深度神经网络模型，用于求解偏微分方程，通过在参数空间内更新神经网络权重来预测状态空间轨迹，边界条件嵌入神经网络中，对多个方程模型进行了理论和实验模拟，验证了模型精确和实用性。

    Mar, 2021

  • 使用深度学习求解高维偏微分方程

    通过使用神经网络逼近未知解的梯度来解决高维偏微分方程，该算法在包括非线性 Black-Scholes 方程、Hamilton-Jacobi-Bellman 方程和 Allen-Cahn 方程等方程上均取得了精确和低误差的结果。

    Jul, 2017

  • 偏微分方程与深度神经网络的结合：综述

    本文对深度神经网络用于偏微分方程 (PDEs) 求解的现状和潜在应用进行了综述，分析和分类了相关方法在科学研究和工程场景中的应用，介绍了这一领域的来源、历史、特点、类型以及未来趋势。

    Oct, 2022

  • 残差神经网络的深层限制

    本文研究了残差神经网络模型，并展示了该模型的深层级极限的收敛问题，证明了残差神经网络模型的优化参数在深层级极限的情况下是收敛的。

    Oct, 2018

  • 以偏微分方程为基础的深度神经网络

    该论文通过偏微分方程的理论框架，提出了三种新型的 ResNet 神经网络架构，分别属于抛物线和双曲线类型的 CNN，能够提供深度学习的新算法和思路，并用数值实验证明了它们的竞争力。

    Apr, 2018