Jul, 2023

一种公理化的深度神经网络 PDE 模型

PDF
TL;DR深度神经网络与偏微分方程之间的关系启发我们研究了深度神经网络的偏微分方程模型的一般形式。在一些合理的假设下，我们证明演化算子实际上由对流 - 扩散方程决定。这个模型为几个有效的网络提供了数学解释。此外，我们还展示了对流 - 扩散模型提高了鲁棒性并减小了 Rademacher 复杂度。基于对流 - 扩散方程，我们设计了一种适用于 ResNets 的新训练方法。实验证实了所提出方法的性能。
deep neural networkpartial differential equationsevolution operatorconvection-diffusion equationresnets
发现论文，激发创造
  • 对流扩散方程：神经网络的理论认证框架

    本文研究神经网络的偏微分方程模型，通过对其进行分析，证明了这些模型可以由对流 - 扩散方程表达，从而为神经网络提供了数学基础和更深入的理解。基于这个模型，我们设计了一种新的网络结构，将扩散机制融入网络体系结构，并通过广泛实验验证了该模型的性能。

    Mar, 2024

  • 演化深度神经网络

    本文引入了一种演化深度神经网络模型，用于求解偏微分方程，通过在参数空间内更新神经网络权重来预测状态空间轨迹，边界条件嵌入神经网络中，对多个方程模型进行了理论和实验模拟，验证了模型精确和实用性。

    Mar, 2021

  • 以偏微分方程为基础的深度神经网络

    该论文通过偏微分方程的理论框架，提出了三种新型的 ResNet 神经网络架构，分别属于抛物线和双曲线类型的 CNN，能够提供深度学习的新算法和思路，并用数值实验证明了它们的竞争力。

    Apr, 2018

  • 作为概率神经算子的扩散模型用于恢复动力系统的未观测状态

    本研究探讨了以扩散为基础的生成模型作为偏微分方程 (PDE) 神经算子的功效。我们展示了扩散生成模型在神经算子方面具有许多有利的特性，并能够在多个真实动力系统中优于其他神经算子。此外，我们演示了概率扩散模型如何优雅地处理部分可识别的系统，通过生成对应于不同可能解的样本。

    May, 2024

  • PDE-Net: 从数据中学习 PDE

    本文研究使用神经网络设计的 PDE-Net 来有效地预测动态复杂系统并揭示其潜在隐含的 PDE 模型，PDE-Net 的基本思想是通过学习卷积核（滤波器）来学习微分算子，并应用神经网络或其他机器学习方法来近似未知的非线性响应。

    Oct, 2017

  • 高维随机偏微分方程深度神经网络代理

    利用深度学习方法解决高维随机偏微分方程的问题。通过使用全连接深度残差网络来逼近随机偏微分方程，在确定逼近深度神经网络的参数时，采用了 SGD 的变种，并在扩散和热传导问题上得到了验证。

    Jun, 2018

  • 偏微分方程与深度神经网络的结合：综述

    本文对深度神经网络用于偏微分方程 (PDEs) 求解的现状和潜在应用进行了综述，分析和分类了相关方法在科学研究和工程场景中的应用，介绍了这一领域的来源、历史、特点、类型以及未来趋势。

    Oct, 2022

  • 深度神经网络的选择动态

    本文介绍了一种基于偏微分方程框架的深度残差神经网络和相关学习问题的方法，并研究了前向问题的稳定性和最优性，同时探究了神经网络、PDE 理论、变分分析、优化控制和深度学习之间的算法和理论联系。

    May, 2019

  • 微分方程作为深度神经网络的模型

    本研究系统地分析了用作机器学习模型的微分方程的一般性质，并证明了损失函数相对于隐藏状态的梯度可被视为一般化的动量，可以应用经典力学的工具。此外，我们还展示了残差网络和前馈神经网络可以与微小非线性权重矩阵偏差只稍微偏离单位矩阵的微分方程相关。我们提出了一种描述这种网络的微分方程并研究了它的属性。

    Sep, 2019

  • PDE+：通过自适应分布扩散 PDE 增强泛化能力

    该论文提出了一种利用偏微分方程来改进神经网络泛化性能的方法，并将其实现为 PDE + (具有自适应分布扩散的 PDE)，该方法通过扩散每个样本以覆盖语义相似的输入分布，以改善泛化性能。

    May, 2023