Jul, 2023

从 NeurODEs 到 AutoencODEs：针对宽度可变的神经网络的均场控制框架

PDF
TL;DR本文介绍了 AutoencODE 方法，它是一个连续时间的自编码器，通过将 NeurODEs 与均值场控制框架相结合，处理了低 Tikhonov 正则化的情况，得到了在局部凸损失函数的区域中可以恢复全局结果的结论。此外，本文提出了一种适用于具有残差连接的此类自编码器的训练方法，并在各种案例上进行了数值实验验证。
发现论文，激发创造
  • 嵌入深度神经网络

    本文提出了一种新的方法，通过将网络的深度作为一个基本变量，将问题简化为正向初始值问题的系统，探讨了深度的不同对神经网络的不同性质产生的影响，并通过实验展示了该方法在监督学习和时间序列预测方面的竞争性表现。

    Jan, 2022

  • 多层神经网络均值场极限的严格框架

    本研究发展了多层神经网络的数学严格框架，探究其在平均场条件下的学习轨迹，并证明了一些神经网络的性质，包括全局收敛性和初始化的影响。其中的新概念包括概率嵌入和双向多样性。

    Jan, 2020

  • 使用神经常微分方程在变分自编码器中生成时间序列模型

    本文提出了基于神经常微分方程和变分自编码器的生成时序模型，加入 LSTM 编码器并使用多种复杂数据进行了验证；结果表明模型能够有效重构出给定输入并对太阳能生产数据表现良好。但对于复杂数据，其在预测真实轨迹中的表现有限，并建议在未来的研究中探索更多可扩展性。

    Jan, 2022

  • 通过松弛最优控制的均场神经 ODE

    本文介绍了一种基于控制论、深度学习和统计抽样理论的框架，来研究深度神经网络和神经 ODE 模型，包括 Mean-Field Langevin 动力学的梯度流、时间一致传播的混沌性等问题，并提供了与学习速率、粒子数 / 模型参数和梯度算法迭代次数相关的显式收敛速率和量化一般化误差界限。

    Dec, 2019

  • 深度残差网络对神经常微分方程的隐式正则化

    深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

    Sep, 2023

  • 用神经微分方程学习神经网络连续学习规则的编程

    本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

    Jun, 2022

  • 深度自回归网络

    本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。

    Oct, 2013

  • 基于自编码器的残差深度神经网络用于鲁棒回归预测和时空估计

    本文提出了一种基于自编码器的残差深度神经网络，通过利用快捷连接嵌套实现残差映射，实现了对连续变量的可靠预测，并在多个数据集上得到了较高的精度和效率。

    Dec, 2018

  • 使用受限自动编码器学习非线性投影用于动态系统的降阶建模

    最近开发的降阶建模技术旨在从数据中学习的低维流形上近似非线性动力系统。我们介绍了一种由约束的自动编码器神经网络描述的参数化非线性投影类，其中流形和投影纤维都是从数据中学习得到的。此外，我们还提出了一些新的动力学感知成本函数，以促进学习考虑快速动力学和非正常性的斜投影纤维。为了展示这些方法及其解决的特定挑战，我们提供了一个关于涡街现象的三状态模型的详细案例研究。同时，我们还提出了几种基于我们提出的非线性投影框架构建计算高效的降阶模型的技术。这包括一种用于避免计算 Grassmann 流形上有害的权重矩阵收缩的新型稀疏促进惩罚项的编码器。

    Jul, 2023

  • 神经 ODEs 和可逆残差网络的逼近能力

    证明了任何拓扑同胚都可以用在 $p$- 维欧几里得空间上的神经 ODE 或 i-ResNet 逼近，且也同时表明，用单个线性层对神经 ODE 或 i-ResNet 进行修整，就足以将模型变为非可逆连续函数的通用逼近器。

    Jul, 2019