我们研究了最小二乘问题的连续时间随机梯度下降（SGD）模型的动力学。我们通过分析随机微分方程 (SDE)，在训练损失（有限样本）或总体损失（在线设置）的情况下建模 SGD 来追求 Li 等人 (2019) 的研究成果。该动力学的一个关键特征是无论样本大小如何，都存在与数据完美插值器。在这两种情况下，我们提供了收敛到（可能退化的）稳态分布的精确非渐近速率。此外，我们描述了渐近分布，给出了其均值、与之偏差的估计，并证明了与步长大小有关的重尾现象的出现。我们还呈现了支持我们发现的数值模拟结果。

Jul, 2024

本文介绍了两种新的机器学习方法来估计时间变化的网络，采用了一种顺序平滑的 $l_{1}$ 正则化逻辑回归形式，可用作标准凸优化问题，并利用通用求解器高效地解决大型网络。本文在虚拟数据集中还原时间变化网络，同时，从议员投票记录中反向构建了渐进改组政治网络的潜在序列，以及从周期性实验中重建了生物当量基因网络中的潜在演化调控网络。

Dec, 2008

该论文提出了一种基于 Gumbel 图网络的随机模型，能够学习高维度时间序列，捕捉随机性和空间相关性，通过 Kuramoto 的模型比较了两个损失函数的 Hessian 矩阵，实验证明该模型在收敛性、稳健性和泛化性方面都具有优势。

Jul, 2023

本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论发现。

Dec, 2018

使用局部稳定性分析的数学框架，我们研究了前馈神经网络学习动力学的深层理解，推导了三层神经网络在学习回归任务时的切线算子方程，结果适用于任意节点数和任意激活函数的选择。我们通过数值方法应用这些结果于网络学习回归任务中，调查了稳定性指标与最终训练损失之间的关系。虽然具体结果会因初始条件和激活函数的不同而有所变化，我们证明了通过监测训练过程中的有限时间 Lyapunov 指数或协变 Lyapunov 向量，可以预测最终的训练损失。

Apr, 2024

该研究介绍了一种算法用于从单个轨迹中恢复权重矩阵，并成功应用于非线性动力系统，无需对其进行谱范数的限制。该算法的计算复杂度为线性，并具有较低的采样复杂度。

Apr, 2020

本文提出了一种新的基于加法普通微分方程的非参数建模方法，并且在高维数据集下表现得更好，该方法不需要进行导数估计，从而有助于动力学系统和基因调控网络等的参数估计。

Oct, 2016

通过稀疏观测数据，我们引入了一种新的随机过程，称为神经常微分方程过程，用于学习连续网络动态，在各种领域中的网络动态具有优秀的数据适应性和计算效率，并可以适应新的网络动态，仅需要约 6% 的观测数据比例，并且显著提高了对新动态的学习速度。

Oct, 2023

本文提出了一种使用神经随机微分方程学习控制动力学模型的框架和算法，能够构建模型预测控制算法以及模型基的增强学习领域中的仿真器，在模拟机器人系统中得到良好的应用。

Jun, 2023

基于连续时间随机微分方程和变分推断，我们提出了一种新的结构学习方法 SCOTCH，可以自然地处理任意时间点的学习和预测观测，并在合规和非合规采样间隔下，在合成和真实数据集上表现出较好的结构学习性能。

Nov, 2023