本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论发现。
Dec, 2018
本文研究了深度潜变高斯模型中的神经SDEs，并采用随机流理论基于维纳空间开发出一种变分推理框架，利用黑盒SDE求解器和自动微分进行端到端推理。
May, 2019
本文从分布的角度出发，研究了神经网络的深度问题。通过引入随机微分方程的方法，解决了深度叠加会引起的输入依赖性和功能约束等问题。
本研究介绍了一种新型连续神经网络框架 Neural SDE，该框架自然地融合了基于随机噪声注入的各种常用正则化机制，可用于输入干扰和非对抗性扰动的鲁棒建模，并可实现更好的泛化性能和对抗性强化训练。
Jun, 2019
本文提出一种新的正则化技术：在训练过程中随机抽样ODE的结束时间，实验证明该技术能够在多个任务中显著减少训练时间并提高性能
Jun, 2020
通过使用内部成本启发式算法，本文开发了两种采样策略来减少函数评估数量并加速预测，与全局正则化相比，我们的方法在普通微分方程和随机微分方程中具有相似的性能而不会影响实施的灵活性。
Mar, 2023
本文研究了dropout过程中的梯度优化机制，使用模拟方法得出其随机修改方程，证明了dropout的正则化能力来自于其寻找更平稳的极小值点，实验结果表明这种机制在dropout的训练过程中普遍存在。
May, 2023
深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。
Sep, 2023
在处理真实世界的不规则时间序列数据中，由于不连续的采样间隔和缺失值，神经随机微分方程（Neural SDEs）的良好性能依赖于漂移和扩散函数的巧妙选择，本研究通过提出三个稳定的Neural SDE类别： Langevin型SDE、线性噪声SDE和几何SDE，并通过广泛的实验验证了这些方法在分布转移和不同缺失率下的鲁棒性，展示了该方法在处理真实世界不规则时间序列数据中的有效性。
Feb, 2024
本研究解决了神经随机微分方程（Neural SDEs）训练中的效率问题，提出了一种新的有限维匹配（FDM）方法。该方法利用SDEs的马尔可夫特性，显著减少了训练复杂度，从而在计算效率和生成质量上优于现有方法，具有广泛的应用潜力。
Oct, 2024