Jun, 2020

一首颂词给一阶常微分方程

TL;DR提出了一种新的神经 ODE 算法范例,称为 ODEtoODE,其中主要流的时间相关参数随着正交群 O(d)上的矩阵流发展。这种嵌套的两种流系统,其中参数流限制在紧致流形上,提供稳定性和有效性训练,并能解决梯度消失 - 爆炸问题,从而导致更好的下游模型和进化策略中训练增强学习策略和在监督学习设置中,通过与以前的 SOTA 基线进行比较。我们提供了独立于网络深度的强收敛结果,支持我们的经验研究。我们的结果表明,深度神经网络理论与紧凑流形上的矩阵流领域之间存在着有趣的联系。