BriefGPT.xyz
Jun, 2023
神经ODE训练中的自动微分校正
Correcting auto-differentiation in neural-ODE training
HTML
PDF
Yewei Xu, Shi Chen, Qin Li, Stephen J. Wright
TL;DR
本文通过理论分析和实验结果，发现使用高阶近似方法如线性多步法等自动微分更新神经ODE时，常常会产生不收敛的人工震荡。作者针对此问题，提出了一种有效的后处理技术，来消除这些震荡，修正梯度计算，从而保证了神经ODE更新的正确性。
Abstract
Does the use of
auto-differentiation
yield reasonable updates to deep neural networks that represent
neural odes
? Through mathematical analysis and numerical evidence, we find that when the neural network employs
→