Oct, 2023

一个极小极大优化控制方法用于稳健神经ODE

TL;DR本文基于鲁棒控制的视角讨论神经ODE的对抗训练,引入了一种替代经验风险最小化的方法,通过可靠处理输入扰动来实现可靠结果。将深度神经网络解释为控制系统离散化,利用控制理论的强大工具来开发和理解机器学习。我们将带有扰动数据的对抗性训练描述为极小极大最优控制问题,并推导出Pontryagin's Maximum Principle形式的一阶最优性条件。我们提供了鲁棒训练的新解释,提出了一种替代加权技术,并在低维分类任务上进行了测试。