深度学习的最优控制方法及其在离散权重神经网络中的应用

Mar, 2018

深度学习的最优控制方法及其在离散权重神经网络中的应用

An Optimal Control Approach to Deep Learning and Applications to Discrete-Weight Neural Networks

Qianxiao Li, Shuji Hao

TL;DR本研究提出了一个基于离散时间最优控制问题的深度学习训练算法 (MSA)，通过约束权重在离散集合内来实现神经网络的训练，获得了具有竞争力表现的分类结果和非常稀疏的三值网络权重，这有助于在低内存设备上进行模型部署。

Abstract

deep learning is formulated as a discrete-time optimal control problem. This allows one to characterize necessary conditions for optimality and develop training algorithms that do not rely on gradients with respe

deep learning optimal control problem method of successive approximations neural networks discrete set

发现论文，激发创造

深度学习作为最优控制问题：模型与数值方法

本文探讨了深度学习神经网络作为最优控制问题的离散化，提出了一类算法来解决离散最优控制问题，并探讨了在时间离散化方面的延伸。

Apr, 2019

随机控制问题的深度学习逼近

通过蒙特卡洛采样的深度学习方法，将高维随机控制问题的时间依赖控制近似为前馈神经网络，用作控制问题的目标函数，经测试，该方法可以处理高维度问题并且具有令人满意的准确性。

Nov, 2016

当离散优化规模与神经网络一样大时该如何处理？

本研究比较了使用纯粹外推梯度信息和比较有效解的两种方法，以解决离散优化问题在机器学习应用中的使用，首先概述了这两种方法及其缺点，然后通过实验证明了它们的性能差异。

Feb, 2024

深度学习理论综述：最优控制与动态系统视角

本文基于动态系统和最优控制的视角，将现有的深度学习理论框架进行整合，并用随机动态的优化算法作为控制器，为超参数调整提供了一个基于原则的方法。

Aug, 2019

基于极值原理的深度学习算法

通过连续动态系统方法研究深度学习以制定训练算法的替代框架，并将训练重新定义为控制问题，通过 Pontryagin 最大值原理来制定必要的最优条件，进而提出深度学习的另一种训练算法。

Oct, 2017

健壮深度学习作为最优控制：洞见和收敛保证

研究了深度学习算法中存在的对抗性攻击问题，提供了一种新的对抗性训练算法，通过将最小 - 最大问题解释为最优控制问题进行优化，从而大幅度提高训练时间，并通过实验证明了该算法的稳定性和收敛性。

May, 2020

深度多任务神经网络解决一些随机最优控制问题

本研究论文采用多任务神经网络的有效解法，通过数值实验，证明其在处理实际金融衍生品定价问题上优于现有方法。

Jan, 2024

深度学习中的离散优化的基于评分的方法

离散优化问题在深度学习任务中经常出现，尽管神经网络通常操作于连续数据。本文探讨了一种基于分数近似的框架，用于解决依赖于神经网络的目标函数和离散优化变量的问题。通过利用离散变量的嵌入和自动微分框架的计算速度，在对抗性集合分类任务中，我们实验性地证明了我们的方法在速度和解决方案质量方面相比启发式方法具有更好的权衡。

Oct, 2023

使用重量约束随机动力学进行更好的训练

本研究介绍了一种通过引入定制化约束条件来减少神经网络权重梯度消失或爆发问题、提高分类边界的平滑性以及稳定深度神经网络，从而增强训练算法的稳健性和神经网络的泛化能力的方法。同时，还通过平衡重要性的 SG-MCMC 方法将这些约束条件有效地整合到一个随机梯度 Langevin 模型中，进一步探索损失函数的空间。值得注意的是，这些优化方式不需要适应神经网络体系结构设计选择或修改目标函数的正则化项，并且在分类任务中显示出较好的性能表现。

Jun, 2021

一个极小极大优化控制方法用于稳健神经 ODE

本文基于鲁棒控制的视角讨论神经 ODE 的对抗训练，引入了一种替代经验风险最小化的方法，通过可靠处理输入扰动来实现可靠结果。将深度神经网络解释为控制系统离散化，利用控制理论的强大工具来开发和理解机器学习。我们将带有扰动数据的对抗性训练描述为极小极大最优控制问题，并推导出 Pontryagin's Maximum Principle 形式的一阶最优性条件。我们提供了鲁棒训练的新解释，提出了一种替代加权技术，并在低维分类任务上进行了测试。

Oct, 2023