Sep, 2019

保守集值场、自动微分、随机梯度法和深度学习

PDF
TL;DR介绍了广义导数（称为保守场）来处理在 AI 或数值分析中的非光滑问题，并提供了变分公式，以及将模型应用于确定在实践中实现的非光滑随机梯度方法的值的收敛。
generalized derivativesconservative fieldspath differentiablenonsmooth automatic differentiation oraclesstochastic gradient methods
发现论文，激发创造
  • 非光滑自动微分的复杂度

    本文提出了一种用保守梯度模型来估计算法分化的计算成本的方法，并且较为详细地描述了其在反向传播和前向传播中的应用。主要方法是基于局部 Lipschitz 半代数或可定义基本函数的方法，可以极大地加速了反向传播过程。

    Jun, 2022

  • 机器学习中的自动微分数学模型

    本文介绍了自动求导实现与非平滑函数导数求解之间的关系，提出了一种非平滑微积分方程，并阐明其在随机逼近方法中的应用，同时证明了算法求解导数可能产生的人工临界点问题，并演示了通常方法如何以概率为一避免这些点。

    Jun, 2020

  • 通过重复微分实现神经场卷积

    本文介绍了一种使用经过训练的积分场实现大规模卷积的方法，用以弥补神经场作为连续信号表示方法而不易进行信号处理的问题。作者在各种数据模态和空间变化的核上演示了该方法。

    Apr, 2023

  • 非光滑分析与优化

    这篇论文讲述了推导逆问题、图像处理和 PDE 约束优化中的非可微优化问题所需的必要最优条件和数值算法，涵盖广义导数概念，凸函数和次微分，Fenchel 对偶，单调算子和解算子，Moreau-Yosida 正则化，极值点和（一些）一阶分裂方法，Clarke 次微分和半光滑牛顿方法，并简要总结了从函数分析和变分法中所需的背景。

    Aug, 2017

  • 可微分的游戏机制

    本文针对深度学习建立在梯度下降收敛局部极小值的基础上这一保证在生成对抗网络等存在多个交互损失的情况下失效问题，研究了 N 人不可微分博弈的动态性，提出了一种新的算法 Symplectic Gradient Adjustment (SGA) 可以在更一般的情境下应用，并有基于理论保证的鲁棒性。

    May, 2019

  • 带任意微分阶硬约束的神经场

    本文提出了一种基于 Meshless 插值和谱协方差方法的约束神经场方法，针对深度神经网络优化问题中缺乏硬性约束优化的现状，其约束可以具体指定为应用于神经场及其导数的线性算子，并展示了其在许多实际应用中的实验效果和高效的模型约束陈述框架。

    Jun, 2023

  • n 个玩家可微分游戏的力学

    本文介绍了用于解决许多深度学习模型中的问题的 Symplectic Gradient Adjustment (SGA) 算法，并提出了 Hamiltonian game 概念，使得 SGA 算法具有一定的保证，并在 GANs 等更广泛的游戏中表现出着和其他算法竞争力相当的性能。

    Feb, 2018

  • 便宜微分算子的神经网络

    本文介绍了一种使用受限神经网络架构来实现计算涉及到维度导数的微分算子的方法，改进了反向传播计算图，使其可以实现有效提取维度导数。该方法在一些应用场景中具有较低的复杂度，包括计算流体力学中的发散度、连续正规化流的精确密度计算以及训练随机微分方程模型中的 Fokker–Planck 方程求解。

    Dec, 2019

  • 适格程序可证明正确的自动子微分

    研究了在 ML 算法中常见的子导数，比较了计算子导数和计算标量值函数的成本，提出了 Cheap Subgradient Principle 并得出结论：在一定限制下，可以以不到 6 倍计算标量函数本身的成本计算出可靠的 generalized subderivatives。

    Sep, 2018

  • 风险厌恶通用凸化

    提出了一个凸化框架，使用随机梯度方法的算法来解决不同领域的优化问题，包括监督学习和动态系统，并且导出了模型驱动和模型无关的策略梯度优化算法，收敛性得到保证。

    Jun, 2014