Jul, 2022

梯度下降对重新参数化模型的隐式偏差及其与镜像下降的等价性

PDF
TL;DR本文讨论梯度下降算法中超参数模型中的隐含偏差问题，将超参数模型下的训练轨迹视为不同目标函数上的镜像下降，对该现象在 commuting parametrization 条件下进行了表征，证明了任何 commuting parametrization 的梯度流都等价于相关 Legendre 函数的连续镜像下降。
implicit biasgradient descentoverparametrized modelsmirror descentcommuting parametrization
发现论文，激发创造
  • 镜像下降的信息几何

    通过 Bregman 分歧诱导的镜像下降是双重黎曼流形上的自然梯度下降算法，使用对数似然损失的镜像下降在指数族参数估计中渐近地达到了经典的 Cramer-Rao 下限，指数族对应的流形的自然梯度下降可以通过镜像下降实现一阶方法。

    Oct, 2013

  • 镜像下降统一控制隐式正则化方法

    本文使用镜像下降方法来解决深度神经网络优化算法中的隐含正则化问题。

    Jun, 2023

  • 超参数非线性模型的随机镜像下降：收敛性，隐式正则化和泛化

    本研究主要探讨过参数模型中采用 stochastic mirror descent 方法，在足够小的步长下，通过初始化接近全局最小值，其可以收敛和迭代到一种接近 Bregman 散度且具有更好泛化性能的解决方案，并探究该方法中不同的隐式正则化方式对结果表现的影响。

    Jun, 2019

  • 用优化几何表征隐含偏见

    研究了通用优化模型，如镜像下降、自然梯度下降和最速下降在欠定线性回归或可分线性分类问题上的隐式偏差以及关于算法得到的特定全局最小值是否可以独立于超参数选择，如步长和动量，用优化几何势或范数表征。

    Feb, 2018

  • 鞍点问题中的乐观镜像下降：额外走 (梯度) 一英里

    本文研究了一类具有一致性属性的非单调问题中，优化镜像下降法（OMD）的收敛性和优化方式。分析表明，OMD 可以解决这些问题并推广了先前的结果，为建立凸凹博弈以外的收敛性提供了具体进展。在一系列 GAN 模型上的数值实验结果验证了分析的可行性。

    Jul, 2018

  • 用代理随机设计的双重下降和隐式正则化的精确表达式

    本文针对过度参数的最小范数线性估计器的双下降现象，借助一种称为代理随机设计的特殊确定点过程进行研究，该代理设计允许对估计器的平均平方误差进行精确表示，并且我们证明了对于代理设计，未正则化的最小范数估计器的隐式偏置恰好对应于在总体分布上解决岭正则化最小二乘问题的解。

    Dec, 2019

  • 遍历镜像下降

    对于在优化时无法接收来自分布的独立样本的情况，将随机次梯度下降方法推广到连续的采样情况下，只要随机源是足够遍历的，具有强的收敛性保证，在高维空间的随机优化，分布式优化，以及组合空间上的优化问题中具有应用前景。

    May, 2011

  • 稀疏 Q 学习和镜像下降

    该论文探讨了基于在线凸优化的强化学习的新框架，特别是镜像下降及相关算法，提出了一种新的类似于梯度下降的迭代方法。其中，基于不同 Bregman 散度的抛物线梯度强化学习法比常规 TD 学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法，相比之前基于二阶矩阵方法的方法，在寻找一个 l1 正则化 Bellman 方程的稀疏不动点时具有显著的计算优势。

    Oct, 2012

  • 通用优化方法的更快边缘最大化率

    本文介绍了一种将常规优化算法转化为在线学习动态的方法，以解决具有多个局部极小值的给定训练目标的最小化，通过在线学习算法的遗憾界来获得隐式偏差率，并比较了梯度下降、镜像下降和最陡下降这三种不同的优化算法的隐式偏差率。

    May, 2023

  • 在 Wasserstein 空间中的镜像和预处理梯度下降

    通过在 Wasserstein 空间上引入测度梯度的离散时间方案，证明了一些目标函数和正则化器的收敛性，同时展示了在计算生物学中选择不同的差异度和几何结构的优势。

    Jun, 2024