May, 2023

通用优化方法的更快边缘最大化率

PDF
TL;DR本文介绍了一种将常规优化算法转化为在线学习动态的方法，以解决具有多个局部极小值的给定训练目标的最小化，通过在线学习算法的遗憾界来获得隐式偏差率，并比较了梯度下降、镜像下降和最陡下降这三种不同的优化算法的隐式偏差率。
optimizationimplicit biasgradient descentmirror descentsteepest descent
发现论文，激发创造
  • 用优化几何表征隐含偏见

    研究了通用优化模型，如镜像下降、自然梯度下降和最速下降在欠定线性回归或可分线性分类问题上的隐式偏差以及关于算法得到的特定全局最小值是否可以独立于超参数选择，如步长和动量，用优化几何势或范数表征。

    Feb, 2018

  • 通过原始 - 对偶分析表征隐式偏差

    本文证明了对于线性可分数据，梯度下降的隐式偏差可以通过最优解的双重优化问题完全描述，从而实现了对一般损失的训练。此外，使用 L2 最大间隔方向的恒定步长可以获得 O (ln (n)/ln (t)) 的收敛速率，而使用适当选择的主动步长时间表，则可以获得对于 L2 间隔和隐式偏差的 O (1/t) 收敛速率。

    Jun, 2019

  • 镜像下降统一控制隐式正则化方法

    本文使用镜像下降方法来解决深度神经网络优化算法中的隐含正则化问题。

    Jun, 2023

  • 分离数据梯度下降的隐式偏差

    本研究发现，在无正则化的逻辑回归问题、线性可分数据集上，使用均匀线性预测器的梯度下降法会收敛于最大间隔解的方向。收敛速度缓慢，方法适用于其他单调递减的损失函数、多类别问题和某些受限情况下的深层网络训练。此研究还可帮助理解模型的隐式正则化和其他优化方法。

    Oct, 2017

  • 一种广义的在线镜像下降算法及其在分类和回归中的应用

    本文提供了一种新的方法，将在线预测算法在线镜像下降推广到具有通用更新的时间变化正则化器，并演示了该方法的强大功能。

    Apr, 2013

  • 可分数据上梯度下降的收敛性

    对采用严格单调尾部的损失函数（如对数损失）在可分离数据集上利用梯度下降时的隐式偏差进行了详细研究，证明了对于一大类超多项式尾部损失，梯度下降迭代可以收敛到任意深度的线性网络的 L2 最大边距解。

    Mar, 2018

  • 隐性偏见能否解释泛化问题？随机凸优化作为案例研究

    本文研究隐式偏差和隐式正则化对随机凸优化中随机梯度下降的影响，提供了一种简单构造来排除控制 SGD 泛化能力的分布独立的隐式正则化器的存在，并且证明了分布依赖的一般类隐式正则化器不能解释泛化的学习问题，说明了仅仅通过隐式正则化的特性来全面解释算法的泛化性能存在重大困难。

    Mar, 2020

  • 双重加速快速实现边缘最大化

    介绍了一种基于动量的梯度方法，使用最大化分类间隔相结合的凸对偶来训练线性分类器，表现出优异的性能

    Jul, 2021

  • 在稳定边缘处进行逻辑回归的梯度下降隐含偏差

    本文研究了边缘稳定性（EoS）中逻辑回归上梯度下降（GD）的收敛和隐式偏差情况，证明任何恒定步长的非单调 GD 迭代可以在较长时间尺度上最小化逻辑损失，并在最大间隔方向上趋于正无穷，在最大间隔方向的正交补上收敛于最小化强凸势能的固定向量，而指数损失可能导致 GD 迭代在 EoS 区域内灾难性发散。

    May, 2023

  • 超参数非线性模型的随机镜像下降：收敛性，隐式正则化和泛化

    本研究主要探讨过参数模型中采用 stochastic mirror descent 方法，在足够小的步长下，通过初始化接近全局最小值，其可以收敛和迭代到一种接近 Bregman 散度且具有更好泛化性能的解决方案，并探究该方法中不同的隐式正则化方式对结果表现的影响。

    Jun, 2019