Aug, 2023

动态双层学习与不精确线搜索

PDF
TL;DR使用变分正则化方法，通过双层学习来学习合适的超参数，同时提出了能够收敛到损失函数超参数的稳定点的近似回溯线搜索算法，并在变分正则化问题的超参数估计中展示了其有效性和可行性。
variational regularizationbilevel learninghyperparametersinexact backtracking line searchhyperparameter estimation
发现论文，激发创造
  • 通过双层学习寻找最优正则化参数

    利用变分正则化方法求解线性反问题时，采用超参数调节正则化项，通过强化先验信息来提高求解结果，核心问题在于如何选择一个合适的正则化参数。本文提出了一个新的条件来更好地描述正则化参数的正性，并验证和探索了这个新条件，同时也探究了这个新条件在小和大维问题上的应用。

    May, 2023

  • 超参数优化和元学习的双层编程

    基于双层规划的元学习方法，将表示层作为共享超参数，在少数样本情况下实现了较好的结果。

    Jun, 2018

  • 使用近似梯度进行超参数优化

    本文提出了一种算法来优化连续超参数，该方法可以在模型参数完全收敛之前更新超参数，具有全局收敛的充分条件，并在 L2 正则化逻辑回归和核岭回归的正则化常数估计上验证了实证表现。

    Feb, 2016

  • 神经网络的抛物线逼近线搜索

    本文提出一种通过在 batch loss 负梯度方向上进行一维抛物线逼近的简单且强大的线性搜索方法来自动找到深度学习优化的最优步长，并在多个数据集和架构上进行了全面的评估。

    Mar, 2019

  • 稀疏正则化的平滑双层编程

    通过再参数化和双层解析度的相结合，我们提出了一种新的通过线性系统解决 Lasso 问题的方法，可以适用于各种疏松规则和设计矩阵，我们通过数值实验表明了该方法的高效性和鲁棒性。

    Jun, 2021

  • 双层优化的截断反向传播

    本文分析了通过截断反向传播计算的近似梯度的属性，并为其收敛。研究表明，使用几步反向传播计算的近似梯度优化通常与使用精确梯度的优化相当，同时需要更少的内存和一半的计算时间。

    Oct, 2018

  • 无界平滑的双层优化：一种新算法和收敛性分析

    设计了一种名为 BO-REP 的新的双层优化算法，用于解决具有潜在无界平滑性的神经网络在双层优化问题中的挑战。证明了在随机环境下，该算法需要大约 1/ε^4 次迭代来找到一个 ε- 稳定点，结果与有界平滑度设置和没有均方平滑性的随机梯度的最新复杂度结果相匹配。实验证明了所提出算法在超表征学习、超参数优化和文本分类任务中的有效性。

    Jan, 2024

  • 关于超梯度计算的迭代复杂度

    本文研究了一个广泛的双层问题类别，其中包括上层目标函数的最小化和参数化的定点方程的解。在假设定点方程由一个收缩映射定义的前提下，我们提供了一种统一的分析方法，以便第一时间定量比较各种方法，为它们的迭代复杂性提供明确的界限，并建议采用逐步共轭梯度的近似隐式微分法来进行超梯度的计算，并通过实验确认了理论上的发现。

    Jun, 2020

  • 随机超梯度的收敛性质

    本文研究了随机逼近方案的超梯度，提供了超梯度逼近的均方误差界限，并提供了数字实验来支持理论分析和展示在实践中使用随机超梯度的优势。

    Nov, 2020

  • 超参数优化中双层规划的稳定性和泛化性

    本文研究双层规划的理论分析，并提出了一种基于统一稳定性的期望边界解释验证集方面的一些神秘的行为。同时证明了正则化项可以缓解梯度算法过拟合问题。

    Jun, 2021