hypergradient | BriefGPT - AI 论文速递

关键词hypergradient

搜索结果 - 6

提高超梯度估计：预条件和参数重参数化的研究
双层优化是一种针对依赖于内部优化问题解的外部目标函数进行优化的方法，在机器学习中广泛应用于超参数调整。本研究通过研究隐藏变量方法的误差，分析了两种减小误差的策略：预处理隐藏变量公式和重新参数化内部问题。我们详细说明了这两种修改对误差的影响，
PDF4 months ago
可微分的自适应学习率
本研究提出一种新的学习率自适应算法来解决 Hypergradient 优化算法在处理大规模数据集和验证集上的表现问题，实验证明该算法在速度和精度上都能超越现有的优化算法。
PDF2 years ago
ICLR通过隐式微分实现高维度权重更新超参数的可扩展单遍优化
本文提出了一种基于近似超梯度的超参数优化方法，适用于任何连续的超参数出现在可微模型的权重更新中，只需一次训练，无需重新启动。该方法可以对每个模型参数进行可操作的基于梯度的学习率优化，性能竞争力强，在多个数据集上运行良好。
PDF3 years ago
ICML关于超梯度计算的迭代复杂度
本文研究了一个广泛的双层问题类别，其中包括上层目标函数的最小化和参数化的定点方程的解。在假设定点方程由一个收缩映射定义的前提下，我们提供了一种统一的分析方法，以便第一时间定量比较各种方法，为它们的迭代复杂性提供明确的界限，并建议采用逐步共轭
PDF4 years ago
无反演深度双层优化的罚函数方法
本文提出了一种新颖的基于罚函数方法的二层优化问题算法，避免了计算 Hessian 逆矩阵的过程，并可轻松处理限制性二层问题。本方法证明收敛性并在大规模深度神经网络二层问题中表现优异，应用于数据去噪、few-shot 学习和训练数据污染问题，
PDF5 years ago
IJCAIMARTHE: 通过在线超梯度调度学习率
本文从超参数优化的角度研究了适应特定任务的学习率进度的拟合问题，并通过介绍超梯度的梯度结构，提出了 MARTHE 算法，它能够使用优化轨迹中的过去信息来模拟未来的行为，从而插值最近的两种技术，从而产生更加稳定、泛化能力更强的学习率进度。
PDF5 years ago