元参数优化的框架：MetaOptimize

Feb, 2024

MetaOptimize: A Framework for Optimizing Step Sizes and Other Meta-parameters

Arsalan Sharifnassab, Saber Salehkaleybar, Richard Sutton

TL;DR优化元参数（即超参数）对于训练效率和模型性能至关重要，本文介绍了 MetaOptimize 框架，它通过动态调整元参数（特别是学习速率）来优化训练过程，通过折现未来损失的累积和来最小化后悔，通过适应多种优化算法和引入低复杂度变体，实现与手工设计的学习率计划相媲美的性能，在各种机器学习应用中展现竞争力。

Abstract

This paper addresses the challenge of optimizing meta-parameters (i.e., hyperparameters) in machine learning algorithms, a critical factor influencing training efficiency and model performance. Moving away from t

meta-parameters machine learning algorithms metaoptimize framework step sizes learning rate schedules

发现论文，激发创造

利用学习的方法保证调整步长

本论文在简单问题上给出了学习优化算法的元优化保证，并展示了关于学到的优化器的性质。

Jun, 2020

随机元优化中短视偏差的理解

本文从短时间视角出发，分析元优化算法对学习率设置存在的短视偏差问题，并在标准基准数据集上运行元优化实验，并通过比较不同时间视角下的最优调度进行分析，旨在解决元优化算法在实际神经网络训练过程中表现不佳的问题。

Mar, 2018

群体学习优化

本文提出了一种新的元优化器，该优化器能够在基于点和基于种群的优化算法算法空间中进行学习，提高了预测的准确性和优化能力，并在非凸测试函数和蛋白质对接应用中的实验结果表明，该元优化器优于现有竞争对手。

Nov, 2019

上下文马尔可夫决策过程中的策略梯度方法步长学习

本文提出一种基于元强化学习的新框架 meta-MDP，用于解决强化学习中精细的特定超参数选取问题，通过动态推荐不同策略和任务的步长，实现了在异构环境下选择自适应学习率的优势。

Jun, 2023

具保证的学习调参元策略

本文提出了一种元学习策略，通过最小化后悔界来学习在线学习的初始化和步长，以及 exponentially weighted aggregation 的先验分布或学习率，并进行了后悔分析，以确定元学习是否确实改进了每个单独任务的学习效果。

Feb, 2021

可微凸优化器的参数化一阶元学习

通过提出一个元学习框架，在内循环优化步骤中使用可微分凸优化（DCO），我们概括了一个广泛的现有更新规则家族，并演示了可一步优化一系列线性最小二乘问题的理论吸引力。

Mar, 2023

模型搜索科学化

本研究提出了一种元模型方法，支持自动化超参数优化，以取代手动调试，实现易复制和公正的优化过程，并在三个不同的计算机视觉问题上获得了最新的结果。

Sep, 2012

MetaGrad: 在线学习中的多个学习率

介绍了 MetaGrad 方法，它是一种自适应方法，能够在多种凸函数子类中实现快速速率，该方法采用了倾斜指数权重主算法，可以同时考虑多个学习率，适用于指数凹和强凸函数，以及各种类型的随机和非随机函数。

Apr, 2016

L4：深度学习实用的基于损失的步长自适应算法

本文提出了一种基于损失函数进行梯度重新标度的步长自适应方案（Stepsize Adaptation Scheme），以达到对损失的预测进度的固定要求。作者用 Adam 和 Momentum 优化器进行了实验，通过该方案改进了它们的性能，在多种网络结构和数据集上进行了验证。与定常步长相比，增强优化器在不增加计算量的情况下，表现稳定优于定常步长优化器，甚至是最佳的优化器。

Feb, 2018

超参数优化和学习到学习之间的桥梁

本文提出了一种嵌套优化问题的解决方案，通过同时考虑内外目标优化动态相关性，实现了基于梯度的超参数优化和元学习的统一，并在此基础上提出了可应用于类似学习方式的梯度算法。同时，文章也探讨了元学习的设计模式，并在少量样本学习方面展示出了一些鼓舞人心的初步实验结果.

Dec, 2017