通过优化实现的训练和超训练的必要收敛分析的学习

ICMLJun, 2022

通过优化实现的训练和超训练的必要收敛分析的学习

Optimization-Derived Learning with Essential Convergence Analysis of Training and Hyper-training

Risheng Liu, Xuan Liu, Shangzhi Zeng, Jin Zhang, Yixuan Zhang

TL;DR本文研究基于固定点迭代的广义 Krasnoselskii-Mann（GKM）方案，设计了一个双层元优化算法框架（BMO），以同时解决最佳训练和超级训练变量。通过实验表明，BMO 在稀疏编码和实际应用（例如图像去卷积和雨脉冲去除）中具有高效的竞争性能。

Abstract

Recently, optimization-derived learning (ODL) has attracted attention from learning and vision areas, which designs learning models from the perspective of optimization. However, previous ODL approaches regard the training and →

optimization-derived learning hyper-training bilevel meta optimization gkm scheme sparse coding

发现论文，激发创造

基于 ODE 的学习优化

通过将惯性系统与 Hessian 驱动的阻尼方程（ISHD）与基于学习的方法相结合，本文提出了一个综合框架，以理论洞察力的深度协同为基础，通过发展优化方法来研究加速方法的理解。

Jun, 2024

连续时间限制下的元学习

本文研究了模型无关元学习（Model-Agnostic Meta-Learning, MAML）运动动力学的普通微分方程（ODE），提出了一种新的 BI-MAML 训练算法，可以显著减少现有 MAML 训练方法的计算负担，并通过理论分析和实验验证证明其优越性。

Jun, 2020

机器学习中的双层优化：算法设计与收敛分析

本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。

Jul, 2021

双层优化：收敛分析与增强设计

本文研究非凸强凸双层优化问题，提供了两种基于近似隐式导数和迭代导数的算法以及一种名为 stocBiO 的新型算法，并对它们进行了收敛性分析和比较，实验表明这些优化算法在元学习、超参数优化等方面表现出良好效果。

Oct, 2020

交替极小化算法在字典学习中的收敛性

本文研究了字典学习中两种流行的交替最小化算法的收敛性，在给定合适初始化条件的情况下，这两种算法都可以收敛到生成字典，适用于稀疏系数的数据模型，更好地拟合真实数据

Apr, 2023

多目标优化的多梯度学习优化

通过引入自动学习范式，我们介绍了一种新的自动优化多目标优化问题的学习方法，并提出了一种多梯度学习优化（ML2O）方法，通过自动学习多个梯度以更新方向。通过引入新的守卫机制，我们提出了一种守卫多梯度学习优化（GML2O）方法，并证明了 GML2O 生成的迭代序列收敛到一个 Pareto 临界点。实验结果表明，我们学习的优化器在训练多任务学习神经网络方面胜过手动设计竞争对手。

Nov, 2023

超参数优化和元学习的双层编程

基于双层规划的元学习方法，将表示层作为共享超参数，在少数样本情况下实现了较好的结果。

Jun, 2018

使用非线性系统理论学习带有收敛保证的优化方法

我们提出了一个利用非线性系统理论填补演进中算法收敛性和鲁棒性分析的理论框架，可以自动化地优化学习到的算法，保证其设计上的收敛性。

Mar, 2024

可微凸优化器的参数化一阶元学习

通过提出一个元学习框架，在内循环优化步骤中使用可微分凸优化（DCO），我们概括了一个广泛的现有更新规则家族，并演示了可一步优化一系列线性最小二乘问题的理论吸引力。

Mar, 2023

构建数学结构以实现学习优化

本文提出了一种基于数学原理的 L2O 模型，通过数值模拟验证了该模型的理论发现并展示了其超越普通 L2O 模型的优越性。

May, 2023