Mar, 2023

可微凸优化器的参数化一阶元学习

PDF
TL;DR通过提出一个元学习框架，在内循环优化步骤中使用可微分凸优化（DCO），我们概括了一个广泛的现有更新规则家族，并演示了可一步优化一系列线性最小二乘问题的理论吸引力。
machine learningcontrolsmeta-learningconvex optimizationleast squares
发现论文，激发创造
  • 可微凸优化的元学习

    提出了一种名为 MetaOptNet 的元学习方法，该方法使用线性预测器作为基本学习器来学习用于少样本学习的表示，并表现出了在一系列少样本识别基准测试中，在特征大小和性能之间提供更好的折衷方案，并取得了最先进的性能。

    Apr, 2019

  • 基于梯度的元学习的可证明保证

    本文介绍了基于在线凸优化的元学习问题，并提出了一种元算法，使得流行的基于梯度的元学习和传统的基于正则化的多任务转移方法之间的差距得以弥合。我们的方法是第一个在凸设置下同时满足良好的样本效率保证，并且具有随着任务相似度提高而改善的泛化界限，同时在现代深度学习体系结构和多任务环境下具有可伸缩性的方法。尽管算法很简单，但它匹配了下限，是任何此类参数传输方法在自然任务相似度假设下的性能的常数因子。我们在凸和深度学习设置下的实验验证和演示了我们理论的适用性。

    Feb, 2019

  • 自适应基于梯度的元学习方法

    本文提出了一种理论框架来设计和理解实用的元学习方法，该方法将任务相似性的复杂形式化与在线凸优化和序列预测算法的广泛文献融合。该方法使任务相似性能够自适应地学习，为统计学习 - to-learn 的转移风险提供更加精确的界限，并在任务环境动态变化或任务共享一定几何结构的情况下，导出高效算法的平均情况后悔界限。我们使用该理论修改了几种流行的元学习算法，并在少样本学习和联邦学习的标准问题上改善了它们在元测试时的性能。

    Jun, 2019

  • 关于一阶元学习算法

    本文主要研究元学习问题，即在任务分布情况下，如何获得在新的任务中表现良好、能够快速学习的智能体；分析了一系列算法，包括优化一阶导数的 MAML 和 Reptile 算法，对他们在少样本分类任务中表现良好的结果进行扩展和理论分析。

    Mar, 2018

  • 元值学习：具备学习认知能力的一般性学习框架

    在多智能体系统中，基于梯度的学习很困难，LOLA 通过在一步优化中不同化来解决这个问题，我们通过扩展 LOLA 的思想并开发出一种完全通用的基于价值的优化方法，核心是一个称为元 - 价值的函数，它在联合策略空间的每个点为每个智能体给出折现未来优化步骤中的目标的总和，我们通过训练神经网络以最小化沿优化轨迹上 TD 误差的方法来近似元 - 价值。

    Jul, 2023

  • 基于元强化学习的二阶系统自适应控制

    本研究采用 meta-RL 控制策略，结合模型基于信息离线培训，通过已知系统的动态规律 (parameters) 来自动适应过程的变化，实现对一、二阶系统的调节。

    Sep, 2022

  • 超参数优化和学习到学习之间的桥梁

    本文提出了一种嵌套优化问题的解决方案，通过同时考虑内外目标优化动态相关性，实现了基于梯度的超参数优化和元学习的统一，并在此基础上提出了可应用于类似学习方式的梯度算法。同时，文章也探讨了元学习的设计模式，并在少量样本学习方面展示出了一些鼓舞人心的初步实验结果.

    Dec, 2017

  • 组合优化的无监督学习需要元学习

    提出了一种基于元学习的训练流程，用于寻找未来遇到的问题实例的良好初始化而不是直接给出答案。该方法在各种评估设置下都取得了良好的实证性能。

    Jan, 2023

  • 神经组合优化算法的泛化

    本文采用元学习技术来在多种任务中训练一个模型，以优化适应新任务的能力，从而提高两个最先进的模型的泛化能力，实验表明该方法在两个 CO 问题上都有显著改善。

    Jun, 2022

  • 使用简单基于种群的进化进行任意阶元学习

    通过基于种群演化的方法实现了高阶元参数的优化，提出了自我引用的参数化形式，证明了高阶元学习可以提高时间序列预测任务的性能。

    Mar, 2023