NIPSDec, 2017

超参数优化和学习到学习之间的桥梁

PDF
TL;DR本文提出了一种嵌套优化问题的解决方案，通过同时考虑内外目标优化动态相关性，实现了基于梯度的超参数优化和元学习的统一，并在此基础上提出了可应用于类似学习方式的梯度算法。同时，文章也探讨了元学习的设计模式，并在少量样本学习方面展示出了一些鼓舞人心的初步实验结果.
发现论文，激发创造
  • 超参数优化和元学习的双层编程

    基于双层规划的元学习方法，将表示层作为共享超参数，在少数样本情况下实现了较好的结果。

    Jun, 2018

  • 可扩展的深度学习嵌套优化

    梯度下降优化在机器学习的成功中起到了关键作用，本研究论文聚焦于嵌套优化问题，特别是超参数优化和生成对抗网络；然而，在大规模求解嵌套问题时，经典方法往往表现不佳，因此我们针对深度学习环境构建了可扩展的嵌套优化工具。

    Jul, 2024

  • 隐式梯度元学习

    本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

    Sep, 2019

  • 利用学习的方法保证调整步长

    本论文在简单问题上给出了学习优化算法的元优化保证，并展示了关于学到的优化器的性质。

    Jun, 2020

  • 可微凸优化器的参数化一阶元学习

    通过提出一个元学习框架，在内循环优化步骤中使用可微分凸优化（DCO），我们概括了一个广泛的现有更新规则家族，并演示了可一步优化一系列线性最小二乘问题的理论吸引力。

    Mar, 2023

  • 学习 Warm-Start 贝叶斯超参数优化

    本文提出了深度度量学习用于探寻相似的数据集来作为输入神经网络的初始超参数，并通过 Bayesian 优化方法减少了超参数搜索的时间和计算量。

    Oct, 2017

  • 学习优化器的训练动态调查

    深度学习中优化的关键问题是通过学习优化器来加速优化过程，但其稳定性、泛化性仍存在问题。本研究通过分析网络架构对优化轨迹和参数更新分布的影响，研究并对比手动设计和学习优化器的优缺点，提出了关键见解。

    Dec, 2023

  • 元值学习：具备学习认知能力的一般性学习框架

    在多智能体系统中，基于梯度的学习很困难，LOLA 通过在一步优化中不同化来解决这个问题，我们通过扩展 LOLA 的思想并开发出一种完全通用的基于价值的优化方法，核心是一个称为元 - 价值的函数，它在联合策略空间的每个点为每个智能体给出折现未来优化步骤中的目标的总和，我们通过训练神经网络以最小化沿优化轨迹上 TD 误差的方法来近似元 - 价值。

    Jul, 2023

  • 当元学习遇上在线和持续学习：一项综述

    通过提供一份综合调查报告，有组织地使用一致的术语和形式描述，本文旨在促进这个有前景的研究领域的进一步发展。

    Nov, 2023

  • 通过共享梯度加速元学习

    通过内部循环正则化机制，共享梯度信息并根据元学习参数进行贡献缩放，实现了渐进共享的元学习，从而有效地加速元训练过程，提高内部循环学习速率。

    Dec, 2023