黑盒优化的元学习

KDDJul, 2019

Meta-Learning for Black-box Optimization

Vishnu TV, Pankaj Malhotra, Jyoti Narwariya, Lovekesh Vig, Gautam Shroff

TL;DR本文提出了一种基于 RNN 的优化器 RNN-Opt，并使用合成非凸函数直接使用折扣遗憾作为元学习损失函数来训练，该方法可有效地优化具有限制预算的单目标连续函数。

Abstract

Recently, neural networks trained as optimizers under the "learning to learn" or meta-learning framework have been shown to be effective for a broad range of →

neural networks optimization rnn-opt meta-learning black-box functions

发现论文，激发创造

可扩展且泛化的学习优化器

通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架构进行了优化。

Mar, 2017

用梯度下降训练学无梯度下降的学习

通过比较基于贝叶斯优化的算法，我们研究了在简单合成函数上训练的循环神经网络优化器的性能，发现这些训练后的优化器在不同的黑盒函数优化、超参数整定和全局优化基准测试中表现优异。

Nov, 2016

群体学习优化

本文提出了一种新的元优化器，该优化器能够在基于点和基于种群的优化算法算法空间中进行学习，提高了预测的准确性和优化能力，并在非凸测试函数和蛋白质对接应用中的实验结果表明，该元优化器优于现有竞争对手。

Nov, 2019

强化学习优化的学习

本篇文章研究了一种数据驱动的元学习方法，使用此方法可以训练出一个能够优化强化学习的通用优化器，而且可以应用于复杂任务。这个优化器的结构大大提高了学习优化器的训练效率，并且已经证明其能够泛化到未知的复杂任务。

Feb, 2023

深度神经网络的元学习损失函数

探索利用元学习概念来改善性能，尤其是通过损失函数这个常常被忽视的组成部分。损失函数是学习系统的重要组成部分，它代表了主要的学习目标，在系统成功优化该目标的能力上进行了量化。

Jun, 2024

神经网络优化学习

本文探索一种新的用于训练浅层神经网络的优化算法，该算法使用重新强化学习的方法，可以解决高维随机优化问题，即使在梯度和神经网络架构的随机性变化时，该算法训练出的优化算法始终优于其他已知的优化算法，能够成功将 MNIST 神经网络问题泛化到在多种不同数据集上进行的神经网络问题。

Mar, 2017

通过损失函数优化提高训练速度、精度和数据利用率

使用遗传编程算法，通过优化损失函数进行元学习可自动优化神经网络的设计，进而提高网络性能，从而推进 AutoML 技术。

May, 2019

无梯度学习量子神经网络优化

本文提出了一种新颖的元优化算法，通过对量子电路的参数进行元优化，从而最小化目标函数，避免了经典梯度优化的局限性，通过实验和理论论证，在不同数据集上，相比现有基于梯度的算法，该方法可以更快更稳定地达到更好的效果。

Apr, 2023

神经网络梯度学习黑盒函数接口

提出了一种基于端到端训练的神经网络的方法，该方法通过将黑盒函数的功能与可微分的神经网络进行逼近，以驱动神经网络遵守黑盒函数接口。在推理时，将不可微分的外部黑盒替换为其可微分的估计器，通过此方法，可以在无需中间标签的情况下，训练一个神经网络，从而计算黑盒功能的输入，并且这种综合模型比完全可微分的模型泛化效果更好，并且相对于基于强化学习的方法学习效率更高。

Jan, 2019

可微凸优化的元学习

提出了一种名为 MetaOptNet 的元学习方法，该方法使用线性预测器作为基本学习器来学习用于少样本学习的表示，并表现出了在一系列少样本识别基准测试中，在特征大小和性能之间提供更好的折衷方案，并取得了最先进的性能。

Apr, 2019