神经网络优化学习

Mar, 2017

Learning to Optimize Neural Nets

Ke Li, Jitendra Malik

TL;DR本文探索一种新的用于训练浅层神经网络的优化算法，该算法使用重新强化学习的方法，可以解决高维随机优化问题，即使在梯度和神经网络架构的随机性变化时，该算法训练出的优化算法始终优于其他已知的优化算法，能够成功将 MNIST 神经网络问题泛化到在多种不同数据集上进行的神经网络问题。

Abstract

learning to optimize is a recently proposed framework for learning optimization algorithms using reinforcement learning. In this paper, we explore learning an optimization algorithm for training shallow

learning to optimize reinforcement learning neural nets stochastic optimization problems generalization

发现论文，激发创造

学习梯度下降：更好的泛化和更长的视野

本文提出了一种学习自我学习模型和一些实用技巧，以优化损失函数的训练问题，其优化器在许多任务上优于通用的优化算法和 DeepMind 的学习优化器，包括深度 MLP、CNN 和简单的 LSTM。

Mar, 2017

基于强化学习的神经优化器搜索

用循环神经网络控制器生成包括多种基本函数的特定领域语言的更新方程，通过强化学习来优化模型的性能，在 CIFAR-10 上发现了多种优化器，新增的 PowerSign 和 AddSign 优化器能够提高不同任务和架构的训练。

Sep, 2017

一天内学会玩：通过最优收敛加速深度强化学习

论文提出一种新的强化学习算法，将深度 Q-learning 与约束优化方法相结合，以加强最优性并促进更快的奖励传播，并得出了在 Arcade Learning Environment 中的性能评估结果，表明该方法能够显著缩短训练时间并提高准确性。

Nov, 2016

强化学习优化的学习

本篇文章研究了一种数据驱动的元学习方法，使用此方法可以训练出一个能够优化强化学习的通用优化器，而且可以应用于复杂任务。这个优化器的结构大大提高了学习优化器的训练效率，并且已经证明其能够泛化到未知的复杂任务。

Feb, 2023

学习优化

本篇论文探讨了通过强化学习的方法生成优化算法，该方法可自动发现更好的算法，并通过指导策略搜索学习出的优化算法在收敛速度和 / 或最终目标值方面优于手工设计的现有算法。

Jun, 2016

神经组合优化：领域的新玩家

本文对神经网络在传统组合优化框架中的性能、可迁移性、计算成本和对更大样本的普适性进行了详细研究，并在 NP-hard 问题线性排序问题上开发了神经组合优化模型。

May, 2022

深度学习优化：理论与算法

本文介绍了用于训练神经网络的优化算法、如何应对梯度消失等问题的解决方案、广义优化方法（如 SGD、自适应梯度方法和分布式方法）以及神经网络训练中的全局问题。

Dec, 2019

定性描述神经网络优化问题

本文通过分析，发现现代的神经网络足以直接用随机梯度下降算法实现庞大的非线性优化任务，并且能够克服局部最优解的困难。

Dec, 2014

基于训练过的神经网络的优化：放松行走

此研究提出了一种基于全局和局部线性松弛的可扩展启发式方法，用于对训练后的神经网络模型进行建模和求解，具有与最先进的整数线性规划（MILP）求解器和之前的启发式方法相竞争，并且在输入、深度和神经元数量增加时能够产生更好的解。

Jan, 2024

Few-shot 优化的广义强化元学习

提出了一种基于强化学习和元学习的框架来解决 few-shot learning 问题，通过稳定的损失函数来学习最佳的优化算法，从而实现了对参数的更新。实验结果表明该方法在准确率和 NDCG 指标上均超过了现有的替代方法，并且可扩展到网络结构搜索。

May, 2020