Jan, 2018

Rover 降落：通过在原型丢失平面上导航学习优化

PDF
TL;DR通过 Rover Descent 方法，我们提出了一种学习良好导航策略来优化局部表面的方法，它可以用最小的二维数据集训练学习，从而在高维空间中达到良好的优化状态，而且仅使用零阶信息和不需要梯度或曲率信息。
learning to optimizepolicy learningrover descentzero-order optimizationhigh dimensional optimization
发现论文，激发创造
  • 深度神经网络损失曲面优化的实证分析

    本文探讨了时下最先进神经网络的损失函数，以及常用随机梯度下降变体如何优化这些损失函数，探讨中发现每个优化算法在鞍点处会做出不同的选择，从而得出每个算法在鞍点处的特征选择假设。

    Dec, 2016

  • Learn2Hop: 通过学习在粗糙的景观上进行优化

    本文提出了一种基于元学习的优化算法，适用于包含许多局部最小值的非凸损失表面优化问题，并重点研究了结构优化问题中的表现，实现了高效的探索和改进低能量最小值的速率，并在新任务上获得了效率提升。

    Jul, 2021

  • 景观替代品：在部分信息下学习数学优化的决策损失

    通过使用可学习的景观代理（Landscape Surrogate）作为优化器的替代品，可以在学习集成优化中加速优化过程，提供相对稠密和平滑的梯度，在合成问题和真实世界问题中实现优化目标，同时降低对优化器的调用次数，并在计算复杂度高的高维问题上优于现有方法。

    Jul, 2023

  • 用梯度下降训练学无梯度下降的学习

    通过比较基于贝叶斯优化的算法，我们研究了在简单合成函数上训练的循环神经网络优化器的性能，发现这些训练后的优化器在不同的黑盒函数优化、超参数整定和全局优化基准测试中表现优异。

    Nov, 2016

  • 学习指导随机搜索

    研究无导数优化高维函数的方法，提出一种基于在线学习的方法，同时学习流形和优化函数，能够显著降低样本复杂性，经过实验证明有效性高于其他无导数优化算法。

    Apr, 2020

  • 预测与优化的对比损失和解决方案缓存

    本文提出了基于噪声对比法的伪损失函数方法和解决缓存方案的方法，以优化组合优化问题的预测和优化方法中的训练时间和准确性的平衡。实验证明，该方法在计算成本的一小部分之内即可与现有技术匹配。

    Nov, 2020

  • 理解和校正学习优化器训练中的病态

    通过对学习到的优化函数进行训练以执行特定任务，我们提出了一种训练方案，它可以比经过调整的一阶方法更快地训练卷积网络，并在测试损失上得到改进。

    Oct, 2018

  • 梯度下降优化在策略梯度方法中的实证分析：我的最优解去哪了？

    本论文研究不同的梯度下降优化方法对深度强化学习的影响，并发现适应性优化器有一个有效学习率的狭窄窗口，同时动量的有效性会因环境属性而异，为深度强化学习算法的优化提供了新的思路和建议。

    Oct, 2018

  • 引导策略搜索作为近似镜像下降

    该论文提出了一种新的指导策略搜索算法，将其解释为镜像下降的近似变体，并提供了改善收敛性的保证。实验结果表明，该算法在机器人导航和操作任务中的表现优于之前的指导策略搜索方法，并且具有更简单的公式和更少的超参数。

    Jul, 2016

  • 自动学习紧凑的质量感知代理，用于优化问题

    通过将优化问题表示为元变量的线性组合，我们学习了大规模优化问题的低维代理模型。通过端到端地训练低维代理模型和预测模型，我们实现了训练和推断时间的大幅减少，同时通过关注优化中的重要变量和在更平滑的空间中学习来提高性能。

    Jun, 2020