Apr, 2023

ES-Single 中展开计算图的低方差梯度估计

PDF
TL;DR提出了一种基于进化策略的算法 ES-Single 用于计算未展开的计算图中的梯度，其通过对元损失表面的平滑化克服了递归函数应用中出现的混沌，与最近提出的持久进化策略（PES）类似，ES-Single 是无偏的；相比 PES，ES-Single 更容易实现并且方差较低，而且其方差始终是常数，从而消除了将 ES 应用于长内部问题的关键障碍。实验表明 ES-Single 在各种任务上（包括合成基准、超参数优化、训练递归神经网络以及训练学习优化器）始终优于 PES。
发现论文，激发创造
  • 使用持续演化策略在展开计算图中进行无偏梯度估计

    介绍了一种名为 PES 的方法，它使用持续进化策略更新参数，解决了在许多场景下出现的高方差梯度、偏差、慢速更新和大内存使用等问题，该方法将计算图分成一系列截断的展开，并在每个展开后执行一次进化策略更新步骤，通过在整个展开序列中累积修正项来消除这些截断的偏差。在合成任务上，实验结果表明 PES 相对于几种其他梯度估计方法具有更好的表现，且仍适用于训练学习优化器和调整超参数。

    Dec, 2021

  • ES 不仅仅是传统有限差分近似器

    本研究说明了一种基于进化策略的深度强化学习方法可以通过优化全部群体的平均奖励来寻找具有鲁棒性的神经网络参数，这种鲁棒性在不同领域的应用中得到了证实。与传统的有限差分法相比，这种方法不仅可以使搜索空间不同，也可以寻找不同属性的网络。

    Dec, 2017

  • 使用进化策略和混合方法进行不可微监督学习

    该研究论文展示了演化策略在学习大型监督模型的非可微参数方面的优越性，尤其是当模型具有百万维参数时，该方法的竞争能力非常出色。这种方法允许瘦模型从第一步开始就可以训练，非常适合于大算力场景。

    Jun, 2019

  • 在线进化策略中的噪声重用

    本文提出了一种新的在线进化策略 —— 噪声 - 重复利用进化策略（NRES），并在多种应用中进行了实验。结果表明，相对于现有的自动微分和进化策略方法，NRES 在壁钟速度和总展开步数方面的收敛速度更快。

    Apr, 2023

  • 单次随机额外梯度方法的收敛性

    本文介绍了一种名为 Extra-Gradient 算法的方法，通过仅使用一个 oracle 调用每个迭代来代替额外的梯度步骤，是深度学习应用中极具潜力的方法，证明了它们在解决光滑、确定性问题的同时仍然保持了 O (1/t) 的收敛速度，并且还展示了单调确定性情况下单次、随机额外梯度方法的最后迭代仍具有局部收敛速度到解决非单调变分不等式问题的二阶充分条件。

    Aug, 2019

  • 具有增量式方差减少的随机组合梯度法

    本文提出了一种基于随机复合梯度法和增量方差缩减估计器的方法来最小化非凸函数的期望值和有限和，尽管丧失了复合梯度估计器的无偏性，但该方法达到了最佳已知一阶方法的复杂度，扩大了增量方差缩减方法在机器学习中的应用范围。

    Jun, 2019

  • 减少方差的随机复合优化的序列估计

    本文提出了一种渐进协同优化梯度算法的统一视角，通过推广 Nesterov 引入的估计序列概念，覆盖了随机梯度下降法，SAGA 和 SVRG 等方法，并提出了具有同样保证的新的算法，并推导了使这些算法抗击随机噪声的通用策略，最终证明了该视角有助于得到新的加速算法。

    May, 2019

  • 优化随机函数组合的无偏模拟

    本文介绍了一种用于解决随机函数组合的凸优化问题的无偏梯度仿真算法，并将其与两个方差减少算法相结合，得出该算法基于无偏梯度仿真展现出令人满意的收敛性能，最后为两个随机函数组合优化问题应用了该算法：最大化 Cox 部分似然模型和训练条件随机场。

    Nov, 2017

  • 随机非凸优化的混合随机梯度下降算法

    本文提出了使用混合随机估算器设计的混合随机梯度算法来解决非凸期望问题，该算法可以获得更好的复杂度，同时考虑不同的扩展，如使用自适应步长和不同的迭代方式。在使用两个非凸模型进行了多个数据集上的比较。

    May, 2019

  • 随机偏差减小梯度法

    本文提出一种新的随机优化原理，即使用 Blanchet 和 Glynn 的多级 Monte-Carlo 方法将任何最优随机梯度方法转换为 $x_*$ 的估计量，以此为基础获得了一种廉价且几乎无偏差的梯度估计器，可以应用于随机优化的多个领域，如随机优化，概率图形模型推理以及优化的机器学习等。

    Jun, 2021