Jul, 2019

Evolvability ES: 可扩展且直接的进化能力优化

PDF
TL;DR本文介绍一种名为 evolvability ES 的进化算法，旨在明确且有效地优化进化能力，即进一步适应能力。实验结果显示，与梯度基础的元学习算法相比，evolvability ES 表现良好，是研究深度神经网络中可进化表示潜力的新方向。
evolvabilityevolutionary algorithmoptimizationadaptationneural networks
发现论文，激发创造
  • 使用进化策略和混合方法进行不可微监督学习

    该研究论文展示了演化策略在学习大型监督模型的非可微参数方面的优越性，尤其是当模型具有百万维参数时，该方法的竞争能力非常出色。这种方法允许瘦模型从第一步开始就可以训练，非常适合于大算力场景。

    Jun, 2019

  • 演化策略作为可扩展替代强化学习的方案

    使用黑盒优化算法 —— 进化策略，替代流行的基于 MDP 的 RL 技术，通过 MuJoCo 和 Atari 上的实验表明，ES 是一种可行的解决策略，随着可用 CPU 数量的增加而呈线性规模，同时 ES 具有不变性、容差性以及无需强化学习概念的优越性。

    Mar, 2017

  • 可学习演化算法在可扩展多目标优化中的调查

    本研究论文总结了最近学习型多目标进化算法在解决不同尺度多目标优化问题中的进展和挑战，并提供了四个有吸引力的方向，即用于环境选择的可学习进化鉴别器，用于繁殖的可学习进化生成器，用于函数评估的可学习进化评估器，以及用于共享或重复使用优化经验的可学习进化传输模块，作为这一领域的努力的参考。

    Jun, 2022

  • ES 不仅仅是传统有限差分近似器

    本研究说明了一种基于进化策略的深度强化学习方法可以通过优化全部群体的平均奖励来寻找具有鲁棒性的神经网络参数，这种鲁棒性在不同领域的应用中得到了证实。与传统的有限差分法相比，这种方法不仅可以使搜索空间不同，也可以寻找不同属性的网络。

    Dec, 2017

  • 通过一组寻求新颖性智能体的群体改进演化策略在深度强化学习中的探索

    本文结合高效的进化策略算法（ES）、直接探索策略和进化智能技术，提出了一种新型快速可扩展的在深度强化学习任务中进行探索的算法，通过在 Atari 游戏和机器人学习领域的实验验证，提高了 ES 在稀疏或陷阱型的深度 RL 任务中的表现。

    Dec, 2017

  • ES-ENAS：大型混合搜索空间的高效演化优化

    本文介绍了用于优化黑盒函数的 Evolutionary Strategies 结合组合优化器的 ES-ENAS 算法，显著提高了采样效率并成功应用于强化学习架构搜索。

    Jan, 2021

  • 进化动态优化与机器学习

    这篇论文是关于进化计算、人工智能、进化机器学习、进化动态优化和机器学习之间互相结合的研究，旨在激发进化学习社区的兴趣并在该领域激发创新贡献。

    Oct, 2023

  • 演化策略：在混合量子 - 经典神经网络中的应用

    本 paper 研究了在量子机器学习中一种名为 Evolution Strategies 的黑盒优化算法，其对 QNNs 进行训练是一种可行的替代方法，但同时也存在梯度消失的问题，其表现强烈依赖于超参数的选择。

    May, 2022

  • 进化变换器：基于上下文的进化优化

    通过元优化的方式，引入一种能够灵活表征一系列进化策略的因果 Transformer 架构 ——Evolution Transformer，用于从数据中直接发现强大的优化原理。通过 Evolution Transformer，结合进化算法蒸馏技术进行模型权重训练，我们得到一个在特定上下文中表现良好且能够很好泛化到其他具有挑战性的神经进化任务的模型。此外，我们还分析了 Evolution Transformer 的属性，并提出了一种全自引用训练的技术，从随机初始化开始并引导其自身的学习进程。我们提供了一个开源实现，网址为 https://<URL>

    Mar, 2024

  • 演化无监督深度神经网络用于学习有意义的表示

    本文提出了一种用于进化无监督深度神经网络以高效学习有意义表示的计算经济算法，其在分类任务上获得了良好效果，并且适用于当前昂贵的大数据时代。

    Dec, 2017