通过 GPU 加速计算及发布基于 JAX 的 evosax 库支持的 30 种演化式算法及硬件优化，本文探究了深度学习和演化式优化间的结合，以进一步推动黑箱优化算法的发展。

Dec, 2022

EC-KitY 是一个用于进行 Python 进化计算的综合计算机库，支持流行的进化计算范例，包括遗传算法，遗传编程，共演进，进化多目标优化等，并可与 scikit-learn 兼容，本文简要概述了该包的主要特点与架构，并将其与其他库进行了比较。

Jul, 2022

该报告介绍了 Python 库 BaumEvA 的测试结果，该库实现了进化算法来优化各种类型的问题，包括伴随着对最佳模型架构的搜索的计算机视觉任务。测试的目的是评估方法的效果和可靠性，并确定它们在各个领域的适用性。测试过程中使用了各种测试函数和进化算法的参数，从而能够评估其在广泛条件下的性能。测试结果表明该库提供了解决优化问题的有效和可靠的方法。然而，在处理具有大维度问题的算法的计算资源和执行时间方面存在一些限制。报告中详细描述了所进行的测试、所得到的结果以及关于遗传算法在各种任务中的适用性的结论。还提供了选择算法参数和使用该库以取得最佳结果的建议。该报告对于涉及复杂计算系统的优化以及研究在科学和技术各个领域使用进化算法的可能性的研究人员和开发人员可能很有用。

Mar, 2024

本文提出了一种基于拓扑结构的变异操作的进化方法 OpEvo，用于高效地探索张量运算符的搜索空间，其能够自动优化设备代码配置，相对于最先进的方法，能够找到具有最低方差和最少试验次数的最佳配置。

Jun, 2020

通过元优化的方式，引入一种能够灵活表征一系列进化策略的因果 Transformer 架构 ——Evolution Transformer，用于从数据中直接发现强大的优化原理。通过 Evolution Transformer，结合进化算法蒸馏技术进行模型权重训练，我们得到一个在特定上下文中表现良好且能够很好泛化到其他具有挑战性的神经进化任务的模型。此外，我们还分析了 Evolution Transformer 的属性，并提出了一种全自引用训练的技术，从随机初始化开始并引导其自身的学习进程。我们提供了一个开源实现，网址为 https://<URL>

Mar, 2024

最近，深度学习社区对进化优化（EO）产生了兴趣，其作为解决难以优化问题的手段，例如，通过长内循环展开进行元学习或优化非可微分运算符。这一趋势的一个核心原因是硬件加速和兼容软件的最新创新 - 使得分布式种群评估比以前更容易。然而，与基于梯度下降的方法不同，对于 EO 方法，缺乏超参数理解和最佳实践 - 这可能是由于对 EO 方法进行严重的研究生下降和基准测试的缺乏所致。此外，进化社区的经典基准对深度学习应用提供很少实用的见解。这对于新来者加入到硬件加速 EO 以及阻碍了其显著采用造成了挑战。因此，我们建立了一个针对深度学习应用的 EO 方法新基准（NeuroEvoBench），并对传统和元学习 EO 进行了全面评估。我们研究了资源分配、适应度塑造、规范化、正则化和 EO 的可扩展性等核心科学问题。该基准在此 https URL 下以 Apache-2.0 许可证的形式开源。

Nov, 2023

GEVO-ML 是一个工具，用于自动发现 ML 内核的优化机会和性能调优，在多层中间表示（MLIR）中统一表示模型和训练 / 预测过程，使用多目标进化搜索来改进在 GPU 上运行的 MLIR 代码的性能，而保持所需功能。

Oct, 2023

本文介绍一种名为 evolvability ES 的进化算法，旨在明确且有效地优化进化能力，即进一步适应能力。实验结果显示，与梯度基础的元学习算法相比，evolvability ES 表现良好，是研究深度神经网络中可进化表示潜力的新方向。

Jul, 2019

本文介绍了基于 PyTorch 的不同 iable optimization 库 TorchOpt，TorchOpt 提供了一个统一和表达力强的不难 iable optimization 编程抽象，可以支持多个 CPU / GPU 上的高效分布式执行。

Nov, 2022

本文提出第一个针对软性机器人设计和控制的大规模 benchmark Evolution Gym，提出了结合了最新设计优化方法和深度强化学习技术的机器人 co-evolution algorithms。在 benchmark 上测试算法，观察到随着进化的进行，机器人表现出越来越复杂的行为和设计，其中最佳设计成功解决了许多任务，但所有经过测试的算法均未能找到在最难的环境中成功的机器人，这表明需要更高级的算法来探索高维度设计空间和进化越来越智能的机器人，期望 Evolution Gym 能加速该领域的进展。

Jan, 2022