EvoTorch 是基于 PyTorch 的一种演化计算库，提供高纬度最优化问题、GPU 支持和高并行性能。

Feb, 2023

本文提出了一种基于拓扑结构的变异操作的进化方法 OpEvo，用于高效地探索张量运算符的搜索空间，其能够自动优化设备代码配置，相对于最先进的方法，能够找到具有最低方差和最少试验次数的最佳配置。

Jun, 2020

最近，深度学习社区对进化优化（EO）产生了兴趣，其作为解决难以优化问题的手段，例如，通过长内循环展开进行元学习或优化非可微分运算符。这一趋势的一个核心原因是硬件加速和兼容软件的最新创新 - 使得分布式种群评估比以前更容易。然而，与基于梯度下降的方法不同，对于 EO 方法，缺乏超参数理解和最佳实践 - 这可能是由于对 EO 方法进行严重的研究生下降和基准测试的缺乏所致。此外，进化社区的经典基准对深度学习应用提供很少实用的见解。这对于新来者加入到硬件加速 EO 以及阻碍了其显著采用造成了挑战。因此，我们建立了一个针对深度学习应用的 EO 方法新基准（NeuroEvoBench），并对传统和元学习 EO 进行了全面评估。我们研究了资源分配、适应度塑造、规范化、正则化和 EO 的可扩展性等核心科学问题。该基准在此 https URL 下以 Apache-2.0 许可证的形式开源。

Nov, 2023

通过元优化的方式，引入一种能够灵活表征一系列进化策略的因果 Transformer 架构 ——Evolution Transformer，用于从数据中直接发现强大的优化原理。通过 Evolution Transformer，结合进化算法蒸馏技术进行模型权重训练，我们得到一个在特定上下文中表现良好且能够很好泛化到其他具有挑战性的神经进化任务的模型。此外，我们还分析了 Evolution Transformer 的属性，并提出了一种全自引用训练的技术，从随机初始化开始并引导其自身的学习进程。我们提供了一个开源实现，网址为 https://<URL>

Mar, 2024

GEVO-ML 是一个工具，用于自动发现 ML 内核的优化机会和性能调优，在多层中间表示（MLIR）中统一表示模型和训练 / 预测过程，使用多目标进化搜索来改进在 GPU 上运行的 MLIR 代码的性能，而保持所需功能。

Oct, 2023

QDax 是一个开源库，具有简化且模块化的 API，用于 Quality-Diversity (QD) 优化算法在 Jax 中。该库可用于各种优化目的，从黑盒优化到连续控制。QDax 提供了流行的 QD、神经进化和增强学习算法的实现，支持各种示例。所有这些实现都可以使用 Jax 进行即时编译，以便在多个加速器（包括 GPU 和 TPU）上进行高效执行。这些实现有效地展示了该框架的灵活性和用户友好性，为研究目的简化了实验。此外，该库有详细的文档，并通过测试覆盖率达到 95%。

Aug, 2023

本研究提出了一种分布式进化元学习策略，使用 Tensor Processing Units（TPUs）进行高度并行的计算，处理大规模任务的性能得到了提升，使用进化策略在 Omniglot 数据集上训练的 Prototype Network 在 5-shot 分类问题上实现了 98.4％的准确率，并在效率和准确性之间取得了良好的平衡。

Jan, 2022

该研究论文展示了演化策略在学习大型监督模型的非可微参数方面的优越性，尤其是当模型具有百万维参数时，该方法的竞争能力非常出色。这种方法允许瘦模型从第一步开始就可以训练，非常适合于大算力场景。

Jun, 2019

设计一种可学习的进化算法（LEA）来实现从手工设计的优化策略到学习的优化策略的转变，能够高效地利用目标任务的低保真信息来形成优化策略，以更少的计算成本获得更好的解决方案。

Apr, 2023

该论文提出了一种通用的异步评估策略 (AES)，并将其适应于 Evolutionary neural architecture search (ENAS)，通过维护一个队列，以便在工人进行评估后尽快进入下一代，从而提高了吞吐量，并在多个问题中观察到了多倍性能改善。

Aug, 2023