通过 GPU 加速计算及发布基于 JAX 的 evosax 库支持的 30 种演化式算法及硬件优化，本文探究了深度学习和演化式优化间的结合，以进一步推动黑箱优化算法的发展。

Dec, 2022

最近，深度学习社区对进化优化（EO）产生了兴趣，其作为解决难以优化问题的手段，例如，通过长内循环展开进行元学习或优化非可微分运算符。这一趋势的一个核心原因是硬件加速和兼容软件的最新创新 - 使得分布式种群评估比以前更容易。然而，与基于梯度下降的方法不同，对于 EO 方法，缺乏超参数理解和最佳实践 - 这可能是由于对 EO 方法进行严重的研究生下降和基准测试的缺乏所致。此外，进化社区的经典基准对深度学习应用提供很少实用的见解。这对于新来者加入到硬件加速 EO 以及阻碍了其显著采用造成了挑战。因此，我们建立了一个针对深度学习应用的 EO 方法新基准（NeuroEvoBench），并对传统和元学习 EO 进行了全面评估。我们研究了资源分配、适应度塑造、规范化、正则化和 EO 的可扩展性等核心科学问题。该基准在此 https URL 下以 Apache-2.0 许可证的形式开源。

Nov, 2023

通过元优化的方式，引入一种能够灵活表征一系列进化策略的因果 Transformer 架构 ——Evolution Transformer，用于从数据中直接发现强大的优化原理。通过 Evolution Transformer，结合进化算法蒸馏技术进行模型权重训练，我们得到一个在特定上下文中表现良好且能够很好泛化到其他具有挑战性的神经进化任务的模型。此外，我们还分析了 Evolution Transformer 的属性，并提出了一种全自引用训练的技术，从随机初始化开始并引导其自身的学习进程。我们提供了一个开源实现，网址为 https://<URL>

Mar, 2024

GEVO-ML 是一个工具，用于自动发现 ML 内核的优化机会和性能调优，在多层中间表示（MLIR）中统一表示模型和训练 / 预测过程，使用多目标进化搜索来改进在 GPU 上运行的 MLIR 代码的性能，而保持所需功能。

Oct, 2023

EvoTorch 是基于 PyTorch 的一种演化计算库，提供高纬度最优化问题、GPU 支持和高并行性能。

Feb, 2023

提出一种名为 MO-EvoPruneDeepTL 的多目标进化修剪算法，利用转移学习将深度神经网络的最后层替换为稀疏层，通过性能、复杂度和稳健性引导演化，实验结果表明该算法在所有目标方面都取得了有前途的结果，且网络修剪带来的影响有助于解释输入图像对于修剪神经网络预测最为相关的部分。最后通过利用不同修剪模型的集合显示整体性能和鲁棒性的提高。

Feb, 2023

本论文提出了一种新的多目标优化方法，用于在实际应用中演进最先进的卷积神经网络，以自动演进 Pareto 前沿的非支配解，并使用多个 GPU 和机器并行运行并发实验，实验结果表明所提出的算法可以找到清晰的 Pareto 前沿。

Mar, 2019

我们提出了一种新颖的嵌入更新机制 SEvo，用于推荐系统中，以鼓励相关节点在每一步演进时相似，理论分析了 SEvo 及其变体的收敛性，并展示了其能够在现有优化器中无缝集成，提供了有效利用图形结构信息的技术途径。

Sep, 2023

本文介绍了两种新方法，通过直接在训练时间上实现正则化和使用部分训练来尽早评估个体架构，有效地减少了复杂性和训练时间，从而生产出有效地 CNN 拓扑结构，提高图像识别准确率，开销减少达 20%。这两种方法均经 CIFAR10 基准数据集验证以及保持准确度。

Feb, 2021

evoML 是一个 AI 助力的工具，可以提供机器学习模型开发、优化、以及代码优化的自动化功能，其核心功能包括数据清理、探索式分析、特征分析和生成、模型优化、模型评估、模型代码优化和模型部署，并且将代码和模型优化嵌入模型开发过程。

Dec, 2022