进化变换器：基于上下文的进化优化

Mar, 2024

进化变换器：基于上下文的进化优化

Evolution Transformer: In-Context Evolutionary Optimization

Robert Tjarko Lange, Yingtao Tian, Yujin Tang

TL;DR通过元优化的方式，引入一种能够灵活表征一系列进化策略的因果 Transformer 架构 ——Evolution Transformer，用于从数据中直接发现强大的优化原理。通过 Evolution Transformer，结合进化算法蒸馏技术进行模型权重训练，我们得到一个在特定上下文中表现良好且能够很好泛化到其他具有挑战性的神经进化任务的模型。此外，我们还分析了 Evolution Transformer 的属性，并提出了一种全自引用训练的技术，从随机初始化开始并引导其自身的学习进程。我们提供了一个开源实现，网址为 https://<URL>

Abstract

evolutionary optimization algorithms are often derived from loose biological analogies and struggle to leverage information obtained during the sequential course of optimization. An alternative promising approach is to leverage data and directly discover powerful optimization principle

evolutionary optimization algorithms evolution transformer causal transformer architecture evolution strategies evolutionary algorithm distillation

发现论文，激发创造

进化 Transformer

本研究旨在使用神经架构搜索技术应用于 Transformer 结构中，通过进化架构搜索技术，探索发现了性能更好的替代模型 Evolved Transformer，该模型不仅在 WMT 2014 英德翻译任务上取得了新的性能最优结果，且在模型容量更小的情况下性能优于原始模型。

Jan, 2019

通过元黑盒优化发现进化策略

该研究采用元学习来探寻对进化策略更有效的更新规则，并通过自我关注机制加以参数化，其结果显示新进化策略推广到未知的优化问题、种群大小和优化目标上表现出良好的性能。研究结果还表明，所学习的进化策略可以在监督学习和连续控制任务中优于传统的神经进化算法。

Nov, 2022

大型语言模型作为进化策略

大型语言模型（LLMs）具备黑箱优化任务的潜力，可以通过 least-to-most 排序的提示策略提供演化优化算法，称为 EvoLLM，从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明，通过对先前收集的教师优化轨迹进行指令微调，能够灵活地提高 EvoLLM 的性能。

Feb, 2024

知识追踪中基于进化的 Transformer 神经架构搜索

本研究旨在通过使用卷积操作增强 Transformer 的局部上下文建模能力，提出一种进化神经架构搜索方法来自动选择输入特征，并自动确定何时应用哪种操作以实现局部 / 全局上下文建模的平衡，实验结果表明该方法能有效地找到最优体系结构。

Oct, 2023

自动图拓扑感知变形器

本研究提出了一种进化图变换器架构搜索框架（EGTAS），以自动化构建强大的图变换器。EGTAS 在宏观层面上演化图变换器的拓扑结构，在微观层面上演化图感知策略，并提出了基于通用编码的替代模型，以直接预测图变换器的性能，在降低演化搜索评估成本的同时构建与手动和自动基准相媲美的高性能架构。

May, 2024

演化深度卷积神经网络用于图像分类

本文提出了一种利用遗传算法优化深度卷积神经网络结构和连接权重初始化的图像分类算法，该算法利用一个高效的可变长度基因编码策略和新的表示方案初始化深度卷积神经网络的连接权重，并提出了一种新的适应度评估方法，实现了在少量计算资源下的快速启发式搜索，与其他 22 个现有算法相比在九个广泛应用于图像分类的任务中表现明显优越。

Oct, 2017

自然进化策略作为随机变分推断的黑箱估计器

基于鲁棒性自然演化策略的替代估计器用于克服变分自编码器框架中的设计选择限制，实现在大型数据集上高效执行贝叶斯推理并创建不同类型的模型。

Aug, 2023

evosax: 基于 JAX 的进化策略

通过 GPU 加速计算及发布基于 JAX 的 evosax 库支持的 30 种演化式算法及硬件优化，本文探究了深度学习和演化式优化间的结合，以进一步推动黑箱优化算法的发展。

Dec, 2022

使用转移学习的多目标进化剪枝深度神经网络以提高其性能和鲁棒性

提出一种名为 MO-EvoPruneDeepTL 的多目标进化修剪算法，利用转移学习将深度神经网络的最后层替换为稀疏层，通过性能、复杂度和稳健性引导演化，实验结果表明该算法在所有目标方面都取得了有前途的结果，且网络修剪带来的影响有助于解释输入图像对于修剪神经网络预测最为相关的部分。最后通过利用不同修剪模型的集合显示整体性能和鲁棒性的提高。

Feb, 2023

不断发展的评估器 (EV3): 为知识蒸馏的灵活可靠元优化而努力

我们介绍了一种名为 EV3 的新型元优化框架，通过直观的探索 - 评估 - 调整协议来高效训练可扩展的机器学习模型。利用 EV3，我们在每次迭代中探索各种模型参数更新，使用相关评估方法对其进行评估，并根据最佳更新和以前的进展历史来调整模型，从而提供了相当的灵活性，无需对感兴趣的关键目标施加严格的约束条件。此外，该协议欢迎具有有偏梯度的更新，并允许使用各种损失函数和优化器。我们将 EV3 应用于知识蒸馏，其实验结果显示了 EV3 在安全探索模型空间方面的能力，并暗示了由于其固有的灵活性和适应性，它在许多领域中的潜在适用性。

Oct, 2023