该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

Mar, 2024

利用大型语言模型进行算法进化，能够自动生成优化算法，减少人工专家和领域知识的需求，在解决推销员旅行问题方面表现优异，具有出色的可伸缩性，与先前的利用语言模型作为搜索操作符的尝试大不相同。

Nov, 2023

本研究论文总结了最近学习型多目标进化算法在解决不同尺度多目标优化问题中的进展和挑战，并提供了四个有吸引力的方向，即用于环境选择的可学习进化鉴别器，用于繁殖的可学习进化生成器，用于函数评估的可学习进化评估器，以及用于共享或重复使用优化经验的可学习进化传输模块，作为这一领域的努力的参考。

Jun, 2022

大型语言模型（LLMs）具备黑箱优化任务的潜力，可以通过 least-to-most 排序的提示策略提供演化优化算法，称为 EvoLLM，从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明，通过对先前收集的教师优化轨迹进行指令微调，能够灵活地提高 EvoLLM 的性能。

Feb, 2024

基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为 LLM 增强进化优化和 EA 增强 LLM 两个方面，并介绍了一些整合方法来论证在各种应用场景中 LLMs 与 EAs 的融合。这篇论文是围绕 LLMs 时代的 EA 研究的首个综合综述，为了解和利用 LLMs 与 EAs 之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。

Jan, 2024

为了更好地帮助开源社区了解基于混合专家的大型语言模型，我们训练并发布了一系列完全开源和可复现的仅解码器类型的混合专家语言模型，参数范围从 650M 到 34B，训练语料超过 1T 个标记。我们的调查确认了基于混合专家的大型语言模型可以提供更有利的成本效益权衡，突出了未来大型语言模型发展的潜在有效性。该研究的另一个重要贡献是对我们 OpenMoE 模型中的路由机制进行深入分析，得出了三个重要发现：上下文无关专业化、早期路由学习和朝末尾丢弃。我们发现，混合专家模型中的路由决策主要基于标记 ID，与上下文相关性较小。标记对专家的分配在预训练阶段早期确定，并且在很大程度上保持不变。这种不完美的路由可能导致性能下降，尤其是在多轮对话等顺序任务中，较后出现的标记更有可能被丢弃。最后，我们根据上述观察和分析重新思考了设计。为了促进未来的混合专家语言模型发展，我们提出了减轻发现的问题并进一步改进现成混合专家语言模型设计的潜在策略。

Jan, 2024

本文提出了一个使用深度强化学习辅助的在线运算符选择框架，该框架能够提高约束多目标优化演化算法的性能。通过根据当前状态自适应选择最大化总体改善的运算符，改进了算法性能，并在 42 个基准问题上对四种常用的约束多目标优化演化算法进行了评估，实验结果显示这种方法显著提高了 CMOEA 的性能。

Jan, 2024

通过介绍新颖且可扩展的框架 LaRA-MoE，本研究通过大型语言模型在多模态学习方面的综合研究和实验，展示了在各种二维和三维下游任务中设计的开创性的 LoRA-MoE 解码器的有效性和多样性（提升约 20%），以及更多其他模态和任务的导入在性能上可能引起的负面冲突和干扰。

Nov, 2023

融入大型语言模型的进化算法为分子发现问题的优化提供了一个优越性能的解决方案，通过重新设计进化算法的交叉和变异操作，利用大型化学信息语言模型进行大规模的实证研究，在单目标和多目标环境中，对于性能优化、分子重发现和基于结构的药物设计等多个任务表现出优于基线模型的优越性能，提高了最终解的质量和收敛速度，同时减少了所需的目标评估次数。

Jun, 2024

我们提出了一种名为 InstOptima 的新方法，将指导生成作为一种进化多目标优化问题，并借助大型语言模型模拟指导操作符，通过引入一个目标引导机制来改进生成指导的质量，实验证明了改进的微调性能和生成一系列高质量指导的多样性。

Oct, 2023