May, 2024

在优化中通过 LLM 辅助推理增强决策能力：神经网络视角

PDF
TL;DR本文探讨了在大规模多目标优化领域中，生成 AI（GenAI）和进化算法（EAs）的无缝集成。通过着眼于大型语言模型（LLMs）的变革性作用，我们的研究调查了 LLM 辅助推理在自动化和增强决策过程中的潜力。具体而言，我们突出了 LLM 在揭示进化优化解决方案中的关键决策变量和表述上下文权衡方面的有效性。我们的方法旨在解决在大规模推断复杂多目标优化解决方案中固有的挑战，强调 LLM 的适应性，使其能够提供细致入微的解释，并使其语言与不同利益相关者的专业水平和领域偏好保持一致。经验证明，LLM 辅助推理在实际决策场景中具有实际可应用性和影响力。
发现论文，激发创造
  • 大语言模型时代的进化计算：调查与路线图

    基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为 LLM 增强进化优化和 EA 增强 LLM 两个方面，并介绍了一些整合方法来论证在各种应用场景中 LLMs 与 EAs 的融合。这篇论文是围绕 LLMs 时代的 EA 研究的首个综合综述，为了解和利用 LLMs 与 EAs 之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。

    Jan, 2024

  • LLM 引导演化：模型升级的自动化

    通过利用大型语言模型的指导进化框架，研究证明了机器学习模型的自主进化和增强设计的潜力。

    Mar, 2024

  • 生成 AI 在循环中：将 LLM 和 GPT 集成到下一代网络

    通过将大型语言模型（LLMs）与机器学习（ML）模型相结合，我们提出了 “生成式 AI 在环” 的概念，利用 LLMs 的语义理解、上下文感知和推理能力来辅助人类处理移动通信网络中的复杂或意外情况，并通过合成数据来增强基于 ML 的网络入侵检测，这进一步展示出我们提出的想法的优势。

    Jun, 2024

  • 大规模语言模型的高效顺序决策

    本论文提出了一种新的方法，利用在线模型选择算法在序列决策中高效地整合 LLM 代理，统计上显著优于传统决策算法和普通 LLM 代理，计算上避免了 LLM 梯度更新的高昂代价，并且在整个决策过程中只需要少量 LLM 调用。

    Jun, 2024

  • 基于大型语言模型的进化优化器：精英主义推理

    该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

    Mar, 2024

  • 使用大型语言模型的算法演进

    利用大型语言模型进行算法进化，能够自动生成优化算法，减少人工专家和领域知识的需求，在解决推销员旅行问题方面表现优异，具有出色的可伸缩性，与先前的利用语言模型作为搜索操作符的尝试大不相同。

    Nov, 2023

  • 元启发式方法与大语言模型联手：走向一种综合优化方法

    该论文介绍了一种创新方法，利用 Large Language Models（LLMs）作为模式识别工具来改善元启发式算法，并通过在基于社交网络的组合优化问题中进行测试，证明了该混合方法在解决方案质量方面优于现有的结合机器学习和元启发式算法的最新方法。通过精心设计提示，我们证明了从 LLMs 获得的输出可以用作问题知识，从而提高了结果。最后，我们承认 LLMs 的潜在缺点和限制，并认为进一步研究这方面的研究需要对其进行检验。

    May, 2024

  • 朝向高效的生成式大型语言模型服务：从算法到系统的调研

    人工智能中生成式大型语言模型的高效部署方法的综述

    Dec, 2023

  • 一次互为胜佳的匹配：当大型语言模型遇上进化算法

    本文阐述了预训练的大型语言模型（LLMs）和进化算法（EAs）之间的强一致性，包括多个一对一的关键特性：记号嵌入和基因型 - 表现型映射，位置编码和适应度塑形，位置嵌入和选择，注意力和交叉，前馈神经网络和突变，模型训练和参数更新，以及多任务学习和多目标优化。在这一一致性视角下，分析了现有的耦合研究，包括进化微调和 LLM 增强型 EAs。借助这些见解，我们概述了未来将 LLMs 和 EAs 耦合的基本研究路线图，并强调了其中的关键挑战。这种一致性不仅揭示了 LLMs 背后的进化机制，还促进了接近或超越生物机构的发展的进化人工智能代理的发展。

    Jan, 2024

  • 自省提示：用于上下文决策的大型语言模型

    本研究利用自省式提示 (Introspective Tips) 促进了大型语言模型 (Large Language Models) 的自我优化，从学习过程中的经验、集成专家演示和跨越多种游戏等三种方面提高决策性能，却不调整 LMM 参数，结论在 TextWorld 超过 100 个游戏中都表现出优异的结果。

    May, 2023