LLMatic: 基于大型语言模型和质量多样性优化的神经架构搜索

Jun, 2023

LLMatic: 基于大型语言模型和质量多样性优化的神经架构搜索

LLMatic: Neural Architecture Search via Large Language Models and Quality-Diversity Optimization

Muhammad U. Nasir, Sam Earle, Julian Togelius, Steven James, Christopher Cleghorn

TL;DR本文介绍了如何将大型语言模型与品质多样性算法相结合进行代码生成，并使用 LLMatic 算法在 CIFAR-10 图像分类基准测试中展示了它可以在不需要先前知识的情况下生成性能良好的神经网络。

Abstract

large language models (LLMs) have emerged as powerful tools capable of accomplishing a broad spectrum of tasks. Their abilities span numerous areas, and one area where they have made a significant impact is in the domain of code generation. In this context, we view LLMs as mutation and

large language models code generation quality-diversity algorithms neural architecture search cifar-10

发现论文，激发创造

LLaMA-NAS：大规模语言模型高效神经架构搜索

提出了一种基于一次性 NAS 的高效方法，通过对 LLaMA2-7B 进行微调，并应用基于遗传算法的搜索方法找到更小、计算复杂度较低的网络架构，实现了模型大小减少和吞吐量加速，同时保持了准确性；此方法比修剪或稀疏化技术更有效和高效，并且证明了量化能够进一步减少网络的大小和复杂度，为自动创建适用于廉价、更易得到的硬件平台的大型语言模型提供了解决方案。

May, 2024

大型语言模型作为上下文人工智能生成器的优质多样性

通过利用生成模型的模式匹配能力，我们提出了 In-context QD 框架，通过将 QD 档案作为上下文，利用预训练的大型语言模型的上下文能力生成有趣的解决方案，在多个领域中展现出有希望的结果，并在 QD 搜索中取得了良好的效果。

Apr, 2024

复杂问答与语言模型的混合架构，调研

本文回顾了混合语言模型在复杂问答（QA，CQA，CPS）中架构和策略的最新进展，指出了提高 LLM 在处理背景知识、安全数据保护、解释性等方面的方法，并探讨了与复杂 QA 相关的挑战及当前解决方案和发展趋势。

Feb, 2023

将 LLM 和决策变压器相结合，实现语言操作的生成与多样共存

通过使用大型语言模型扩充轨迹的自然语言描述，我们提出了一种方法来解决质量 - 多样性问题，允许用户指定任意目标行为描述，并通过高层次的文本提示来塑造生成的轨迹。同时，我们还提出了一种基于大型语言模型的评估方法，并使用 2D 迷宫中的模拟机器人导航开发了一种基准测试用于实验验证。

Aug, 2023

关于资源受限硬件平台的神经架构搜索

提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

Oct, 2019

FL-NAS: 面向资源受限设备的 NAS 公平性技术发展：基于大型语言模型

通过考虑模型准确性、公平性和硬件部署效率，本文提出一种基于大型语言模型的神经架构搜索框架 FL-NAS，并通过实验证明，FL-NAS 在几乎所有设计考虑因素上都能找到高性能的深度神经网络，超越了现有技术成果。

Feb, 2024

大型语言模型探索多样化设计解决方案的能力

通过调整参数和不同的提示工程技术，探索大型语言模型在生成多样化设计方案方面的有效性，并通过比较多个参数和提示工程方法的组合，以及使用相同多样性指标与人工设计方案进行比较，结果表明人类生成的解决方案在所有设计主题上始终有更高的多样性评分。

May, 2024

LLMMaps -- 大型语言模型分层评估的可视化隐喻

提出了 LLMMaps 作为一种新的可视化技术来评估大型语言模型的性能，可以支持分层评估，来更好地评估 LLM 的风险并引导未来的发展。LLMMaps 可以将 Q&A 数据集以及 LLM 响应转换为内部知识结构进行详细分析，并允许多个 LLM 进行比较。

Apr, 2023

大语言模型时代的进化计算：调查与路线图

基于大型语言模型（LLMs）和进化算法（EAs）的优势和互补性，本文提出了一篇综合综述和展望性的论文，将它们的相互启示分为 LLM 增强进化优化和 EA 增强 LLM 两个方面，并介绍了一些整合方法来论证在各种应用场景中 LLMs 与 EAs 的融合。这篇论文是围绕 LLMs 时代的 EA 研究的首个综合综述，为了解和利用 LLMs 与 EAs 之间的协作潜力奠定了基础，并提供了挑战和未来方向的指导。

Jan, 2024

基于大型语言模型的进化优化器：精英主义推理

该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

Mar, 2024