基础模型在黑盒优化中的应用：优势、挑战和未来发展方向

ICMLMay, 2024

基础模型在黑盒优化中的应用：优势、挑战和未来发展方向

Position Paper: Leveraging Foundational Models for Black-Box Optimization: Benefits, Challenges, and Future Directions

Xingyou Song, Yingtao Tian, Robert Tjarko Lange, Chansoo Lee, Yujin Tang...

TL;DR庞大的语言模型 (Large Language Models) 已经在机器学习研究领域引发了一股创新浪潮，在强化学习、机器人学和计算机视觉等多个领域产生了实质性影响。然而，基于黑箱优化的实验设计领域受到的这种范式转变影响较小，尽管将 LLM 与优化相结合呈现出一个独特而广泛的探索空间。本文呈现了关于基于序列的基础模型构成黑箱优化领域的框架，并组织了这些模型与先前文献的关系。我们讨论了基础语言模型能够革新优化的最有前景的方式，包括利用自由文本中蕴含的大量信息来丰富任务理解、利用高度灵活的序列模型例如 Transformers 来设计出更优的优化策略，并提高对以前未见的搜索空间的性能预测。

Abstract

Undeniably, large language models (LLMs) have stirred an extraordinary wave of innovation in the machine learning research domain, resulting in substantial impact across diverse fields such as reinforcement learning, robotics, and computer vision. Their incorporation has been rapid and

large language models experimental design black-box optimization sequence-based foundation models transformers

发现论文，激发创造

基于大型语言模型的进化优化器：精英主义推理

该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

Mar, 2024

大型语言模型作为进化策略

大型语言模型（LLMs）具备黑箱优化任务的潜力，可以通过 least-to-most 排序的提示策略提供演化优化算法，称为 EvoLLM，从而在合成 BBOB 函数和小规模神经进化任务上稳定优于传统算法。并通过对 LLM 的模型规模、提示策略和上下文构建的比较研究表明，通过对先前收集的教师优化轨迹进行指令微调，能够灵活地提高 EvoLLM 的性能。

Feb, 2024

探索大型语言模型的领域、技术与挑战

对于大型语言模型（LLMs）的研究，包括基本原理、应用领域以及训练过程，本综述论文对于上下文学习、多种微调方法以及参数使用效率优化等机制进行探讨，同时深入研究了如何通过创新的强化学习框架和融入人类反馈的新方法来更好地与人类偏好相统一的问题。还研究了将外部知识融入 LLMs 的新兴技术 —— 检索增强生成。对于 LLMs 的伦理问题，论文讨论了需谨慎且负责任的应用需求。最后，论文展望了未来的研究方向，提供了关于当今及未来 LLMs 领域中不断发展的全面且简明的概述，为人工智能领域的研究人员和实践者提供了有益的指南。

Apr, 2024

利用大型语言模型进行超参数优化

使用大型语言模型（LLMs）在超参数优化（HPO）期间进行决策，在有限搜索预算的情况下，通过实证评估发现，LLMs 在标准基准测试上可以表现与传统 HPO 方法（如随机搜索和贝叶斯优化）相当甚至更好。此外，我们提出将定义模型的代码作为超参数进行处理，LLMs 输出该超参数，超越了现有 HPO 方法的能力。我们的研究结果表明，LLMs 是提高传统超参数优化中效率的一种有前景的工具。

Dec, 2023

供应链优化的大型语言模型

通过 Large Language Models（LLMs）的最新进展，研究如何将这一颠覆性技术应用于供应链自动化，并解决人类理解和信任之间的间隙。设计了一个名为 ame {} 的框架，通过输入纯文本查询并输出有关底层优化结果的见解。同时，我们开发了一个通用的评估基准，用于评估 LLM 在其他情景中的准确性。

Jul, 2023

语言模型作为视觉 - 语言模型的黑盒优化器

通过自然语言提示，我们提出了一种新颖的视觉语言模型微调方法，利用基于对话的大型语言模型作为黑盒优化器，在少样本图像分类任务中通过对话过程中的文本反馈，自动搜索最佳文本提示，从而避免了对模型参数、特征嵌入或输出标签的访问。

Sep, 2023

面向优化的大型语言模型

评估 LLM 在各种任务和数据大小上的优化能力，并引入了三个不同的指标来全面评估任务性能。通过应用这些指标，我们观察到 LLM 在处理小规模样本时表现出很强的优化能力，但其性能受到数据大小和值等因素的显著影响，强调了对 LLM 的优化任务领域进行进一步研究的重要性。

Oct, 2023

大型语言模型用于科学研究的跨学科视角

大型语言模型 (LLMs) 能够在不同学科领域发挥作用和限制，加强科学研究，例如通过总结大量出版物加速文献回顾，通过自动语法纠正提升代码开发，和优化科学写作过程。然而，LLMs 面临挑战，如依赖庞大且有时偏颇的数据集，以及出于使用而引发的潜在伦理困境。我们对 LLMs 在不同领域的影响进行重要讨论，从自然科学中帮助模拟复杂生物序列，到社会科学中解析大规模的定性数据。最后，我们提供一种细致的观点，认为 LLMs 既是科学进步的福音，也是其边界。

Nov, 2023

由学徒到研究助理：大型语言模型推动研究

通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

Apr, 2024

利用强化学习和大型语言模型进行代码优化

提出了一种建立在大型语言模型和强化学习基础上的框架，用于减少代码优化的复杂性并提供更高的效率和可靠性。

Dec, 2023