OptiMUS 是一种基于大型语言模型（LLM）的代理程序，旨在从自然语言描述中解决（混合整数）线性规划问题。OptiMUS 能够开发数学模型，编写和调试求解器代码，评估生成的解决方案，并根据这些评估改进其模型和代码。在实验证明，对于简单数据集，OptiMUS 的性能超过现有最先进方法 20％以上，对于难以处理的数据集（包括本文随附的英文描述复杂、问题较长的数据集 NLP4LP），性能超过现有最先进方法 30％以上。

Feb, 2024

评估 LLM 在各种任务和数据大小上的优化能力，并引入了三个不同的指标来全面评估任务性能。通过应用这些指标，我们观察到 LLM 在处理小规模样本时表现出很强的优化能力，但其性能受到数据大小和值等因素的显著影响，强调了对 LLM 的优化任务领域进行进一步研究的重要性。

Oct, 2023

我们提出了一个针对大型语言模型的成本效益查询分配问题的框架，名为 OptLLM，通过使用多标签分类模型进行性能预测，生成一系列优化解决方案，旨在满足用户的预算限制和性能偏好，包括最大化准确性和最小化成本。OptLLM 在各种类型的任务上进行了广泛的实验，包括文本分类、问答、情感分析、推理和日志解析，实验证明 OptLLM 在降低成本 2.40% 至 49.18% 的同时实现与最佳大型语言模型相同的准确性，相比其他多目标优化算法，OptLLM 在相同成本下提高 2.94% 至 69.05% 的准确性或节省 8.79% 至 95.87% 的成本并保持最高可达准确性。

May, 2024

该研究论文探讨了大型语言模型在零样本优化方面的能力，介绍了一种基于语言模型的进化优化方法（LEO），并通过数值示例验证此假设的有效性。同时，论文还提出使用大型语言模型时需要小心处理其想象性和产生幻觉的特点，并给出了获取可靠答案的实用指南以及讨论了方法局限和潜在的研究方向。

Mar, 2024

通过训练开源的大型语言模型（LLMs）来处理自动化优化建模中的数据隐私问题，提出了定制化合成数据的半自动化过程（OR-Instruct），并在实际应用中实现了显著改进的优化建模能力。

May, 2024

传统的优化与调度方案往往只考虑固定的系统要求，而未来的系统将采用用户驱动的方法和个性化服务，致力于实现高质量体验和灵活性。本文首次提出了一种新颖的资源调度架构，通过构建三个大语言模型代理来将任意用户的语音请求转化为资源分配向量。通过针对电动汽车充电的典型语音请求进行测试，结果表明所提出的架构的高效性。

Jun, 2024

在本文中，我们研究了 Multimodal Small Language Models（MSLMs）的设计方面，并提出了一种高效的多模态助手 Mipha，旨在在视觉表示、语言模型和优化策略等各个方面产生协同效应。我们展示了在不增加训练数据量的情况下，我们的 Mipha-3B 在多个基准测试中表现优于最先进的大型 MLLMs，尤其是 LLaVA-1.5-13B。通过详细讨论，我们提供了开发强大的 MSLMs 以与 MLLMs 能力匹敌的见解和指南。

Mar, 2024

我们提出了一种名为 InstOptima 的新方法，将指导生成作为一种进化多目标优化问题，并借助大型语言模型模拟指导操作符，通过引入一个目标引导机制来改进生成指导的质量，实验证明了改进的微调性能和生成一系列高质量指导的多样性。

Oct, 2023

OptiChat 是基于 GPT-4 的自然语言系统，具有聊天机器人图形用户界面，可以通过互动对话提供关于无法实现的优化模型的自然语言描述，识别潜在的无法实现原因，并提供使模型可行的建议，实验证明 OptiChat 可以帮助专家和非专家用户改善对优化模型的理解，快速识别无法实现的原因。

Aug, 2023

为了最大化下游度量而没有模块级别的标签或梯度，我们研究了语言模型程序的提示优化，即如何更新这些提示。我们通过优化自由形式的指令和少样本演示来解决这个问题，并引入了几种策略来制定任务相关的指令和在模块之间导航学分分配。使用这些策略，我们开发了一个名为 MIPRO 的新型优化器，在使用最先进的开源模型（Llama-3-8B）的六个不同的语言模型程序中，准确率高达 12.9% 优于基线。我们将在此 URL 发布我们的新优化器和基准测试。

Jun, 2024