Jan, 2024

OptVerse AI 求解器机器学习内部：设计原则和应用

PDF
TL;DR通过机器学习技术将其整合进华为云的 OptVerse AI Solver，以解决真实世界数学规划实例的稀缺性，并超越传统优化技术的能力，本研究展示了生成复杂 SAT 和 MILP 实例的方法，利用生成模型来模拟真实世界问题的多方面结构。此外，我们还提出了采用增强策略的训练框架，以在动态环境中保持求解器的效用。除了数据生成和增强外，我们还提出了新颖的基于机器学习的策略，用于个性化求解器策略，重点是应用如图卷积网络进行初始基选择和强化学习进行高级预处理和剪切选择。此外，我们详细介绍了最先进的参数调整算法的整合，这显著提高了求解器的性能。与传统的求解器如 Gurobi 和 SCIP 相比，我们的 ML-augmented OptVerse AI Solver 在已建立的基准和真实场景中展示出更高的速度和准确性，这也强调了机器学习技术在数学规划求解器中的实际必要性和有效性。
发现论文，激发创造
  • 增强式人工智能迭代求解器用于加速大规模参数化系统的解决方案

    该论文基于最新的机器学习工具，提供了一种定制的迭代求解器，结合代数多重网格方法和 proper orthogonal decomposition（POD-2G），能够在任意所需精度下，求解大规模参数化问题中的线性方程系统。

    Jul, 2022

  • 学习针对线性规划的改写

    该研究使用深度强化学习方法提出了一个新的线性规划模型，该模型能够有效地减少求解时间和迭代次数，优化了现有的线性规划求解器的性能。

    Jan, 2022

  • 学习困难优化问题：数据生成的视角

    本论文研究了通过机器学习解决 NP 困难问题的可行性，指出了训练数据的易变性及其对模型的影响，并提出了改进的方法来适应这个问题。该方法被应用于非线性、非凸、离散组合问题的求解，取得了有效的结果。

    Jun, 2021

  • 端到端的约束优化学习：综述

    本文从最近使用机器学习来解决约束优化问题的尝试入手，重点调查了将组合求解器和优化方法与机器学习架构集成的工作。这些方法有望开发新的混合机器学习和优化方法，以快速预测组合问题的近似解并启用结构逻辑推理。本文概述了这一新兴领域的最新进展。

    Mar, 2021

  • 一种基于学习的数学规划公式用于自动配置优化求解器

    我们提出了一种基于机器学习和优化的方法来选择给定实例的求解器配置。通过使用一组求解实例和配置来学习求解器的性能函数，然后利用学习得到的信息构建一个混合整数非线性规划问题，在未知实例到达时解决该问题，以找到基于性能函数的最佳求解器配置。我们的方法的主要创新在于将配置集搜索问题定义为数学规划问题，这使得我们可以有效地通过现成的优化工具强制执行配置的依赖和兼容性约束，并高效地解决该问题。

    Jan, 2024

  • OptiMUS: 可扩展的使用 (MI) LP 求解器和大型语言模型的优化建模

    OptiMUS 是一种基于大型语言模型（LLM）的代理程序，旨在从自然语言描述中解决（混合整数）线性规划问题。OptiMUS 能够开发数学模型，编写和调试求解器代码，评估生成的解决方案，并根据这些评估改进其模型和代码。在实验证明，对于简单数据集，OptiMUS 的性能超过现有最先进方法 20％以上，对于难以处理的数据集（包括本文随附的英文描述复杂、问题较长的数据集 NLP4LP），性能超过现有最先进方法 30％以上。

    Feb, 2024

  • 通过敌对实例增强促进精确求解器的泛化能力

    通过对混合整数线性规划问题应用机器学习，我们提出了一种新方法 AdaSolver，通过实例增强来改善分支定界求解器的泛化效果，从而显著提高效率。

    Oct, 2023

  • 全局优化：机器学习方法

    通过使用基于超平面的决策树将非线性约束进行建模，并利用这些树构建原问题的统一混合整数优化（MIO）近似，本研究提出了扩展解决方案，包括使用其他可转化为 MIO 的机器学习模型（如梯度提升树、多层感知器和支持向量机）逼近原问题，提出自适应采样方法以获得更准确的基于机器学习的约束近似，利用鲁棒优化来考虑样本依赖性训练的不确定性，并利用一组松弛方法来处理最终的 MIO 近似的不可行性。然后我们在 81 个全局优化实例中测试了增强的框架，并展示了大多数实例中解的可行性和最优性的改进。我们还与 BARON 进行了比较，在 11 个实例中显示了更好的最优间隙或解决时间。

    Nov, 2023

  • OptiMUS: 利用 MIP 求解器和大型语言模型的优化建模

    OptiMUS 是一个基于 LLM 的代理，能够通过自然语言描述来制定和解决 MILP 问题，同时具备开发数学模型、编写和调试求解器代码、开发测试并检查生成的解的有效性的能力。通过与基本 LLM 提示策略的比较，我们的实验表明，OptiMUS 能够解决比基本策略多 67％的问题。

    Oct, 2023

  • 通过机器学习支持的多物理仿真优化改进

    这篇论文介绍了一种用于训练、自我优化和自我组织的代理模型方法论框架，用于逼近和加速多物理模拟，通过与两种优化算法和一种综合评估策略的结合训练和优化管道的性能评估，实验证明了代理模型能够准确逼近基础模拟，并使用可解释的 AI 技术分析代理模型并进行预选择策略以确定真实示例中最相关的特征。

    Sep, 2023