经典机器学习通用优化:GENO
本论文研究了通过机器学习解决 NP 困难问题的可行性,指出了训练数据的易变性及其对模型的影响,并提出了改进的方法来适应这个问题。该方法被应用于非线性、非凸、离散组合问题的求解,取得了有效的结果。
Jun, 2021
通过使用基于超平面的决策树将非线性约束进行建模,并利用这些树构建原问题的统一混合整数优化(MIO)近似,本研究提出了扩展解决方案,包括使用其他可转化为 MIO 的机器学习模型(如梯度提升树、多层感知器和支持向量机)逼近原问题,提出自适应采样方法以获得更准确的基于机器学习的约束近似,利用鲁棒优化来考虑样本依赖性训练的不确定性,并利用一组松弛方法来处理最终的 MIO 近似的不可行性。然后我们在 81 个全局优化实例中测试了增强的框架,并展示了大多数实例中解的可行性和最优性的改进。我们还与 BARON 进行了比较,在 11 个实例中显示了更好的最优间隙或解决时间。
Nov, 2023
我们提出了一种基于机器学习和优化的方法来选择给定实例的求解器配置。通过使用一组求解实例和配置来学习求解器的性能函数,然后利用学习得到的信息构建一个混合整数非线性规划问题,在未知实例到达时解决该问题,以找到基于性能函数的最佳求解器配置。我们的方法的主要创新在于将配置集搜索问题定义为数学规划问题,这使得我们可以有效地通过现成的优化工具强制执行配置的依赖和兼容性约束,并高效地解决该问题。
Jan, 2024
本文提出了一种结合深度 Q 学习算法、定制奖励信号和异构图神经网络架构的通用学习过程,用于在约束编程求解器中获取值选择启发式,并在图着色、最大独立集和最大割问题上进行实验,表明该框架能够在通用的前提下,找到更接近最优解的更好解决方案,而无需大量回溯。
Jan, 2023
提出了一种基于成本的设计,选出给定机器学习任务的最佳梯度下降规划,通过优化算法和系统配置来支持机器学习的声明性框架,该框架将高层次和易于使用的语言中指定机器学习任务,实验结果表明提出的优化器不仅选择了最佳的梯度下降规划,还允许实现数倍的性能加速。
Mar, 2017
本文提出了一种基于可扩展序列注意力机制、归纳图神经网络和端到端可转移的深度强化学习方法,用于解决机器学习编译器生成高效机器代码时的图优化问题,并在多个图优化任务中取得显著性能提升。
Oct, 2020
通过机器学习技术将其整合进华为云的 OptVerse AI Solver,以解决真实世界数学规划实例的稀缺性,并超越传统优化技术的能力,本研究展示了生成复杂 SAT 和 MILP 实例的方法,利用生成模型来模拟真实世界问题的多方面结构。此外,我们还提出了采用增强策略的训练框架,以在动态环境中保持求解器的效用。除了数据生成和增强外,我们还提出了新颖的基于机器学习的策略,用于个性化求解器策略,重点是应用如图卷积网络进行初始基选择和强化学习进行高级预处理和剪切选择。此外,我们详细介绍了最先进的参数调整算法的整合,这显著提高了求解器的性能。与传统的求解器如 Gurobi 和 SCIP 相比,我们的 ML-augmented OptVerse AI Solver 在已建立的基准和真实场景中展示出更高的速度和准确性,这也强调了机器学习技术在数学规划求解器中的实际必要性和有效性。
Jan, 2024
本研究基于贝叶斯优化框架,建立高斯过程模型,通过前期实验获得的信息来优化机器学习算法的超参数调整,作者提出可以超过经验人类调参表现的自动算法,并介绍收集实验信息、利用多核心并行实验等新算法。
Jun, 2012