May, 2024

优化代理的紧凑优化验证

HTML
PDF
TL;DR近年来，对优化代理的兴趣日益增加，即近似参数优化问题的输入-输出映射并返回接近最优可行解的机器学习模型。该论文重新考虑了优化代理的最优性验证问题，即确定实例分布上最坏情况下的最优性差距。论文提出了一种紧凑的最优性验证和基于梯度的原始启发式方法，为原始公式带来了实质性的计算优势，而且这种紧凑的表达式也更加通用，适用于非凸优化问题。该紧凑的表达式的优势在大规模的直流最优功率流和背包问题上得到了证明。
发现论文，激发创造
  • 随机一阶方法用于凸约束优化和非凸约束优化

    本论文提出了Constraint Extrapolation和proximal point method两种方法来解决functional constrained optimization问题，分别针对convex和nonconvex problems，通过mathematical analysis得到具体的收敛率和收敛条件。

    Aug, 2019

  • 自动学习紧凑的质量感知代理，用于优化问题

    通过将优化问题表示为元变量的线性组合，我们学习了大规模优化问题的低维代理模型。通过端到端地训练低维代理模型和预测模型，我们实现了训练和推断时间的大幅减少，同时通过关注优化中的重要变量和在更平滑的空间中学习来提高性能。

    Jun, 2020

  • 有约束极小极大优化的复杂性

    本文通过分析优化问题的计算复杂性，阐明了一系列非凸非凹目标函数的约束极值优化问题存在的困难，同时证明了该问题在Nemirovsky-Yudin模型中的难度，这与最小化问题在同样设置下可以使用Projected Gradient Descent进行近似局部最小值的行为形成了对比。

    Sep, 2020

  • 多保真度多目标贝叶斯优化：一种输出空间熵搜索方法

    本文研究了多目标黑盒优化的新问题，通过以不同资源消耗和准确性变化的多重保真度函数评估来减少资源消耗，以近似真实的帕累托解集合。 提出了一个称为MF-OSEMO的新方法来解决这个问题，并在几个综合性和真实基准问题上进行实验，表明MF-OSEMO相对于单一忠实算法在多目标优化上有显著改进。

    Nov, 2020

  • 双锥代理的交流最优电力流

    本研究针对交流最优潮流问题进行了基于机器学习的优化代理方法的探索，通过凸松弛和新型双重架构提供有效的对偶上下界，同时结合自监督学习策略，实现了高效和可扩展性的优化。

    Oct, 2023

  • 大规模预防性安全约束的自监督学习直流最优潮流

    PDL-SCOPF是一种自我监督的端到端原始-对偶学习框架，用于以毫秒级生成大规模SCOPF问题的接近最优解。该框架旨在通过结合传统优化方法和机器学习，缩小大规模优化任务之间的差距。

    Nov, 2023

  • 双内点优化学习

    该研究引入了双内点学习（DIPL）和双超梯度学习（DSL），用于学习具有有界变量的参数线性规划的对偶可行解，这在许多行业中普遍存在。DIPL模拟了一种新颖的双内点算法，而DSL模拟了经典的对偶超梯度上升。DIPL和DSL通过预测与约束相关的对偶变量，然后利用约束的对偶灵活性来确保对偶可行性。DIPL和DSL通过提供质量证明来补充现有的主导学习方法。研究结果表明，它们能产生高保真度的对偶可行解，用于解决大规模的最优功率流问题，并在0.5%的最优性差距下提供有效的对偶界限。

    Feb, 2024

  • 具有PAC-Bayesian保证的学习优化：理论考虑和实践实现

    用PAC-Bayesian理论为学习优化问题提供了第一个具备可证估计以及收敛保证和收敛速度权衡的框架，学习出的优化算法在比起仅从最坏情况分析得出的算法上具备可证的优越性能，基于指数族的PAC-Bayesian上界对一般的、可能无界的损失函数提供了可行性，我们通过将学习过程转化为一维最小化问题并研究全局最小值的可能性，提供了一个具体算法实现和学习优化的新方法，并进行了四个实际相关的实验来支持我们的理论，展示出该学习框架使得优化算法的性能有了数个数量级的改进。

    Apr, 2024

  • 大规模最优潮流问题的可扩展精确验证

    该论文介绍了一种可扩展的算法，用于计算神经网络近似大型电力系统的最坏情况违规，并在合理的时间限制内构建对机器学习模型在大型工业规模电力网络中部署的信任。

    May, 2024

  • 政策梯度方法的强多项式时间和验证分析

    本研究解决了强化学习中缺乏最佳性原则度量的问题，通过发展一种简单可计算的间隙函数，提供了最佳性间隙的上下界。研究表明，基本的政策镜像下降法在确定性和随机性设置下表现出快速的无分布收敛，这一新结果有助于在强多项式时间内解决未正则化的马尔可夫决策过程，并在运行随机政策镜像下降时无需额外样本即可获得准确性估计。

    Sep, 2024