ICMLApr, 2024

基于 Transformer 的大规模多阶段随机优化的逐阶分解

PDF
TL;DR通过引入 TranSDDP，一种基于 Transformer 的分阶段分解算法，我们有效地为大规模多阶段随机规划问题生成了分段线性逼近，显著减少了计算时间同时保持解决方案的质量，从而标志着在处理大规模多阶段随机规划问题方面的一个有希望的进展。
multistage stochastic programmingstochastic dual dynamic programmingtransddptransformer-based stagewise decomposition algorithmpiecewise linear approximation
发现论文，激发创造
  • 凸多阶段随机优化的数值方法

    本文研究了在随机环境中涉及顺序决策的优化问题，主要集中于随机规划和随机最优控制建模方法，通过切割平面逼近和随机逼近类型的方法，有效解决了传统动态规划算法所面临的状态变量维度增加、计算复杂度指数级增长等问题，针对多阶段问题，提出了一种能够处理大量决策变量的切割平面方法。

    Mar, 2023

  • 两阶段 ML 引导的不确定性顺序决策规则

    在这篇论文中，介绍了一种名为 Two-Stage General Decision Rules (TS-GDR) 的新方法，通过使用深度递归神经网络来解决顺序决策问题，并应用于长期水热调度问题，显著提高了解决方案质量并大幅减少计算时间。

    May, 2024

  • 基于原始对偶框架的去中心化随机优化

    本文提出了一种基于原始 - 对偶框架的分布式优化算法，无需使用难以构建的双重随机混合矩阵，通过维护对偶变量来跟踪相邻节点之间的差异，使用这种方法构建的分布式算法比采用梯度跟踪的算法具有更好的性能。

    Dec, 2020

  • 弱耦合的马尔科夫决策问题的灵活分解算法

    本文提出了两种新的方法来分解和解决大型马尔可夫决策问题（MDPs），分别为部分解耦方法和完全解耦方法。这些方法可以用于发现最优策略或近似最优策略，并提供了一种有效的知识传递框架。

    Jan, 2013

  • 加速二阶段随机电力调度问题的学习整合 L 型双阶段随机电力调度问题

    该研究利用机器学习提出了增强型 Benders 分解算法，用于解决两阶段随机安全约束机组组合问题。通过创建更紧凑的限制条件和减小主问题的规模，以降低计算成本和内存使用量。相较于传统的多限制条件 Benders 分解算法，在多个测试系统上的仿真研究表明，该学习辅助的 Benders 分解算法在解决两阶段随机安全约束机组组合问题方面具有显著的效果。

    Nov, 2023

  • 使用连续张量分解的高维随机最优控制

    本文提出一种新的基于张量分解的动态规划算法，通过压缩高维函数并在其上直接执行动态规划计算，使其在具有低秩结构的问题实例中能够缓解维数灾难，并对最终的解提供任意精度的保证，同时可实现巨大的计算节省。

    Nov, 2016

  • 基于块随机化的随机近端梯度下降方法用于低秩张量分解

    本文提出了一种用于大规模张量分解的随机优化框架，结合了随机块坐标下降和随机近端梯度等算法，支持常用的约束和正则化，并给出了收敛性分析。

    Jan, 2019

  • 通过矩阵分解的视觉 Transformer 剪枝

    通过使用矩阵分解实现视觉转换器修剪，该论文进一步在保留重要特征的基础上，比较了多种矩阵分解方法，最终选择奇异值分解作为降维和计算复杂度减少的方法，通过与原准确率得分进行比较实现目标。

    Aug, 2023

  • 高阶张量的多尺度分析

    介绍了一种基于混合线性建模和子空间聚类技术的自适应、多尺度张量分解方法，旨在降低大型和多模态数据的维度和表示复杂度。该方法在多个真实张量信号的维数约简和分类问题中表现良好。

    Apr, 2017

  • 逃离鞍点 —— 基于在线随机梯度的张量分解

    本研究针对非凸函数的优化问题，通过分析其严格鞍点特性，提出了一种可有效优化的解法 —— 随机梯度下降法，并给出了其多项式迭代次数的局部最小值收敛保证以及应用于正交张量分解问题上的全局收敛保证。

    Mar, 2015