stochastic bilevel optimization | BriefGPT

关键词stochastic bilevel optimization

搜索结果 - 7

ICMLSPABA：一种单循环和概率性随机双层算法实现最优样本复杂度
我们的主要结果解决了一个开放问题：在机器学习中解决双层优化问题时，通过对非凸优化的一个适应性方法进行改进，SPABA 在有限和期望设置下都能达到最优样本复杂度，并证明了随机双层优化和单层优化在复杂度分析上不存在差距。此外，我们还提出了几种其
PDFa month ago
黎曼流形上的双层优化框架
提出了一个在黎曼流形上求解双层优化问题的框架，研究了超梯度估计策略，分析了算法的收敛性和复杂度，扩展了到随机双层优化和一般回退的应用。
PDF5 months ago
图上分布式双层优化：无环算法更新和瞬态迭代复杂度
通过引入单循环去中心化的 SBO（D-SOBA）算法，并建立其瞬态迭代复杂度，本文首次澄清了网络拓扑和数据异质性对去中心化双层算法的联合影响。与现有方法相比，D-SOBA 算法在更宽松的假设条件下实现了与现有方法相比最先进的渐近速率、渐近梯
PDF5 months ago
无投影方法用于具有凸下层问题的随机简单双层优化
我们研究了一类随机二级优化问题，引入了一种新颖的随机二级优化方法，通过随机切割平面局部逼近下层问题的解集，并运行带有方差减少技术的条件梯度更新来控制由于使用随机梯度引起的误差。在上层函数为凸函数的情况下，我们的方法需要最多 $\tilde
PDFa year ago
松弛平滑条件下随机双层优化的最优算法
本文提出了一种新的完全单循环和免除海森矩阵的算法框架，用于随机双层优化，并在标准光滑性假设下提出了更紧密的分析，进而展示了算法的普遍性。
PDFa year ago
MM机器学习中的双层优化：算法设计与收敛分析
本篇论文提供了多方面的双层优化算法收敛速度分析，包括问题和算法两个方面，提出了更加高效可扩展的算法设计，并最终提出了新的随机双层优化算法降低了实践中的复杂度并提高其效率。
PDF3 years ago
一种用于随机双层优化的单时间尺度方法
本论文提出了一种单时间尺度的随机双层最优化算法 (STABLE)，用于解决机器学习中的双层次优化问题，具有较高的效率和样本复杂度。
PDF3 years ago