first-order algorithms | BriefGPT

关键词first-order algorithms

搜索结果 - 5

ScaleBiO: 面向 LLM 数据重新加权的可扩展的双层优化
本研究提出了第一种可扩展实例，称为 ScaleBiO，通过与一种称为 LISA 的新型算法相结合，使软件在八个 A40 GPU 上扩展到 34 亿参数的大型语言模型（LLM），标志着在实际应用场景中首次成功应用双层优化于大型 LLM。从实证
PDF8 days ago
非凸双层优化与一阶随机逼近的惩罚方法
本文主要研究双层优化的一阶算法，目标函数在两个层次上都是光滑但可能非凸的，变量限制在闭凸集合中。首先通过罚函数方法，研究了双层优化的景观，并建立了罚函数与超目标之间的强连接。接着，提出了一阶算法来优化罚函数，以找到一个 ε- 稳定解。在满足
PDF10 months ago
INVEX 程序：一阶算法及其收敛性
我们提出了一种新的一阶算法来解决一般类别的 Invex 问题。我们确定了算法收敛的充分条件并给出了收敛速度。此外，我们还提供了一种针对约束 Invex 问题的新型投影梯度方法，并提供了收敛速度保证。我们将我们的结果与现有的一阶算法进行了比较
PDFa year ago
关于鞍点问题的更低迭代复杂度下界
本文研究了纯一阶方法或者使用投影算子的方法找到强凸强凹鞍点问题的下降迭代复杂度下界，给出了特定参数范围下的最优算法和二次耦合问题的下降迭代复杂度下界和已有完美算法
PDF5 years ago
平滑凸函数极小化的一阶方法性能：一种新方法
本文介绍了一种新颖的方法，用于分析第一阶段黑盒优化方法的性能，着重于欧几里得空间 Rd 上的平滑无约束凸最小化，研究了两类一阶方法的性能估计问题（PEP），陈述了如何通过解决凸半正性 PEP 来导出这些方法的性能的新数值界，并演示了一种有效
PDF12 years ago