first-order optimization | BriefGPT

关键词first-order optimization

搜索结果 - 10

OptEx：利用近似并行化迭代加速一阶优化
我们提出了一种名为 OptEx 的方法，通过利用并行计算来提高 FOO 的效率，使用核化梯度估计来进行迭代预测，从而实现了迭代的并行化，并证明了核化梯度估计的可靠性和基于 SGD 的 OptEx 的迭代复杂度，同时通过大量实证研究验证了 O
PDF5 months ago
缩小 Adam 迭代复杂度上界与下界之间的差距
本文通过导出 Adam 的新收敛保证来推翻现有 Adam 收敛的下界，并且证明当使用适当的超参数时，Adam 满足一阶优化器的下界和上界，为 Adam 的收敛性建立了严密的上界。
PDF8 months ago
基于梯度的双变量 DAG 学习中的全局最优性
该论文证明了一种简单的路径追踪优化方案可全局收敛于双变量情况下人口损失的全局最小值，解决了学习无环有向图模型中非凸优化问题的全局优化难题。
PDFa year ago
梯度下降在较低限制割线不等式和上误差界下是最优的
本研究重点关注函数满足较小限制的割线不等式和较大上限误差的函数类，可以在各采样梯度上分别满足一组简单条件，在所有一阶算法中，通过梯度下降法可以完全优化此类函数，从而导致收敛速率的下限。
PDF2 years ago
ICML关于模型无关元学习的全局最优性
通过一级优化解决每个子任务并通过二级优化确定最优先前信息的模型无关元学习 (MAML) 被证明在非凸元目标上有全局最优性，其与内部目标的函数几何性和函数逼近器的表示能力有关。
PDF4 years ago
过度参数化的非线性学习：梯度下降是否走过了最短路径？
该论文讨论在数据过度参数化时，第一阶段优化方案（如随机梯度下降）的性质。作者发现，当损失函数在初始点的最小邻域内具有某些属性时，迭代会以几何速率收敛于全局最优解，会以接近直接的路线从初始点到达全局最优解，其中，通过引入一个新的潜力函数来作为
PDF6 years ago
怀旧的 Adam: 在设计自适应学习率时更注重过去时刻的梯度加权
我们提出了一种称为 Nostalgic Adam（NosAdam）的算法，通过更多考虑过去的梯度并设计自适应学习率，解决了类似于 Adam 的算法中缺乏长期记忆的问题，并在最佳已知收敛率下具有理论上的收敛保证。
PDF6 years ago
NIPS一种用于一阶优化的通用催化剂
本研究引入了一种通用方案，利用对加速邻域点算法的新分析，加快一阶优化方法。通过近似解决一系列精心选择的辅助问题来最小化凸目标，从而实现更快的收敛速度，为包括梯度下降、块坐标下降、SAG、SAGA、SDCA、SVRG、Finito/MISO
PDF9 years ago
ICML利用一阶替代函数进行优化
本文研究迭代最小化目标函数代理的优化方法，通过算法变体和收敛性分析，提出一种统一的视角来看待加速近端梯度、区块坐标下降或 Frank-Wolfe 算法等一阶优化技术，并引入一种新的增量方案，实验证明与大规模机器学习优化问题中的最先进解算器匹
PDF11 years ago
近似梯度下的平滑优化
本文证明，在计算梯度时只要误差小且一致，Nesterov 的一阶优化算法的最优复杂度不变，应用到半定规划中，仅计算当前迭代的少数前导特征值而不是全矩阵指数，大幅减少了方法的计算成本，同时还可使用稀疏最大特征值包有效地解决稀疏问题。
PDF19 years ago