step sizes | BriefGPT - AI 论文速递

关键词step sizes

搜索结果 - 7

非可分数据和大步长情况下的逻辑回归梯度下降
研究了使用大的恒定步长的逻辑回归问题上的梯度下降（GD）动态。
PDFa month ago
关于无需数据相似性的联邦学习算法收敛性的研究
本文提出了一种新颖而统一的框架，用于分析联邦学习算法的收敛性，无需数据相似性条件，并应用于著名联邦学习算法，得到了不依赖于数据相似性条件的固定步长、递减步长和步长衰减的精确表达，从而在变化的数据相似性条件下，显著提高了联邦学习算法的收敛速度
PDF4 months ago
元参数优化的框架：MetaOptimize
优化元参数（即超参数）对于训练效率和模型性能至关重要，本文介绍了 MetaOptimize 框架，它通过动态调整元参数（特别是学习速率）来优化训练过程，通过折现未来损失的累积和来最小化后悔，通过适应多种优化算法和引入低复杂度变体，实现与手工
PDF5 months ago
具有马尔可夫噪声的双时间尺度线性随机逼近的紧限定时间界
用马尔可夫噪声对线性二时间尺度随机逼近算法进行了收敛性分析，得到了该算法各种步长选择下的收敛行为，应用结果到 TDC 算法得到了比之前工作更好的收敛性样本复杂度，该结果还适用于确定各种强化学习算法的收敛行为，如带有 Polyak 平均的 T
PDF6 months ago
指数和余弦步长的再审视：简易性、适应性和性能
研究指出指数步长和余弦步长是自适应噪声水平的，不需要知道噪声水平和调整超参数就可以达到几乎最佳性能。探讨了这两种优化策略的收敛速度和表现，实验证明它们最多只需要调整两个超参数就可达到优秀的表现。
PDF4 years ago
非凸学习的 SGLD 泛化界限：两种理论视角
本文提出了两个理论，分别使用稳定性和 PAC-Bayesian 结果的非渐进离散时间分析，研究了 Stochastic Gradient Langevin Dynamics（SGLD）在非凸目标下的泛化误差，其边界没有隐含依赖于参数的维数、
PDF7 years ago
一种线性收敛的随机 L-BFGS 算法
提出了一种新的随机 L-BFGS 算法，并证明了它对于强凸平滑函数具有线性收敛率。这种算法对于大规模的凸和非凸优化问题表现出色，具有快速求解高精度的线性收敛率，对于多种步幅表现良好。
PDF9 years ago