关键词adaptive moment estimation
搜索结果 - 2
- 提升支持向量回归的效率和鲁棒性:鹰眼损失
提出了一种新型的对称损失函数 HawkEye 损失函数,将其整合到支持向量回归(SVR)的最小二乘框架中,得到了一种新的快速鲁棒模型 HE-LSSVR,通过应用自适应矩估计(Adam)算法解决 HE-LSSVR 的优化问题,并在 UCI、合 - Adam 算法在无界梯度和仿射方差噪声下的高概率收敛性
研究了自适应矩估计算法(Adam)在无约束非凸平滑随机优化中的收敛性,证明了 Adam 能够在很高的概率下以 $O (poly (log T)/√T)$ 的速率收敛到稳定点,不需要任何有界梯度假设和问题相关的先验知识来调整超参数,同时还研究