nonconvex loss functions | BriefGPT

关键词nonconvex loss functions

搜索结果 - 4

自适应联邦学习在空中的应用
通过无线信道特性的迭加性以及动态调整的全局梯度更新步长，我们提出了一种适用于无线环境下的模型训练框架中 AdaGrad 和 Adam 的联邦版本。通过推导包含信道衰落和干扰影响的广泛非凸损失函数训练算法的收敛速率，我们得出了使用 AdaGr
PDF4 months ago
非凸风险约束学习中的强对偶关系
我们建立了对于功能性的两步组合风险受限学习问题的强对偶关系，涵盖多个非凸损失函数和 / 或学习约束的情况，不受非凸性和最小技术假设的限制。我们的结果特别意味着在所研究的问题类中存在零对偶间隙，扩展和改进了（风险中性）受限学习的最新进展。
PDF7 months ago
关于基于梯度的模型无关元学习算法的收敛理论
本文研究了一类基于梯度的元学习方法的收敛性，探讨了它们在非凸损失函数下的最佳可达精度和整体复杂度。我们提出了一种名为 Hessian-Free MAML 的新变体算法，为该算法提供了理论保证，并且解答了这些算法在任务和数据集上学习率和批量大
PDF5 years ago
收敛于全局最优解的学习算法的稳定性和泛化性
本文通过建立黑盒稳定性结果，仅依赖于学习算法的收敛和损失函数最小值周围的几何形态，为收敛到全局最小值的学习算法建立新的泛化界限，适用于满足 Polyak-Lojasiewicz（PL）和二次增长（QG）条件的非凸损失函数以及一些具有线性激活
PDF7 years ago