non-convex loss functions | BriefGPT

关键词non-convex loss functions

搜索结果 - 8

如何私下减小梯度：改进的差分隐私非凸优化速率
我们提供了一个简单灵活的框架，用于设计差分隐私算法以找到非凸损失函数的近似稳定点。我们的框架基于使用私有近似风险最小化器来 “预热” 另一个用于寻找稳定点的私有算法。我们将这一框架应用于多个类别的非凸损失函数中，获得了改进的且有时是最优的速
PDF5 months ago
具有有界更新的迭代学习算法的泛化误差界
研究了具有有界更新的迭代学习算法在非凸损失函数上的泛化特性，采用信息论技术。我们的主要贡献是针对具有有界更新的这些算法提出了新的泛化误差界，超出了之前仅关注随机梯度下降（SGD）的范畴。我们的方法引入了两个新颖之处：1）我们将互信息重新表述
PDF10 months ago
面向噪声环境的联邦学习收敛性分析与信噪比控制策略的改进
本文提出了基于信噪比控制策略的联邦学习收敛率提高方法，并探讨了传输中的非完美通信对联邦学习收敛率的影响，结果发现下行通信噪声对于收敛有更严重的影响。
PDFa year ago
ICLR方差降低是拜占庭问题的解药：更好的收敛速率，较弱的假设条件，以及通信压缩作为锦上添花
本研究提出了一种名为 Byx-VR-MARINA 的新的拜占庭容错方法，其中方差降低是更有效地对抗拜占庭工人的关键，而通信压缩是使过程更具通信效率的奖励。这项工作还对非凸和 Polyak-Lojasiewicz 损失函数的拜占庭容忍方法进行
PDF2 years ago
随机梯度下降的信息理论泛化界
本研究研究了随机梯度下降（SGD）这种普遍使用的随机优化方法的泛化特性，提供了依赖于在 SGD 计算的迭代路径上评估的随机梯度的本地统计信息的泛化误差的理论上限，其关键因素是梯度的方差及目标函数沿 SGD 路径的局部光滑性以及损失函数对最终
PDF3 years ago
任意抽样的非凸方差减少优化
调查了非凸损失函数下的经验风险最小化的方差缩减算法，尤其是 SVRG、SAGA 和 SARAH 的非凸版本，提出了基于重要性采样的小批量分析，并成功提高了训练速度。
PDF6 years ago
ICML非凸博弈中高效的遗憾最小化
本文探讨了在非凸损失函数的重复博弈中如何最小化遗憾，并给出了基于梯度下降的方法来实现最优遗憾并保证收敛到平衡点。
PDF7 years ago
ICML无对偶、正则化和单独凸性的 SDCA
提出了改进型的随机对偶坐标上升方法，无需显式正则化，无需依赖对偶性，甚至对于非凸损失函数，只要期望损失函数是强凸的，就可以证明收敛率是线性的。
PDF8 years ago