newton-type methods | BriefGPT

关键词newton-type methods

搜索结果 - 4

Q-SHED：基于海森矩阵特征向量量化的边缘分布式优化
提出一种基于 Newton-type 方法的分布式优化算法 Q-SHED，采用增量 Hess 量子化的位分配方案，可以大幅减少收敛所需的通信轮次，从而提高边缘网络的通信效率。
PDFa year ago
FedNew: 一种通信高效且隐私保护的联邦学习牛顿型方法
本研究介绍了一种名为 FedNew 的新型框架，通过引入两级框架、替换传统方法中需要从客户端传输 Hessian 信息的环节等方式解决了低通信效率、低隐私性等问题，并使用随机量化等方式将通信开销显著降低，在实际数据集上的实验显示出了优于现有
PDF2 years ago
非凸机器学习的二阶优化：一个经验性研究
本文研究了一类基于牛顿方法的优化算法在非凸机器学习问题中的应用，展示了其可以更好地利用曲率信息来逃离平坦区域和鞍点，并在泛化性能方面表现相当于或优于手动调整学习率的随机梯度下降算法。
PDF7 years ago
广义自共轭函数：牛顿类型方法的配方
我们研究了凸函数的平滑结构，通过将 Nesterov 和 Nemirovsky 在 1990 年代早期引入的强大概念（称为自共轭性）推广到更广泛的凸函数类，我们称之为广义自共轭函数。这个概念使我们能够开发出设计 Newton 类型方法来解
PDF7 years ago