KDDMar, 2018

一种用于非光滑规则化的经验风险最小化的分布式拟牛顿算法

PDF
TL;DR提出了一种使用二阶信息进行通信和计算效率高的分布式优化算法来解决具有非平滑正则化项的 ERM 问题。该算法使用逐步二次逼近法，并描述了如何在分布式方式下有效地维护 Hessian 的逼近并解决子问题。该方法适用于广泛的非强凸问题，具有全局线性收敛性，需要更低的通信复杂度。同时，该方法可以收敛于非凸问题，因此具有在深度学习等应用中使用的潜力。初步的计算结果表明，该方法在凸问题上显著提高了通信成本和运行时间，超越了现有技术的方法。
distributed optimizationerm problemsquadratic approximationscommunication complexityglobal linear convergence
发现论文，激发创造
  • 正则化经验风险最小化的分布式块对角逼近方法

    本文提出了一种通过求解对偶问题的分布式经验风险最小化训练框架，可以用于各种机器学习问题，具有全局线性收敛和更快的实证性能。

    Sep, 2017

  • 适应性样本大小方法：全局利用拟牛顿方法的局部收敛

    本文介绍了一种基于自适应样本大小的拟牛顿方法，在大数据集上求解经验风险最小化问题中，全局收敛速度明显优于一阶方法，并可快速地解决子问题。

    Jun, 2021

  • 重新审视差分隐私的经验风险最小化问题：更快且更广泛

    本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数，给出比传统算法更紧的上界。

    Feb, 2018

  • 非正则化：经验风险最小化的近端点近似和更快的随机算法

    本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势

    Jun, 2015

  • 自协调经验损失的通信高效分布式优化

    本论文提出了基于省通信的分布式算法来最小化整体经验损失，算法的迭代复杂度和通信效率针对自共轭经验损失函数进行了分析。

    Jan, 2015

  • 一个可靠的分布式二阶算法

    本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

    Jun, 2018

  • 使用近似牛顿法的通信高效分布式优化

    本研究提出了适用于分布式优化的一种新的 Newton 类方法，特别适用于随机优化和学习问题。对于二次目标，该方法的收敛速度呈现线性，可以按照数据规模得到改善，基于合理假设需要基本恒定次迭代。本文提供了理论和实证证据，表明我们的方法比其他方法，如单次参数平均和 ADMM，具有优势。

    Dec, 2013

  • 通过二阶方法实现联邦经验风险最小化

    本文提出一种内点法（IPM），用于在联合学习设置下解决一般的经验风险最小化（ERM）问题，展示了每次迭代 IPM 的通信复杂度具有 O（d ^ {3/2}）的上限。

    May, 2023

  • 分布式高维分位数回归：估计效率与支持恢复

    分布式估计和支持恢复在高维线性分位数回归中具有重要意义，本文通过将原始分位数回归转化为最小二乘优化问题，并应用双平滑方法，提出了一种新的分布式方法来解决此类问题，在保证计算和通信效率的同时能够实现接近 Oracle 收敛速度和高支持恢复精度的估计结果。通过对合成实例和真实数据应用的大量实验，验证了该方法的有效性。

    May, 2024

  • 大规模分布式学习中的拟牛顿更新

    开发了具有卓越统计分析、计算和通信效率的分布式拟牛顿（DQN）框架，无需 Hessian 矩阵倒置或通信，在小数次迭代下提供了统计效率的结果，强调与现有方法的差别在于对统计学性质的调查。

    Jun, 2023