Jun, 2015

非正则化：经验风险最小化的近端点近似和更快的随机算法

PDF
TL;DR本文提出了一种新的随机算法，通过将强凸函数的最小化转化为函数规则化的逼近最小化，从而优化了经验风险最小化过程中的性能，实践表明该算法具有稳定性和行之有效的优势
发现论文，激发创造
  • 重新审视差分隐私的经验风险最小化问题：更快且更广泛

    本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数，给出比传统算法更紧的上界。

    Feb, 2018

  • 正则化经验风险最小化的分布式块对角逼近方法

    本文提出了一种通过求解对偶问题的分布式经验风险最小化训练框架，可以用于各种机器学习问题，具有全局线性收敛和更快的实证性能。

    Sep, 2017

  • 基于随机模型的弱凸函数最小化

    本文提出一族算法通过简单的随机模型样本和优化方法，成功的减少了目标函数。我们展示出，合理的近似质量和模型的正则性下，此类算法将自然的稳定度衡量推向 0，该衰减速度为 O (k^(-1/4))，基于此原理，我们为随机的近端子梯度法，近端次梯度法以及规则化的高斯牛顿法等提供了第一个复杂性保证。

    Mar, 2018

  • 具有方差缩减的异步随机近端优化算法

    本文提出异步 ProxSVRG 和异步 ProxSVRCD 算法，证明当训练数据为稀疏矩阵时，异步 ProxSVRG 可以达到近似线性加速，而异步 ProxSVRCD 无论稠密还是稀疏数据，只要区块数目适当，就可以实现近似线性加速。通过实验证实了异步随机近端算法与方差规约技术的实践效率。

    Sep, 2016

  • 高维岭回归经验风险最小化的基本限制

    本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

    Jun, 2020

  • 一种加速的近端坐标梯度方法及其在正则化经验风险最小化中的应用

    本文提出了一种基于随机加速的坐标梯度下降法（APCG）来求解具有分块可分特征的凸组合优化问题的算法，并且应用此算法于正则化的经验风险最小化（ERM）问题，相较于现有算法其在强凸性和病态问题方面取得了更好的收敛速度。

    Jul, 2014

  • 基于方差的正则化与凸优化目标

    通过使用分布鲁棒优化和 Owen 的经验似然的技术，我们开发了一种风险最小化和随机优化的方法，提供了一个凸代理来实现方差的降低，实现了近乎最优和计算效率之间的权衡，我们给出了一些有限样本和渐近结果来表征估计器的理论性能。

    Oct, 2016

  • 带逐步方差缩减的近端随机梯度下降法

    提出了一种多级方案来逐渐减少随机梯度方差的新的近端随机梯度方法，用于解决平滑组件函数的平均和简单近端映射的一般凸函数总和的极小化问题。

    Mar, 2014

  • 差分隐私经验风险最小化：高效算法和严格误差界

    本文为凸经验风险最小化问题提供了一系列不同的差分隐私算法，并同时给出了相应的下界，且不同的隐私模型需要使用完全不同的算法，这些算法在多项式时间内运行，并且适用于很多简单光滑的函数家族。

    May, 2014

  • 严格鞍点问题的经验风险最小化的快速速率

    本文研究非凸风险最小化的样本复杂性，并探索了在此上下文中最小化此类功能的有效算法，结果表明这些算法不仅具有统计稳定性，而且具有良好的泛化能力。

    Jan, 2017