本文研究不同设置下差分隐私经验风险最小化问题,提出了比以前更少的梯度复杂度的算法,并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数,给出比传统算法更紧的上界。
Feb, 2018
本文提出了一种新的随机算法,通过将强凸函数的最小化转化为函数规则化的逼近最小化,从而优化了经验风险最小化过程中的性能,实践表明该算法具有稳定性和行之有效的优势
Jun, 2015
本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限,推导出任意损失函数和正则化参数值的紧凑下界,并精确评价了损失函数和正则化参数值的优化调整。
Jun, 2020
本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题,证明了在偏差方面,ERB 存在明显缺陷。同时,文中探讨了 ERM 的可接受性定理,并扩展到固定设计和随机设计的各种模型中。最后,提出了 ERM 的稳定性,以及一定条件下 ERM 的近似极小化不足的情况。
May, 2023
本文研究机器学习中的经验风险最小化方法在核支持向量机、核岭回归和神经网络训练等问题上的计算复杂性,并基于复杂理论假设如强指数时间假设,证明了这些问题的条件难度结果。同时,对于许多非凸学习任务中的主要计算负担 —— 经验损失的梯度计算,也给出了类似的难度结果。
Apr, 2017
本文提出了一种流式算法,可以在一次样本遍历中,线性时间内实现并且使用的空间仅为每个样本大小的线性。算法能够在每个问题上达到与 $ERM$ 相同的统计收敛速率,甚至考虑常数因素,而且算法性能随初始误差下降的超多项式速率,算法易于并行。此外,本文量化了算法与 $ERM$ 竞争的(有限样本)速度。
Dec, 2014
经验风险最小化算法(ERM)在已知数据集且平滑的情况下,能够实现次线性误差,并且具有统计复杂性的概念。
Feb, 2024
本文为凸经验风险最小化问题提供了一系列不同的差分隐私算法,并同时给出了相应的下界,且不同的隐私模型需要使用完全不同的算法,这些算法在多项式时间内运行,并且适用于很多简单光滑的函数家族。
May, 2014
利用平滑和强凸条件改善风险上界,建立了新的凸优化式 的有限样本错误分析方法。
Feb, 2017
对于现代机器学习应用中的最小化问题,研究了基于提纯的方法族,证明了在渐进条件下,从任意初始状态出发,研究中的策略几乎总能避免严格鞍点 / 子流形,从而为在流形上使用梯度方法提供了重要的可靠性验证。
Nov, 2023