Apr, 2017

关于经验风险最小化的细粒度复杂度：核方法和神经网络

HTML
PDF
TL;DR本文研究机器学习中的经验风险最小化方法在核支持向量机、核岭回归和神经网络训练等问题上的计算复杂性，并基于复杂理论假设如强指数时间假设，证明了这些问题的条件难度结果。同时，对于许多非凸学习任务中的主要计算负担——经验损失的梯度计算，也给出了类似的难度结果。
发现论文，激发创造
  • 放大经验风险最小化：不完整U-统计量的优化

    该研究论文旨在通过建立均匀偏差结果，探讨如何通过Monte-Carlo方法得到不完整的$U$-统计量，从而实现在数据函数最小化过程中降低计算复杂度，在适当的复杂性假设下，显示出不影响经验风险最小化程序的学习率，并证明了该方法优于其他采样技术。

    Jan, 2015

  • 使用灵活的小批量方案和非凸损失的ERM原始方法

    本文提出了一种新算法用于规则经验风险最小化问题，可以使非凸损失函数也能收敛，达到与 QUARTZ 相同的复杂度，同时也能更好地利用数据信息，实现任意小批量的设计。

    Jun, 2015

  • 严格鞍点问题的经验风险最小化的快速速率

    本文研究非凸风险最小化的样本复杂性，并探索了在此上下文中最小化此类功能的有效算法，结果表明这些算法不仅具有统计稳定性，而且具有良好的泛化能力。

    Jan, 2017

  • 重新审视差分隐私的经验风险最小化问题：更快且更广泛

    本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足Polyak-Lojasiewicz条件的非凸函数，给出比传统算法更紧的上界。

    Feb, 2018

  • 随机原始-对偶法用于经验风险最小化，每次迭代复杂度为O（1）

    本文提出了新的随机原始对偶算法，用于解决具有线性预测器的正则化经验风险最小化问题。通过泰勒展开、凸组合和割平技巧得到具有较优复杂度和收敛性质的算法，进一步提出了方差减少版算法和数值实验表明该算法在高维问题上优于现有算法，收敛速度更快。

    Nov, 2018

  • 高维岭回归经验风险最小化的基本限制

    本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

    Jun, 2020

  • 论经验风险最小化的方差、可接受性和稳定性

    本文研究了 Empirical Risk Minimization 在最小化最大化次优误差率下的偏差和方差分解问题，证明了在偏差方面，ERB 存在明显缺陷。同时，文中探讨了ERM的可接受性定理，并扩展到固定设计和随机设计的各种模型中。最后，提出了ERM的稳定性，以及一定条件下ERM的近似极小化不足的情况。

    May, 2023

  • 使用CVXPY指定和求解健壮经验风险最小化问题

    本文通过使用CVXPY自动执行内部的二次规划过程，演示了如何利用凸不确定集来解决一般的分类和回归问题以及其他一些常见的损失函数的确定性限制。

    Jun, 2023

  • 正规化与最优多类学习

    这项研究的目的是在多类学习中表征正则化的作用，并使用一种最优学习算法来控制模型容量，该算法与结构风险最小化、最大熵原理和贝叶斯推理相结合。同时引入一种新的学习者，通过在无监督学习阶段学习正则化器，实现结构风险最小化的放松，以及推导学习问题的归纳错误率。最后，引入了对偶误差的泛化和不可知情况的哈明图最优学习算法，通过最大熵程序实现最优学习。

    Sep, 2023

  • 关于平滑数据的经验风险最小化性能

    经验风险最小化算法（ERM）在已知数据集且平滑的情况下，能够实现次线性误差，并且具有统计复杂性的概念。

    Feb, 2024