Sep, 2023

正规化与最优多类学习

PDF
TL;DR这项研究的目的是在多类学习中表征正则化的作用，并使用一种最优学习算法来控制模型容量，该算法与结构风险最小化、最大熵原理和贝叶斯推理相结合。同时引入一种新的学习者，通过在无监督学习阶段学习正则化器，实现结构风险最小化的放松，以及推导学习问题的归纳错误率。最后，引入了对偶误差的泛化和不可知情况的哈明图最优学习算法，通过最大熵程序实现最优学习。
empirical risk minimizationregularizationmulticlass learningstructural risk minimizationtransductive learning
发现论文，激发创造
  • 多类问题的最优学习器

    本文证明了多分类问题的效率最优解必须是不正确的，并提出了一种基于 generalized linear classifiers 的效率最优解的算法。

    May, 2014

  • 多类学习能力与点最小风险原则

    研究多类预测中的样本复杂度，并提出了设计 ERM 学习器的原则以及使用这些原则来证明对称的多类假说类的样本复杂度的紧束缚定理。此外，通过对 Littlestone 维度的新概括，提供了在线背景和强盗问题中多类学习的错误和遗憾界限的描述。

    Aug, 2013

  • 正则化和非正则化经验风险最小化的高维分类：精确误差和最优损失

    本文通过理论分析，在高维数据考虑时，通过经验风险最小化框架的分类性能，针对两类高斯混合问题，提出了精确的分类误差预测，并且提出了在岭正则化和非正则化的情况下，都采用简单的平方损失作为高维分类的最优选择。

    May, 2019

  • 从未标注的数据中以最少监督训练任何二元分类器

    该研究通过使用两组未标记的数据和基于经验风险最小化（ERM）的方法，提出了一种可以训练任意（从线性到深度）二分类器的学习方法，并证明了这种方法是一致的；实验证明，该方法可以训练深度模型并优于学习两组未标记数据的现有方法。

    Aug, 2018

  • 高维岭回归经验风险最小化的基本限制

    本文首次表征凸形 ERM 在高维广义线性模型推断中的基本统计精度界限，推导出任意损失函数和正则化参数值的紧凑下界，并精确评价了损失函数和正则化参数值的优化调整。

    Jun, 2020

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021

  • 当恶意异常值污染标签时，ERM 和 RERM 是回归问题的最优估计器

    本文研究了具有凸且 L-Lipschitz 损失函数的回归问题的经验风险最小化器（ERM）和正则化经验风险最小化器（RERM）。结果可用于许多非正则化和正则化过程，在噪声较弱的情况下为赫伯的 M - 估计量（没有惩罚项或由 L1 范数进行正则化）和在可重现内积希尔伯特空间中的一般正则化学习问题提供结果，噪声可以是重尾的。

    Oct, 2019

  • 在线学习和使用 ERM 预测子解决无限博弈

    本文提出了一种基于 ERM 孤注一掷算法的在线二元分类方法，证明了它在真实问题上的收益有限，且在迷惑问题上的收益不断增长。同时，本文还探讨了 ERM 算法在非参数博弈中的应用，提出了一种不依赖于最优反应的学习算法，并将其应用到两人和多人博弈中，证明了算法的有效性和可靠性。

    Jul, 2023

  • 多标记学习的本地 Rademacher 复杂度

    本文研究了基于 ERM 的多标签学习算法的本地 Rademacher 复杂度，并提出一种新算法，通过集中在尾奇异值上而不是所有奇异值上，更好地恢复多标签预测器的低秩结构，从而利用标签之间的相关性。我们提出了一种新的条件奇异值阈值算法来解决本文提出的目标函数。实证研究验证了我们的理论结果，并证明了所提出算法的有效性。

    Oct, 2014

  • 在存在异常值的情况下，鲁棒性经验风险最小化性能的渐近特征

    本文研究高维度的鲁棒线性回归，包括离群值和使用标准损失函数的经验风险最小化（ERMs）方法。结果显示，在相似数据集上，经过最优正则化的 ERM 在大样本复杂性极限下是渐近一致的，但在评估误差方面，由于规范标定的失配，估计器的一致性要求完美计算最优规范的预估值或存在未受离群值污染的交叉验证集。不同的损失函数在最优性能的使用情况下提供了有关使用情况的见解。

    May, 2023