Dec, 2023

统计学习理论与奥卡姆剃刀：基于经验风险最小化的论证

PDF
TL;DR该论文考虑了归纳推理中由统计学习理论框架得出的简洁性偏好的认识论理解。通过结合先前论证的元素，该论文阐述了一个基于统计学习理论的、有限的目的手段和模型相关的证明论论证，建立在经验风险最小化方法的统计学习理论的中心数学学习保证的基础上。
发现论文，激发创造
  • 泰勒学习

    本文介绍了一种不使用梯度下降或经验风险最小化技术来构建模型的学习算法，以构建实分析函数模型为例，将熟悉的泰勒逼近方法置于从分布中抽样数据的情境中，并证明了该学习结果的非均匀性。

    May, 2023

  • 统计学习的风险界限

    本文提出一个通用的定理给出经验风险最小化器 (ERM) 风险的上界，并且通过采用一些方便的加权经验过程的浓度不等式扩展 Tsybakov 针对 ERM 风险下边缘条件的分析，以便处理一些测量分类器类 “大小” 的方式，特别地，当分类规则属于某个 VC 类且满足边缘条件时，我们推导出 ERM 的新风险上界，并讨论这些上界在极小化意义下的最优性。

    Feb, 2007

  • U 统计量的排名和经验最小化

    本文提出了一种新的统计框架来解决机器学习中的排名问题，并使用 U - 过程的理论结果来研究经验风险最小化的一致性，以及使用凸风险最小化方法来解决排名问题。

    Mar, 2006

  • 鲁棒梯度下降的高效学习

    提出了一种构建稳健风险梯度逼近的算法，在实验中证明可以有效地提高广义学习效率并使用更少的资源，而不会过度依赖于数据。

    Jun, 2017

  • 监督学习中的无免费午餐和奥卡姆剃刀原则

    应用算法信息理论证明普适偏好是成功算法的关键，提出以索洛蒙诺夫归纳为灵感的新离线分类算法，证明随机选择训练数据可有效降低误分类率。

    Nov, 2011

  • 重尾损失函数的经验风险最小化

    探讨了基于 Catoni 均值估计的经验风险最小化问题，并发展了基于 Catoni 的均值估计器的链式论据性能界限，以应对损失函数不一定有界，可能具有重尾分布的情况。

    Jun, 2014

  • 正规化与最优多类学习

    这项研究的目的是在多类学习中表征正则化的作用，并使用一种最优学习算法来控制模型容量，该算法与结构风险最小化、最大熵原理和贝叶斯推理相结合。同时引入一种新的学习者，通过在无监督学习阶段学习正则化器，实现结构风险最小化的放松，以及推导学习问题的归纳错误率。最后，引入了对偶误差的泛化和不可知情况的哈明图最优学习算法，通过最大熵程序实现最优学习。

    Sep, 2023

  • 鲁棒性经验风险最小化中过度风险界

    本文研究了经验风险极小化算法的鲁棒版本，提出了基于代理替换的统计方法，以解决样本中存在离群值的情况，并且在回归问题上的表现得到了检验。

    Oct, 2019

  • 交互式学习的信息论方法

    本文提出了一种量化的交互式学习和自适应行为方法，并从模型和决策制定的角度整合了行为反馈。通过在最小复杂度下最大化预测能力，导出了最优行为政策和模型的类，并总结了这一过程的因果组织。该方法的基本原则之一是学习者的最优行为政策需要在勘探和控制之间保持平衡，这是一个新的重点。

    Sep, 2007

  • 证据深度学习方法是否能真实地表示认知不确定性？

    可信的机器学习系统不仅应返回准确的预测结果，还应提供可靠的不确定性表示。贝叶斯方法通常用于量化生成论和认知性不确定性，但近年来，备选方法，如证据深度学习方法，已变得流行。这篇论文提出了证据深度学习的新理论洞见，强调了优化二阶损失函数和解释由此得出的认知性不确定度度量的困难。通过一个系统的实验设置，涵盖了分类，回归和计数的多种方法，对二阶损失最小化中的确认性和收敛性问题，以及认知不确定性度量的相对（而不是绝对）性质提供了新的见解。

    Feb, 2024