具有一致性预言机的简单在线学习
研究表明,稳定性是一种可以用来量化学习算法的稳定程度的一般概念,是推动在线学习和减少后悔的关键。本文引入了在线稳定性,这是与均匀留一稳定性相关的一种稳定性条件,足以实现在线可学习性,并且说明了流行类的在线学习算法的一些理论。在特定的二分类设置中,稳定性条件是充分必要的。
Aug, 2011
我们研究了关于任意但有界损失函数的假设类的在线可学习性。我们给出了一种新的与规模敏感的组合维数相关的步进最小二维,并证明它对在线可学习性提供了紧密的定量刻画。作为应用,我们首次对两种自然学习设置进行了在线可学习性的定量刻画:向量值回归和多标签分类。
Jul, 2023
应用Littlestone维度对模型中的等值查询学习进行了扩展,并在无限概念类中引入了额外的随机性,同时对于具有扩展$d$-压缩方案的类与Littlestone维度之间的关系提出了改进的结果。
Oct, 2023
我们对Ben-David、Kushilevitz和Mansour (1997)的可逆在线学习设置中学习者错误的数量提出新的上界和下界。定性地,我们证明了一个三分法,即随着n的增长,学习者所犯错误的最小数量只能取三个明确定义的值之一:n,Θ(log(n))或Θ(1)。此外,这种行为是由VC维度和Littlestone维度的组合确定的。定量地,我们展示了各种将错误数量与众所周知的组合维度相关联的界限。特别地,我们将Θ(1)情况下的常数的已知下界从Ω(√log(d))改进为Ω(log(d)),其中d是Littlestone维度。最后,我们将我们的结果扩展到多类分类和不可知设置。
Nov, 2023
根据合理的密码学假设,我们展示了一个概念类别,该类别允许在多项式时间内以多项式错误边界运行的在线学习器,但不存在计算效率高的差异隐私PAC学习器。
Feb, 2024
对于一般的分类任务,差分隐私可学习性意味着在线学习性。本研究通过建立树的数个拉姆齐型定理,直接对Littlestone树进行推理,而不依赖于阈值,给出了对这些问题肯定的回答。
Jul, 2024