Jan, 2015

具有通用损失函数的在线非参数回归

PDF
TL;DR本文研究任意函数类和一般损失的在线回归问题，并确定了最小极大率。结果表明，当函数类的复杂度低于某一阈值时，最小极大率取决于损失函数的曲率和序列复杂度。而当复杂度高于该阈值时，损失的曲率不再影响率。此外，对于平方损失，当顺序和独立同分布的经验熵匹配时，统计和在线学习的速率相同。我们还提供了一种通用的预测器，它具有确定的最优率，并提供了一种设计在线预测算法的方法，用于某些问题可以是计算量有效的。
发现论文，激发创造
  • 在线非参数回归

    基于顺序熵，确立了在线回归的最佳速率，发现最佳速率具有类似于独立同分布 / 统计学习情况的相变。此外，展示了一种享有建立的最佳速率的通用预测器和一种设计在线回归算法且计算高效的方法。

    Feb, 2014

  • 在线回归竞争与再生核希尔伯特空间

    研究了使用一种新的预测算法在无需假设标签与对象的生成方式的条件下，对已知标签对象的实时预测问题，通过比较此算法与一定范围内的预测规则，证明了此算法的误差率在极限范围下可达到最佳状态，可用于无参统计学的普适预测。

    Nov, 2005

  • 平滑在线学习的简易性与统计学习相当

    本论文研究了在线设置下学习过程中涉及到的平滑度、最小极大后悔以及上下文干涉等问题，并提出了对应算法的解决方案。

    Feb, 2022

  • 有界损失在线学习游戏的组合特征化

    我们研究了关于任意但有界损失函数的假设类的在线可学习性。我们给出了一种新的与规模敏感的组合维数相关的步进最小二维，并证明它对在线可学习性提供了紧密的定量刻画。作为应用，我们首次对两种自然学习设置进行了在线可学习性的定量刻画：向量值回归和多标签分类。

    Jul, 2023

  • 经验熵、最小化后悔和最小化风险

    关于随机设计回归模型的统计学习研究，我们提出了一种聚合经验最小值的方法，并建立了其风险的尖锐 Oracle 不等式，进一步证明了在良好规定的模型下，统计估计和在错误规定的模型下的统计后悔的速率等价的结论。

    Aug, 2013

  • 通用损失下的最优二分类器集成

    本文旨在解决半监督二分类集合聚合问题，以最小化在未标记数据上产生的预测损失，并找到了一类最小 - 最大最优预测。结果是一组半监督集合聚合算法，能像线性学习一样高效，但无需放松任何限制。它们的决策规则采用决策理论中熟悉的形式，将 Sigmoid 函数应用于集合边缘的概念，而不需要通常在基于边缘的学习中做出的假设。

    Oct, 2015

  • 聚合方法在统计学习中的高速学习率

    本文提出了一种基于随机序列算法的最小化极限风险收敛速率的方法，其鲁棒性得到了保证， 并对于损失函数的凸度及输出分布中的噪声级别等因素，提供了紧凑的可执行上限界。

    Mar, 2007

  • 鲁棒在线分类：从估计到去噪

    在存在噪音标签的情况下，我们研究了在线分类问题。通过一般的核来建模噪音机制，为任何特征 - 标签对指定了一个（已知）噪音标签分布集合。每个时间步骤，对手根据实际的特征 - 标签对从核指定的分布集合中选择一个未知分布，并根据所选分布生成噪音标签。学习者根据迄今为止观察到的实际特征和噪音标签进行预测，如果预测与真实情况不同，则遭受损失 1（否则为 0）。预测质量通过计算有限时间视野 T 上的极小化风险来量化。我们证明了对于广泛的自然噪音核、对手选择的特征和有限类别的标记函数，极小化风险可以上界独立于时间视野并以标记函数类别尺寸的对数形式增长。然后，我们通过随机顺序覆盖的概念将这些结果推广到无限类别和随机生成的特征。我们的结果通过对在线条件分布估计的新颖归约提供了直观理解，并且扩展并包含了 Ben-David 等人（2009）的研究结果，具有显著的广泛性。

    Sep, 2023

  • 基于配对损失函数的在线学习

    本文研究了在线学习算法中带有成对损失函数的泛化性能，并提出了一种数据依赖性较小的界限来衡量在线学习算法的平均风险产生的序列的模型偏差，同时针对常见的机器学习问题，如基于排名和监督度量学习提出了实际应用案例。

    Jan, 2013

  • 无约束线性最优化的极小极大算法

    本文研究了无约束在线线性优化博弈中最小化后悔的算法，其中对于一个有界比较器集合，得到了该博弈的解及其渐进行为，同时针对更宽松的惩罚函数提出了相应的算法并得到了渐进解。

    Feb, 2013