NIPSOct, 2015

通用损失下的最优二分类器集成

PDF
TL;DR本文旨在解决半监督二分类集合聚合问题，以最小化在未标记数据上产生的预测损失，并找到了一类最小 - 最大最优预测。结果是一组半监督集合聚合算法，能像线性学习一样高效，但无需放松任何限制。它们的决策规则采用决策理论中熟悉的形式，将 Sigmoid 函数应用于集合边缘的概念，而不需要通常在基于边缘的学习中做出的假设。
semi-supervised binary classificationensemble aggregation algorithmsminimax optimal predictionsconvex optimizationsigmoid functions
发现论文，激发创造
  • 使用未标记数据最优地组合分类器

    该研究开发了一种针对二进制分类的分类器集成的最坏情况分析方法，通过一种叫做极小极大解的方法可以找出在一个已知的未标记数据集上，一个加权组合的分类器可以比任何单个分类器的表现要好得多。

    Mar, 2015

  • 具有通用损失函数的在线非参数回归

    本文研究任意函数类和一般损失的在线回归问题，并确定了最小极大率。结果表明，当函数类的复杂度低于某一阈值时，最小极大率取决于损失函数的曲率和序列复杂度。而当复杂度高于该阈值时，损失的曲率不再影响率。此外，对于平方损失，当顺序和独立同分布的经验熵匹配时，统计和在线学习的速率相同。我们还提供了一种通用的预测器，它具有确定的最优率，并提供了一种设计在线预测算法的方法，用于某些问题可以是计算量有效的。

    Jan, 2015

  • 一种公理化方法的损失汇总及适应性汇总算法

    针对在线学习推荐的一种变体聚合算法，该算法基于广义聚合函数，具有与 AA 相似的理论性质，如贝叶斯更新和对广义和损失的时间无关边界。

    Jun, 2024

  • 使用代理凸损失函数最小化误分类误差率

    研究凸代理损失函数与二元分类问题中线性预测的分类误差率最小化之间的关系，发现在所有凸代理损失函数中，铰链损失提供了最佳的界限。同时，提供了特定凸代理损失的下界，显示常用损失函数之间的区别。

    Jun, 2012

  • 一种极小极大法用于监督学习

    引入最大熵原理的一般化方法，应用于带有从数据中得出的经验边缘条件的分布集合，提出一种针对监督学习问题的通用 minimax 方法，其中最大熵机是一种新的最小化结构化分布中最坏情况 0-1 损失的线性分类器，并且通过实验表明可以优于其他线性分类器，同时证明了 minimax 方法中的泛化最坏情况误差保证的界限。

    Jun, 2016

  • 组合式预测游戏的极小化策略

    我们研究了在线线性优化问题，探讨了半强盗、强盗和完全反馈三种情况下的极小后悔量，并提出了使用 Bregman 投影技术的梯度下降通用策略以及上下界解决方案，并在最后指出了指数加权平均预测者对于 L∞对手是次优解的问题。

    May, 2011

  • 低噪声假设下分类聚合的最优速率

    采用指数权重的综合方法，在边际假设下，对于铰链风险（hinge risk），获得了凸聚合的最优速率。 此外，在边际假设下，对于超额贝叶斯风险，获得了模型选择聚合的最优速率。

    Mar, 2006

  • 复合二元损失

    本文研究了二元分类和类概率估计中的损失，将对它们的理解从边缘损失扩展到了一般的组合损失，文中表征了何时边缘损失可以成为适当的组合损失，明确地展示了如何从部分损失的一半中完整地确定对称损失，并介绍了组合二元损失的内在参数化的概念，并给出了适当损失和 “分类校准” 损失之间关系的完整的特征。本文还探讨了 “最佳” 替代二元损失的问题，并介绍了精确的 “最佳” 的概念，以及存在两种凸代理损失不可比较的情况。最后，文中在附录中提供了一些新的算法无关的关于二元损失适当性、凸性和对于误分类噪声的鲁棒性之间关系的结果，并且证明了所有凸适当损失都对误分类噪声不鲁棒。

    Dec, 2009

  • 多类别分类的预期尺寸置信区间

    本文提出了一种在多类分类问题中，通过最小化经验凸风险函数定义的评分函数提供输出类标签集合而不是单一标签的方法，该方法利用凸聚合与 V 折交叉验证原则，具有预期大小的控制和分类风险的最小化性质。

    Aug, 2016

  • 学习代理损失

    本文提出了一种针对非可微和非可分解损失函数的优化方法，使用代理神经网络逐渐逼近真实损失函数，并通过联合双层优化学习预测模型和代理损失函数，实现了高效学习代理损失函数的效果。

    May, 2019