通过强制适当的损失函数,为二分排名设置代理后悔边界
本文讨论了弱监督分类的问题,介绍了一种名为广义逻辑挤压的正则化方案,该方案能使任何合适的弱标签损失函数在下界处有界,而不丢失合理性,并实验验证了该方法的有效性,结果突出了合理性和保下界的重要性。
Mar, 2021
探讨网络预测与专家意见的关系,研究如何转化任意 beta 可混合损失为同一 beta 值的 beta 指数凹复合损失函数,以实现计算效率和性能保证的平衡。
May, 2018
本文使用代理损失函数导出了新的后悔界限和新的算法,其中借助于坡道损失函数,我们导出了新的边界界限。同时也根据标准顺序复杂度度量了回归函数的基准类,使用铰链损失函数,导出了一种有效的算法,并且其中包含了一个以 $d$ 维度回归器引出的基准方针。在实现假设下,本研究的结果也可以得出经典的后悔边界。
Jun, 2018
本文研究了二元分类和类概率估计中的损失,将对它们的理解从边缘损失扩展到了一般的组合损失,文中表征了何时边缘损失可以成为适当的组合损失,明确地展示了如何从部分损失的一半中完整地确定对称损失,并介绍了组合二元损失的内在参数化的概念,并给出了适当损失和 “分类校准” 损失之间关系的完整的特征。本文还探讨了 “最佳” 替代二元损失的问题,并介绍了精确的 “最佳” 的概念,以及存在两种凸代理损失不可比较的情况。最后,文中在附录中提供了一些新的算法无关的关于二元损失适当性、凸性和对于误分类噪声的鲁棒性之间关系的结果,并且证明了所有凸适当损失都对误分类噪声不鲁棒。
Dec, 2009
本文研究了强凸损失函数下的动态遗憾最小化框架,通过利用 KKT 条件所施加的许多新约束条件,我们回答了 Baby 和 Wang 2021 年提出的一个开放性问题,并展示了强适应算法在适当的学习设置下可以同时针对任何比较序列达到几乎最优的动态遗憾。此外,在处理非平滑损失和改善回避维度依赖性等方面,我们还取得了 Baby 和 Wang 2021 年工作的其他改进,并针对 exp-concave 损失和一个 L∞受限决策集的特殊情况导出了几乎最优的动态遗憾率。
Jan, 2022
本文研究在线逻辑回归的问题,提出了一种高效的不合适算法,它避免了指数倍的常数,并保持了对数回归。通过采用经验风险最小化的正则化和替代损失,我们的新算法仅需 O(B log(Bn))的损失缩放,每轮的时间复杂度为 O(d ^ 2)。
Mar, 2020
本研究提出了一种名为 TopPush 的高效方法,用于优化双分图排名中排名准确性,其在训练实例数量上具有线性的计算复杂度,并且该方法的实证研究表明它与当前现有的最先进方法具有高竞争力且速度可提高 10 到 100 倍,并使用新颖的分析方法界定所提出方法的排名精度和泛化误差。
Oct, 2014
本文介绍了一种将排名学习问题有效降至二元分类问题的算法,该算法保证平均成对错误率不超过二进制分类算法误差,适用于更广泛的排名损失函数类,且其时间复杂度在实际应用中较为高效。
Oct, 2007