适当损失至少为1/2阶的遗憾
本文提出使用一种广泛的强适当损失类来实现针对二分排序问题的非两两代理规则界限,并通过最近的结果进一步获得了低噪声条件下的更紧密的代理规则界限。
Jul, 2012
本文研究了在线凸优化的一些新进展,特别是对于在稀疏、可预测序列和曲线损失等易于数据实例中进一步提高后悔界限的方法的统一处理。我们提出了一种自适应、乐观的更新规则,并解释了一种可以动态适应损失函数曲率的更新规则,并最终将这些结果扩展到了复合损失情形。
Sep, 2016
探讨网络预测与专家意见的关系,研究如何转化任意beta可混合损失为同一beta值的beta指数凹复合损失函数,以实现计算效率和性能保证的平衡。
May, 2018
本文使用代理损失函数导出了新的后悔界限和新的算法,其中借助于坡道损失函数,我们导出了新的边界界限。同时也根据标准顺序复杂度度量了回归函数的基准类,使用铰链损失函数,导出了一种有效的算法,并且其中包含了一个以$d$维度回归器引出的基准方针。在实现假设下,本研究的结果也可以得出经典的后悔边界。
Jun, 2018
本论文研究了机器学习中隐含的偏差及其对应的正则化解,并且根据理论证明我们使用的指数型损失函数的正则化效果,可达到最大保边缘的方向,相应的其他损失函数可能会导致收敛于边缘较差的方向。
Jun, 2020
本文研究了强凸损失函数下的动态遗憾最小化框架,通过利用KKT条件所施加的许多新约束条件,我们回答了Baby和Wang 2021年提出的一个开放性问题,并展示了强适应算法在适当的学习设置下可以同时针对任何比较序列达到几乎最优的动态遗憾。此外,在处理非平滑损失和改善回避维度依赖性等方面,我们还取得了Baby和Wang 2021年工作的其他改进,并针对exp-concave损失和一个L∞受限决策集的特殊情况导出了几乎最优的动态遗憾率。
Jan, 2022
在线学习方法在最小假设下产生顺序遗憾界限,并为统计学习提供期望风险界限;然而,最近的研究结果表明,在许多重要情况下,遗憾界限可能无法保证统计背景下紧致的高概率风险界限。本研究通过将通用在线学习算法应用于在线到批次转换,通过对定义遗憾的损失函数进行一般的二阶校正,获得了几个经典统计估计问题(如离散分布估计、线性回归、逻辑回归和条件密度估计)的几乎最优的高概率风险界限;我们的分析依赖于在线学习算法的不恰当性,因为它们不限制使用给定参考类别的预测器;我们的估计器的不恰当性使得在各种问题参数上显著改善了依赖;最后,我们讨论了我们的顺序算法与现有批处理算法之间的一些计算上的优势。
Aug, 2023
优化模型中的不确定参数通过预测估计,为了评估基于预测的决策质量,决策焦点学习旨在通过训练预测模型来最小化后悔,提出了三种更接近预期后悔的鲁棒损失函数,实验证明使用鲁棒后悔损失训练决策焦点学习方法能够改善测试样本的经验后悔并保持计算时间等效。
Oct, 2023
考虑了预测-优化模式的决策制定方法,通过在历史数据上训练监督学习模型,再利用该模型在新环境中进行未来的二进制决策以最大化预测奖励,提出了一种新的损失函数Empirical Soft Regret (ESR)来显著改善模型训练中的奖励,该方法在新闻推荐和个性化医疗决策问题上明显优于现有算法。
Jun, 2024
基于条件遗憾的关系,我们提出了一种通用框架来建立增强的H一致性边界,这些边界不仅包括现有结果的特例,还能在各种情况下导出更有利的边界,例如:标准多类分类、Tsybakov噪声条件下的二元和多类分类以及二部排序。
Jul, 2024