Feb, 2024

统计课程学习：一种能实现预言风险的淘汰算法

PDF
TL;DR我们提出了一种统计版本的课程学习（CL）方法，对参数预测问题进行建模。我们考虑三种不同的学习者类型，并提出了一种自适应多重淘汰回合的 CL 算法，用于估计目标参数向量，并确定其风险与弱预言者学习器的风险是否匹配。我们还研究了实例相关的极小极大下界，并得出了与性能弱预言者学习器最优性相关的条件。
curriculum learningparametric predictionstrong/weak-oracle learnersadaptive multiple elimination-rounds cl algorithmminimax lower bounds
发现论文，激发创造
  • 关于参数学习中的最优泛化

    本文提出了一种快速且准确的基于参数学习的交叉验证策略 ALOOCV，并利用其开发了一种基于经验风险最小化框架的正则化优化算法。

    Nov, 2017

  • 多类问题的最优学习器

    本文证明了多分类问题的效率最优解必须是不正确的，并提出了一种基于 generalized linear classifiers 的效率最优解的算法。

    May, 2014

  • 条件风险下的统计学习

    研究一种基于条件风险价值（CVaR）的风险规避统计学习框架，提出了基于随机梯度下降的算法。对于凸和 Lipschitz 的损失函数，该算法收敛到最优 CVaR，而对于非凸和平滑的损失函数，该算法在 CVaR 上的泛化界表现良好。通过在各种机器学习任务上进行数值实验，证明了该算法有效地将 CVaR 最小化。

    Feb, 2020

  • 正规化与最优多类学习

    这项研究的目的是在多类学习中表征正则化的作用，并使用一种最优学习算法来控制模型容量，该算法与结构风险最小化、最大熵原理和贝叶斯推理相结合。同时引入一种新的学习者，通过在无监督学习阶段学习正则化器，实现结构风险最小化的放松，以及推导学习问题的归纳错误率。最后，引入了对偶误差的泛化和不可知情况的哈明图最优学习算法，通过最大熵程序实现最优学习。

    Sep, 2023

  • 高效在线学习和拍卖设计

    本文研究了对手环境下的在线学习算法的设计，提出了广义随机扰动跟随者算法，且证明了在一定条件下它是牛逼优而且可以实现消失的后悔；同时，本文也提出了另一个基于拍卖设计的框架，用于帮助拍卖师在选举获得最佳的拍卖方式方面做出决策，并且得到相应的应用。

    Nov, 2016

  • 课程学习理论与凸损失函数

    通过对困难得分和收敛速率的理论分析，研究了以适度难度曲线为基础的课程学习在凸问题中的作用并阐述它与硬数据挖掘的矛盾之处。

    Dec, 2018

  • 统计学习的一阶方法与通用预言机的泛化误差

    我们提供了一种新的分析框架，用于分析统计学习中基于一阶优化算法的泛化误差，当只能通过一个 oracle 提供的部分观测来获取梯度。我们的分析依赖于梯度相对于数据样本的正则性，并且允许为多个学习问题，包括监督学习、迁移学习、鲁棒学习、分布式学习和使用梯度量化的通信高效学习推导出接近配对的上下界的泛化误差。这些结果适用于平滑和强凸优化问题，以及满足 Polyak-Lojasiewicz 假设的平滑非凸优化问题。我们的上下界依赖于一个新颖的量，它扩展了条件标准差的概念，并衡量了通过访问 oracle 获取梯度的程度。因此，我们的分析为优化统计学习目标的优化提供了精确的含义，即统计学习目标的优化与其梯度估计一样困难。最后，我们证明，在标准监督学习的情况下，批梯度下降法随着批次大小的增加和热启动可以达到近似最优的泛化误差，从而激励我们在实际应用中使用这种优化方案。

    Jul, 2023

  • 统一 (量子) 统计和参数化 (量子) 算法

    从评估查询中学习的问题以及其对线性函数类的查询复杂性进行了研究，从而在量子学习和量子机器学习领域建立了统一的视角。

    Oct, 2023

  • 正交统计学习

    研究提出了一种基于样本拆分的元算法，该算法的输入为目标参数和干扰参数的估计算法，并且在 “Neyman 正交性” 条件下，通过这个元算法可以在更弱的假设条件下，提供干扰成分存在时的额外风险保证，同时考虑到干扰参数估计误差对于超额风险边界的影响仅仅是二阶的，具有很好的灵活性。

    Jan, 2019

  • 平滑在线学习的简易性与统计学习相当

    本论文研究了在线设置下学习过程中涉及到的平滑度、最小极大后悔以及上下文干涉等问题，并提出了对应算法的解决方案。

    Feb, 2022