具有放弃反馈的贝叶斯主动学习
研究活动学习的算法,其中标签器不仅可以返回不正确的标签,还可以放弃标记,利用放弃响应提出的算法在噪声和放弃率的自然假设下分析了其统计一致性和查询复杂度,并与下限相结合,证明在某些技术条件下,它实现了近乎最佳的查询复杂度 。
Oct, 2016
我们介绍了一种新的排名框架,其中学习器可以以有限的代价 $c$ 放弃对某些预测的判断,并对这个框架进行了广泛的理论分析,包括一系列 $f$- 一致性边界,达到了此领域的最新理论保证水平,我们进一步提出,这种新的放弃策略在使用常见的等连续假设空间时显得尤为重要,我们还报告了实验结果,证明了带放弃策略的排名方法的有效性。
Jul, 2023
我们研究了专家意见下具有预测的经典问题,假设学习者选择不参与游戏的行动在每次试验中既没有奖励也没有损失,我们提出了 CBA 算法,利用这个假设获得了可以显著改善经典 Exp4 算法的奖励界限。我们将问题视为对置信度评估预测器进行合并,当学习者有选择不参与游戏的选项时。重要的是,我们是首次在普通置信度评估预测器上实现了累积期望奖励的界限。在专家预测器的特殊情况下,我们实现了一种新的奖励界限,显著改善了以前在特殊专家(将不参与视为另一种行动)上的界限。作为一个示例应用,我们讨论了在有限度量空间中学习球的并集。在这个背景设置中,我们设计了 CBA 的高效实现,将运行时间从二次降低到几乎线性与上下文数量相当。初步实验表明 CBA 在现有的 bandit 算法上有所改进。
Feb, 2024
通过引入新的代理损失函数,分析了多类别分类中学习与弃权的打分式公式,证明了这些代理损失函数的非渐近性和假设集特定一致性保证上界了弃权损失函数的估计误差,实验评估了新算法在几个数据集上的效果并展示了阶段性弃权算法的实际重要性。
Oct, 2023
本文在 batch active learning 场景下,提出了一种解决 informativeness 和 diversity 之间权衡问题的算法,理论上可以在 pool-based active learning 中得到最优结果,并且这也是第一篇使用这种方式明确量化在 pool-based 场景中 batch active learning 统计表现的论文。
Feb, 2022
本研究分析了当前主要的主动式学习技术中存在的主要缺点,并提出了缓解这些缺点的方法,包括使用部分不确定性采样和更大的查询大小加速主动式学习循环,并展示了开源贝叶斯主动式学习库 BaaL。
Jun, 2020
我们研究了多类别分类中的学习与弃权的关键框架,介绍了一系列新的理论和算法结果,提出了几个新的代理损失函数家族,并分析了单阶段和两阶段学习设置的保证和应用,证明了我们的代理损失的优越性,并展示了广泛适用的两阶段弃权算法的卓越性能。
Oct, 2023
本研究提出一种基于贝叶斯批量主动学习方法来解决大规模监督模型中标签获取成本高的问题,从而利用大量未标记数据来改善模型性能。此方法通过逼近模型参数的完整数据后验概率,并使用随机投影技术来推广到任意模型,从而使批处理的数据选择更加多样,有效降低了计算复杂度,并在多个大规模回归和分类任务上得到了证实。
Aug, 2019
使用一种新的损失函数来训练深度神经网络进行分类并进行避免错标操作,使 DNN 在困惑的样本上避免误差,并在非避免的样本上继续学习和提高分类性能,并证明其在不同类型的标签噪声下的强大实用性
May, 2019
本文提出了一种基于最大化外部 Jensen-Shannon 分歧的标签查询采样策略,用于噪声贝叶斯主动学习中的真实标签生成函数的识别,并提供了上下界,表现优于以往的方法。
Dec, 2013