利用行列式点过程进行批量主动学习
本文介绍了行列式点过程 (Determinantal Point Processes, DPPs) 以及其在机器学习领域中的应用,比如主动学习、贝叶斯优化、强化学习和图形模型中的边缘化。同时,文章也指出了为许多与机器学习相关的设置提供了在连续域上从 DPPs 中精确采样的方法。
Sep, 2016
提出了一种使用决策点过程(DPPs)对批处理进行建模的新方法,使得机器学习中的贝叶斯优化,特别是处理超参数时具有更好的表现。在合成和真实的机器人和超参数优化任务上的实验表明,基于DPP采样的方法优于现有技术。
Nov, 2016
本文提出了一种基于 Determinantal Point Process(DPP)的新型非均匀采样方案,用于在 mini-batch SGD 优化中实现数据的多样性和平衡,成为了Diversified Mini-Batch SGD (DM-SGD)。实验结果表明,该方法在无监督和监督学习中均能产生更具解释性和多样性的特征,并提高分类准确性。
May, 2017
本文探讨了在随机梯度下降中选择mini-batch的方法,证明了使用斥力采样来选择mini-batch可以降低梯度估计的方差,提出并研究实现 Poisson Disk 采样的可行性,并通过实验证明了这种方法在模型性能和收敛速度方面都要优于标准随机梯度下降。
Apr, 2018
本研究提出一种基于贝叶斯批量主动学习方法来解决大规模监督模型中标签获取成本高的问题,从而利用大量未标记数据来改善模型性能。此方法通过逼近模型参数的完整数据后验概率,并使用随机投影技术来推广到任意模型,从而使批处理的数据选择更加多样,有效降低了计算复杂度,并在多个大规模回归和分类任务上得到了证实。
Aug, 2019
研究了一种高效的批量主动学习算法,该算法结合不确定性和多样性概念,在批量设置中易于扩展,并与先前研究中使用的批量大小(100K-1M)相比提高模型训练效率。同时,还证明了相关采样方法的标签复杂度保证,该方法在特定情况下几乎等同于我们的采样方法。
Jul, 2021
本文在 batch active learning 场景下,提出了一种解决 informativeness 和 diversity 之间权衡问题的算法,理论上可以在 pool-based active learning 中得到最优结果,并且这也是第一篇使用这种方式明确量化在 pool-based 场景中 batch active learning 统计表现的论文。
Feb, 2022
通过批次主动的偏好学习方法,本研究开发了一组新的算法,能够有效学习奖励函数并在短时间内生成少量查询,实验结果表明该算法在机器人学习中的多种任务上表现良好。
Feb, 2024
本研究解决了高斯过程回归模型中对数据批量选择的不足,提出了一种利用导数信息的批量主动学习方法。通过理论分析和实证比较,研究表明该方法在多个应用中相较于传统方法更加有效,充分利用了样本间的相关性。
Aug, 2024