Dec, 2023
关于损失和基于不确定性的主动学习算法的收敛性
On the convergence of loss and uncertainty-based active learning algorithms
Daniel Haimovich, Dima Karamshuk, Fridolin Linder, Niek Tax, Milan Vojnovic
TL;DR我们研究了在各种假设下，损失和基于不确定性的主动学习算法的收敛速度。首先，我们给出了一组条件，用于线性分类器和线性可分数据集，以展示对基于损失采样和不同损失函数的收敛速度保证。其次，我们提供了一个框架，通过应用已知的随机梯度下降算法的收敛速度保证，来推导基于损失采样的收敛速度界限。最后，我们提出了一种主动学习算法，它结合了点采样和随机 Polyak 步长。我们展示了对平滑凸损失函数的此算法进行收敛速度保证的采样条件。我们的数值结果证明了我们提出的算法的效率。