击中目标：以代价为基础的最优主动学习停止

Oct, 2021

击中目标：以代价为基础的最优主动学习停止

Hitting the Target: Stopping Active Learning at the Cost-Based Optimum

Zac Pullar-Strecker, Katharina Dost, Eibe Frank, Jörg Wicker

TL;DR本文介绍利用主动学习通过提供可行建议，确定适合特定现实情景的停止标准以减少标注成本的方法。作者提出了大规模的停止标准比较，使用成本测量来量化准确性 / 标签交换，并提供了所有停止标准的公共实现和一个开源框架。

Abstract

active learning allows machine learning models to be trained using fewer labels while retaining similar performance to traditional supervised learning. An active learner selects the most informative data points,

active learning supervised learning stopping criteria labeling costs cost measure

发现论文，激发创造

使用无标记数据与标记数据停止文本分类上的主动学习

本文探讨了三种不同的数据源在确定何时终止有标注数据的主动学习过程中的优缺点，研究发现使用未标注数据的停止方法比使用已标注数据的方法更有效。

Jan, 2019

停用集对文本分类中主动学习停止的影响

本研究探究了不同的停止集选择对不同停止方法的影响，结果表明，停止算法的性能取决于停止集的选择，其中，基于稳定预测的停止方法的性能要强于基于置信度的停止方法，并且原始作者提出的无偏代表性停止集比最近发布的工作中使用的系统偏倚停止集表现更好，这些发现有助于阐明停止方法的这一重要方面的影响，这一方面在最近的发布工作中被忽视了，但对于重要的语义计算应用，如技术辅助审查和文本分类等，它对性能的影响可能很大。

Jan, 2022

评估实时主动学习绩效的限制

本文研究了如何在不可靠的情况下评估主动学习算法在训练期间的性能，并提出了三个主要挑战：如何推导性能分布，如何保留标记子集的代表性，以及如何纠正由于智能选择策略而引起的抽样偏差。

Jan, 2019

基于预测稳定性的主动学习停止分析

这篇论文首次对基于稳定预测的主动学习进行了理论分析，并揭示了该方法成功的三个关键因素: Cohen 的 Kappa 一致性、未标记的停用集和 Kappa 样本估计。

Apr, 2015

主动学习：问题设置和最新发展

本文介绍了有监督学习中获取标记数据的高成本和获取大量未标记数据的轻松方法，以及通过自适应选择标记样本来获得高精度预测模型的主要问题设置和最近的研究趋势。重点介绍了选择从数据中进行标记的学习获取函数的研究、关于主动学习算法的理论工作和顺序数据获取的停止标准。介绍了材料开发和测量的应用示例。

Dec, 2020

主动测试：高效模型评估

本文介绍了一种新的样本效率模型评估框架 —— 主动测试，通过精心选择要标记的测试点，以充分利用样本，解决了现有文献大都忽略了标记测试数据的成本，从而导致模型评估与实际应用的脱节的问题，在理论上建立了基于目标的获取策略并做了进一步的改进，以消除引入的偏差并在相同时间内降低估计方差。

Mar, 2021

适应性探索：收集高质量标签所需的工人数量

本文研究了如何利用质量评分来设计更好的停止规则，同时提出了自适应探索作为一种可扩展且自动创建基准的有前途的方法。通过一个实验模拟，证明了我们的算法比传统方法表现更优。

Nov, 2014

主动模型选择

该论文研究了主动学习中困难的预测模型选择问题，并提出一种基于模型探针（model probes）的方法 Biased-Robin Algorithm，能够在相同成本和先验概率下有效地选择模型。

Jul, 2012

计算高效的主动学习

通过简单而有效的方法不仅可以降低主动学习过程的计算成本，还能保持模型性能，从而优化大规模数据集的标注效率。

Jan, 2024

提高嘈杂数据集上主动学习的成本效益

主要介绍了主动学习策略在解决二分类问题中的应用，提出了一种基于偏移正态分布采样函数的方法，通过限制噪声和正类标签选择，提高了 20% 到 32% 的成本效率。

Mar, 2024