本文介绍了一种新的样本效率模型评估框架 —— 主动测试，通过精心选择要标记的测试点，以充分利用样本，解决了现有文献大都忽略了标记测试数据的成本，从而导致模型评估与实际应用的脱节的问题，在理论上建立了基于目标的获取策略并做了进一步的改进，以消除引入的偏差并在相同时间内降低估计方差。

Mar, 2021

减少标注数量并保持算法性能，通过主动学习算法在活动数据集中进行标签审核，可以提高模型性能，尤其在与不确定性查询策略相结合时。

Sep, 2023

为了解决现有远程监督关系提取方法中测试集质量低导致的评估偏差问题，本文提出了一种名为主动测试的新型评估方法，通过利用嘈杂的测试集和一些人工注释，可以为远程监督关系提取器提供几乎无偏的评估。在广泛使用的基准测试中，实验表明我们提出的方法可以为远程监督关系提取器提供几乎无偏的评估。

Oct, 2020

本文提出一种基于数据驱动的主动标签清理方法来解决数据注释中的标签噪音问题，通过对样本进行优先级排序，提高数据集质量，具有较好的可行性和高效性。

Sep, 2021

本文研究了如何在不可靠的情况下评估主动学习算法在训练期间的性能，并提出了三个主要挑战：如何推导性能分布，如何保留标记子集的代表性，以及如何纠正由于智能选择策略而引起的抽样偏差。

Jan, 2019

通过简单而有效的方法不仅可以降低主动学习过程的计算成本，还能保持模型性能，从而优化大规模数据集的标注效率。

Jan, 2024

本研究比较了三种主动学习方法和视觉检测，提出了六个新的指标来评估校准质量，并探讨了现有校准器是否能通过利用近似基准事实来扩大校准集合来提高性能。研究结果表明，即使在达到 0.95 的阈值时，探索的主动学习设置也可以将数据标注工作量减少三到四个百分点，并且不会损害整体质量目标。此外，研究结果表明，建议的校准指标成功捕获相关信息，无需获取基准事实数据，可以用于估计模型概率校准的质量。

Sep, 2022

本研究描述了一个可扩展的主动学习系统，旨在改善在自动驾驶中监督学习的数据效率，主要围绕深度神经网络、有监督学习、主动学习、自动驾驶和数据效率展开，同时探讨了一些挑战及其解决方法，并简要描述了未来发展方向。

Apr, 2020

本研究结合活性学习和增量学习的方法，提出一种基于不确定度的适用于大多数对象检测器的主动学习度量标准，并探讨在样本选择过程中如何解决类别不平衡问题，通过系统评估在 PASCAL VOC 2012 数据集上，实现对新未标注数据集的持续探索。

Sep, 2018

本文提出了一个统一的主动学习框架，并考虑到了检测器的不确定性和鲁棒性，从而保证了网络在所有类中的良好表现，并利用自动标注抑制潜在的分布漂移，提高了模型的性能。实验表明，我们的方法在 PASCAL VOC07+12 和 MS-COCO 上始终优于广泛应用的主动学习方法，在 mAP 上提高了 7.7%, 或在标注成本上降低了 82%。

Jun, 2021