本文介绍了一种新的样本效率模型评估框架 —— 主动测试，通过精心选择要标记的测试点，以充分利用样本，解决了现有文献大都忽略了标记测试数据的成本，从而导致模型评估与实际应用的脱节的问题，在理论上建立了基于目标的获取策略并做了进一步的改进，以消除引入的偏差并在相同时间内降低估计方差。

Mar, 2021

本研究致力于解决在大型带噪数据集上扩大模型评估规模的问题，并采用主动测试框架，有效查询用户，以最小化审核，测试两种常见计算机视觉任务的性能指标，并表明该方法比其他评估协议更具稳健性，并能节省显着的人工标注工作量。

Jul, 2018

本文提出了一种主动贝叶斯方法，通过选择实例进行标记来提高分类器模型性能的评估，从而在可靠性和标签效率上都满足要求，通过一系列系统实验评估现代神经分类器（例如，ResNet 和 BERT）在几个标准图像和文本分类数据集上的性能，证明了该方法的显着优势。

Feb, 2020

本文介绍了一个名为 ALT 的自动化系统，旨在解决长尾场景建模的问题，此问题在各种应用中经常遇到，但一直缺乏足够的关注。系统采用多种自动机器学习相关技术，包括元学习哲学、基于预算限制的神经架构搜索方法等，同时对系统的各模块进行了优化，为其提供更高的可行性和效率。实验结果表明，系统对于预算限制下的长尾场景建模问题非常有效。

May, 2023

使用可复现的主动学习评估框架来比较评估自然语言处理中的主动学习策略，并通过定义和跟踪实验参数，帮助实践者作出更明智的决策，同时帮助研究者开发出新的高效主动学习策略和制定最佳实践，从而降低注释成本。

Aug, 2023

本文研究使用贝叶斯神经网络进行主动学习，相较于集成技术更能有效地捕捉不确定性，拥有更好的模型效果，同时还揭示了集成技术的一些关键缺陷。

Apr, 2021

本研究旨在证明在相同实验条件下，不同类型的主动学习算法（基于不确定性、多样性和委员会的），与随机采样基准相比，产生的收益不一致，这种性能度量的差异性可能导致结果与以前报告的结果不一致，强正则化下，主动学习方法在各种实验条件下显示出微小或无优势，并提出一套关于如何评估主动学习算法的建议，以确保结果在实验条件变化下具有重复性和稳健性。

Feb, 2020

通过简单而有效的方法不仅可以降低主动学习过程的计算成本，还能保持模型性能，从而优化大规模数据集的标注效率。

Jan, 2024

本篇论文就深度主动学习进行了大规模实证研究，针对多种任务和数据集、模型以及获取函数，证实贝叶斯主动学习方法在许多方面都优于传统的不确定性采样方法。

Aug, 2018

使用改编自国际临床试验指南的估计框架，提出一种改进评估方法的方法，用于评估 AI 或机器学习模型的有效性和实用性，以揭示其潜在问题、原因和解决方案。

Jun, 2024