主动测试：高效模型评估

ICMLMar, 2021

Active Testing: Sample-Efficient Model Evaluation

Jannik Kossen, Sebastian Farquhar, Yarin Gal, Tom Rainforth

TL;DR本文介绍了一种新的样本效率模型评估框架 —— 主动测试，通过精心选择要标记的测试点，以充分利用样本，解决了现有文献大都忽略了标记测试数据的成本，从而导致模型评估与实际应用的脱节的问题，在理论上建立了基于目标的获取策略并做了进一步的改进，以消除引入的偏差并在相同时间内降低估计方差。

Abstract

We introduce a new framework for sample-efficient model evaluation that we call active testing. While approaches like active learning reduce the number of labels needed for model training, existing literature lar

active testing sample-efficient model evaluation test data labeling acquisition strategies supervised machine learning

发现论文，激发创造

主动测试：一个高效和稳健的估计准确性的框架

本研究致力于解决在大型带噪数据集上扩大模型评估规模的问题，并采用主动测试框架，有效查询用户，以最小化审核，测试两种常见计算机视觉任务的性能指标，并表明该方法比其他评估协议更具稳健性，并能节省显着的人工标注工作量。

Jul, 2018

Active Testing: 一种远程监督关系抽取的公正评估方法

为了解决现有远程监督关系提取方法中测试集质量低导致的评估偏差问题，本文提出了一种名为主动测试的新型评估方法，通过利用嘈杂的测试集和一些人工注释，可以为远程监督关系提取器提供几乎无偏的评估。在广泛使用的基准测试中，实验表明我们提出的方法可以为远程监督关系提取器提供几乎无偏的评估。

Oct, 2020

深度主动学习破除幻觉

该研究旨在评估目前基于最新学习方法下的图像分类的主动学习策略的有效性，并且在更实际的情况下验证了选择语义分割的方法，其提出了一种更合适的评估协议。

Dec, 2019

计算高效的主动学习

通过简单而有效的方法不仅可以降低主动学习过程的计算成本，还能保持模型性能，从而优化大规模数据集的标注效率。

Jan, 2024

主动属性测试

本研究将基于活动学习的模型应用于属性测试领域，研究证明了测试新方法的可行性，包括线性分隔器和半监督学习，还提出了一种低限的尺寸概念以及测试新模型具有丰富多样的结构，并且将从一系列领域中的工具合部署进行了开发

Nov, 2011

ALT-MAS: 一种用于机器学习算法主动测试的数据高效框架

本论文介绍了一种基于贝叶斯神经网络的框架，可通过只使用少量标记测试数据有效地测试机器学习模型的正确性，该框架利用数据扩充方法训练 BNN 以实现高精度，同时采用理论信息为基础的采样策略来采样数据点以实现准确的度量估计，并通过实验表明我们的方法比现有基准显着地提高了指标估计的准确性。

Apr, 2021

评估实时主动学习绩效的限制

本文研究了如何在不可靠的情况下评估主动学习算法在训练期间的性能，并提出了三个主要挑战：如何推导性能分布，如何保留标记子集的代表性，以及如何纠正由于智能选择策略而引起的抽样偏差。

Jan, 2019

提高嘈杂数据集上主动学习的成本效益

主要介绍了主动学习策略在解决二分类问题中的应用，提出了一种基于偏移正态分布采样函数的方法，通过限制噪声和正类标签选择，提高了 20% 到 32% 的成本效率。

Mar, 2024

主动学习：问题设置和最新发展

本文介绍了有监督学习中获取标记数据的高成本和获取大量未标记数据的轻松方法，以及通过自适应选择标记样本来获得高精度预测模型的主要问题设置和最近的研究趋势。重点介绍了选择从数据中进行标记的学习获取函数的研究、关于主动学习算法的理论工作和顺序数据获取的停止标准。介绍了材料开发和测量的应用示例。

Dec, 2020

小数据的模型选择实用主动学习

本研究开发了一种基于支持向量分类的基础池式主动学习器的快速简单的实践方法，旨在解决很少标记数据点的情况下进行模型选择的挑战，并通过加权方法让模型在易于分类数据集和难以分类数据集之间取得平衡的最佳性能。

Dec, 2021