BriefGPT.xyz
Mar, 2021
主动测试:高效模型评估
Active Testing: Sample-Efficient Model Evaluation
HTML
PDF
Jannik Kossen, Sebastian Farquhar, Yarin Gal, Tom Rainforth
TL;DR
本文介绍了一种新的样本效率模型评估框架——主动测试,通过精心选择要标记的测试点,以充分利用样本,解决了现有文献大都忽略了标记测试数据的成本,从而导致模型评估与实际应用的脱节的问题,在理论上建立了基于目标的获取策略并做了进一步的改进,以消除引入的偏差并在相同时间内降低估计方差。
Abstract
We introduce
active testing
: a new framework for
sample-efficient model evaluation
. While approaches like active learning reduce the number of labels needed for model training, existing literature largely ignores
→