Mar, 2021

主动测试:高效模型评估

TL;DR本文介绍了一种新的样本效率模型评估框架——主动测试,通过精心选择要标记的测试点,以充分利用样本,解决了现有文献大都忽略了标记测试数据的成本,从而导致模型评估与实际应用的脱节的问题,在理论上建立了基于目标的获取策略并做了进一步的改进,以消除引入的偏差并在相同时间内降低估计方差。