Jul, 2024
基于Transformer的语言模型的自动微调数据剪枝
Automatic Pruning of Fine-tuning Datasets for Transformer-based Language
Models
Mohammadreza Tayaranian, Seyyed Hasan Mozafari, Brett H. Meyer, James J. Clark, Warren J. Gross
TL;DR针对细调任务的训练集,提出了自动数据集修剪方法,基于模型对每个训练数据点的正确分类成功率,通过导航子集大小和评估准确性之间的权衡,实现平均3倍缩小的优胜票子集,从而提高模型的评估性能。