Nov, 2023

整体式迁移:以部分目标数据进行非干扰微调

TL;DR我们提出了一个学习问题,涉及将预先训练的源模型适应到目标领域,用目标数据对仅覆盖部分标签空间的所有类进行分类。我们发现在目标适应数据中保持缺失类的准确性以及提高总体性能是具有挑战性的,并提出了解决方法,包括分离领域梯度和分类梯度,以及保留类之间的关系。通过这些有效的解决方案,我们建立了预训练模型在部分目标数据上的整体转移的坚实基线。