ACLJun, 2024

低资源科学自然语言推理的共同训练

TL;DR我们提出了一种新的协同训练方法,通过根据分类器的训练动态为远程监督标签分配权重,反映了它们在后续训练轮次中的使用方式。我们通过分配重要权重而不是基于预测置信度的任意阈值过滤示例,使得自动标记的数据得以最大化利用,同时确保噪声标签对模型训练的影响最小化。该方法相对于远程监督基准方法在 Macro F1 上实现了 1.5%的改进,并在几个其他强 SSL 基准方法上取得了显著的改进。我们在 Github 上提供了我们的代码和数据。