Sep, 2023

研究使用 ChatGPT 生成文本进行预训练对后续任务的影响

TL;DR通过一系列实验,我们的研究证明了在预训练阶段中利用人工生成的文本对于模型在下游任务的表现和性别偏见没有显著影响。