BriefGPT.xyz
大模型
Ask
alpha
关键词
distributional control
搜索结果 - 1
预训练模型中非受控的词汇暴露导致组合泛化被高估
通过对 Kim and Linzen(2020)的 COGS 基准进行测试,我们发现两种修改后的评估设置均导致 T5(Raffel et al.,2020)的泛化性能降低,暗示以前报道的结果由于预训练期间未受控制的词汇暴露而被高估。
PDF
2 years ago
Prev
Next