Aug, 2022
Transformer 模型在社会人口调整中的局限性
On the Limitations of Sociodemographic Adaptation with Transformers
Chia-Chien Hung, Anne Lauscher, Dirk Hovy, Simone Paolo Ponzetto, Goran Glavaš
TL;DR本文旨在探究在新型预训练变压器模型下是否也存在特定群体的社会人口因素能够大幅提高自然语言处理任务性能的情形，研究使用领域特定知识等有效的特化方法对性别和年龄这两个社会人口维度进行了适应，通过语言建模和动态多任务学习的组合，将语言表示出社会人口类别的预测，并在英语、德语、法语和丹麦语等四种语言中得到明显的提升，但是，实验结果表明，需要解决领域和语言等诸多影响因素所带来的困扰，才能权衡全面考虑社会人口因素对 NLP 模型的影响。