EMNLPOct, 2020
探究预训练语言模型的词汇语义
Probing Pretrained Language Models for Lexical Semantics
Ivan Vulić, Edoardo Maria Ponti, Robert Litschko, Goran Glavaš, Anna Korhonen
TL;DR本研究针对 6 种不同语言和 5 种不同词汇任务,对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析,并验证了较低变压器层携带更多类型级词汇知识的主张。