EMNLPSep, 2021
不同模型在语言知识定位方面并非都一样:对 BERToid 表示的逐层探索
Not All Models Localize Linguistic Knowledge in the Same Place: A Layer-wise Probing on BERToids' Representations
Mohsen Fayyaz, Ehsan Aghazadeh, Ali Modarressi, Hosein Mohebbi, Mohammad Taher Pilehvar
TL;DR本研究探究了不同的预训练模型(BERT、ELECTRA 和 XLNet)对语言信息编码的差异性,并表明基于深度的评估策略往往存在误导性,我们使用了一种信息论探究方法以获取更为可靠和有用的结论。