Mar, 2024
BERT 模型中的注意力分数对 GLUE 基准上的句法和语义任务中的词类意识研究
A Study on How Attention Scores in the BERT Model are Aware of Lexical Categories in Syntactic and Semantic Tasks on the GLUE Benchmark
Dongjun Jang, Sungjoo Byun, Hyopil Shin
TL;DR本研究通过对 BERT 模型进行细调过程中,考察词汇类别对注意力分数的影响,进一步验证了重点语义信息的下游任务中注意力分数主要集中在内容词上的假设,并揭示了 BERT 层对特定词汇类别具有一致偏好的存在。