EMNLPDec, 2022
基於 GPT-2 注意力模式的熵和距離預測器,預測閱讀時間超過 GPT-2 驚奇值
Entropy- and Distance-Based Predictors From GPT-2 Attention Patterns Predict Reading Times Over and Above GPT-2 Surprisal
Byung-Doh Oh, William Schuler
TL;DR本文探讨了 Transformer-based 大型语言模型的自我注意力机制在认知建模领域中的作用,提出了基于熵和距离的预测器,并证明了在使用与 GPT-2 语言模型相关的数据进行回归实验时,距离预测器相较于基于 surprisal 的预测器有更高的预测能力。