BriefGPT.xyz
Jun, 2023
多语言BERT模型的词形句法探测
Morphosyntactic probing of multilingual BERT models
HTML
PDF
Judit Acs, Endre Hamerlik, Roy Schwartz, Noah A. Smith, Andras Kornai
TL;DR
本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT和XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。
Abstract
We introduce an extensive dataset for
multilingual probing
of
morphological information
in language models (247 tasks across 42 languages from 10 families), each consisting of a sentence with a target word and a
→