Oct, 2024

使用带注释的文学方言语料库检验语言建模假设

TL;DR本研究解决了对19世纪美国文学正字法变异的理解不足,提出了一个带有方言标签的语料库,以进行计算实验。该论文展示了通过不同的标记化方案,模型对正字法信息的提取方式受到显著影响,揭示了“方言效应”在多种语言渠道中如何表现并影响结果。