阅读适应的神经模型
通过对二十多种不同的计算模型测试发现,尽管这些模型可能包含不同的结构、方法和数据集,但其前向单词期望和人类阅读行为之间的关系是很直接的,其中深度 Transformer 模型和 n-gram 模型在眼动数据方面表现优异,而在句法知识和预测能力之间不存在重大关系。
Jun, 2020
通过在线实验,比较人类和神经语言模型在语法处理中的情况;发现当神经语言模型遇到语法问题时,会在显著性方面低估人类反应时间的不同,这对于现代语言模型是否接近人类对语法违规的敏感性提出了质疑。
Jun, 2021
本文研究了语言模型在认知建模和工程研究中的应用,提出了现代神经 LM 的局限性,其中与人类阅读过程相比,存在上下文访问能力的差异。限制 LM 上下文访问可以提高其模拟人类阅读行为的能力,同时将句法偏好纳入 LM 的上下文访问中也可以增强其认知合理性。
May, 2022
本文提出了两种优化神经网络语言模型适应新数据的方法,包括在重新采样数据上进行继续训练或插入适应性层。在 CAT 环境中应用于 SMT 系统中,这两种方法均取得了显著的改进。
Dec, 2014
神经语言模型(LM)在许多技术任务上的成功使其潜在相关性作为语言科学理论得以体现,尽管 LM 训练和儿童语言习得之间存在一些明显的差异。本文认为一些用于评估 LM 语法能力的主要基准可能不够严格,并表明基于模板的基准缺乏语言理论和心理学研究中常见的结构多样性。当用小规模数据对儿童语言习得进行建模时,LM 可以轻易地被简单的基准模型匹配。我们提倡使用现成的、经过精心策划的数据集,这些数据集已由大量母语用户进行了梯度可接受性评估,并旨在特别探索语法的结构基础。在这样一种数据集(LI-Adger 数据集)上,LM 在评估句子时与人类语言用户的方式不一致。最后,我们提出了更好地将 LM 与儿童语言习得的实证研究进行联系的建议。
Oct, 2023
研究最近聚焦于神经语言模型的成功因素,测试方法学、n-gram 模型以及 LSTM 模型等方式都被用来验证其句法表达的能力,本论文重现了最近论文的实验结果,显示了以字符串为基础的句法诱导训练的基本问题。
Apr, 2020