Jun, 2020

神经语言模型对人类实时理解行为的预测能力

PDF
TL;DR通过对二十多种不同的计算模型测试发现，尽管这些模型可能包含不同的结构、方法和数据集，但其前向单词期望和人类阅读行为之间的关系是很直接的，其中深度 Transformer 模型和 n-gram 模型在眼动数据方面表现优异，而在句法知识和预测能力之间不存在重大关系。
human reading behaviorcomputational architecturepsychometric predictive powernatural languagesyntactic knowledge
发现论文，激发创造
  • 语言模型性能度量在心理语言学建模中的应用：人们阅读行为的概率预测

    通过对现代神经结构的分析，提出一种新的语言建模表现度量并与人类主观认知语言处理结果的相关性来重新评估 Goodkind 和 Bicknell（2018 年）的观点，证明了一种基于困惑度的语言模型能否对阅读时间进行建模的线性假设不适用于 LSTM 网络，变形器和预训练模型。

    Sep, 2020

  • 大型语言模型的心理测量预测能力

    语言模型的下一个词概率已成功模拟了人类阅读行为。然而，在此基础上的研究表明，为了提供人类首选回答而进行的指导调整反而降低了大型语言模型在计算心理语言学视角下的心理测量预测能力。此外，使用特定语言学假设的提示方法仍然不如基础语言模型，暗示最近的指导调整和提示方法在认知建模中无法提供比基础语言模型更好的估计。

    Nov, 2023

  • 多语言语言模型预测人类阅读行为

    本文研究利用大型语言模型来预测人类阅读行为，并比较了针对特定语言和多语言的预训练变压器模型在预测荷兰语、英语、德语和俄语文本上反映自然人类句子处理的阅读时间测量方面的表现。结果显示，变压器模型可以准确地模拟人类阅读行为，预测出了各种眼动特征，表明变压器模型可以以类似于人类处理机制的方式隐式地编码语言的相对重要性。作者还分析了这些模型的跨领域和跨语言能力，并展示了它们如何反映人类句子处理。

    Apr, 2021

  • 语言模型比经验可预测性更好地解释单词阅读时间

    本文研究了语言模型在理解阅读中的应用，发现概率语言模型在得知前文后更有深入的语法和语义解释，从多个层面上与阅读时间都有非常明显的关联。

    Feb, 2022

  • 基于 Transformer 的语言模型惊奇度在使用约 20 亿训练令牌时最能预测人类阅读时间

    本文研究了基于 Transformer 的语言模型中，各种训练数据和不同容量的模型对于预测人类阅读时间的作用，并发现多数具有当代模型能力的变体，使用约 20 亿个训练标记后，所给出的 surprisal estimates 提供了最佳适合度，而较大的预先训练语言模型的较差适合度主要归咎于大量的训练数据，而 transformer-based 语言模型的某种程度的模型容量对于模型要捕捉类似于人类的期望是必要的。

    Apr, 2023

  • 人类与语言模型在预测重复文本时的差异

    通过研究语言模型在下一个单词预测任务中的表现与人类行为模式的比较，发现人类与 GPT-2 语言模型在文本展现初期表现强相关，随着记忆（或背景学习）的作用逐渐发挥，二者的表现迅速分歧，研究发现这种分歧的原因是特定的中间层注意力头部，为此通过在这些注意力头部中添加幂律最近偏倚，构建了一个更接近人类行为的模型，希望此案例能够推动将语言模型更加贴近人类行为的未来研究。

    Oct, 2023

  • 语言模型模拟特定的认知模式：可预测性度量如何与个体差异相互作用的研究

    通过整合语言用户的认知能力信息，重新评估了从多种语言模型中估计出的意外性和熵的预测能力，以读时数据作为对处理工作的度量，研究发现大多数情况下，整合认知能力提高了意外性和熵对读时的预测能力，并且研究结果表明分析的语言模型模拟了具有较低语言智力的读者，对具有高语言智力的目标群体的预测估计较不准确。

    Jun, 2024

  • 使用计算语言模型预测人类心理测量属性

    本研究得出结论，Transformer-based language models 可以在模拟语言理解任务中预测人类心理测量数据，这为心理测量学家节省了多轮实验测试的必要性。

    May, 2022

  • 神经语言模型并非一出生就适合大脑数据，但训练有助于改善

    本文探讨了使用神经语言模型对大脑活动进行研究的方法，主要研究了测试损失、训练语料库和模型架构对捕捉大脑活动的影响，并提出了未来研究的良好实践建议。

    Jul, 2022

  • 阅读适应的神经模型

    研究表明，人类能够快速适应当前语言环境的词汇和句法预期，添加一个简单的适应机制到神经语言模型中可以提高我们对人类阅读时间的预测准确度，该模型不仅可以适应词汇，还可以适应抽象的句法结构。

    Aug, 2018