本文研究了基于 Transformer 的语言模型中，各种训练数据和不同容量的模型对于预测人类阅读时间的作用，并发现多数具有当代模型能力的变体，使用约 20 亿个训练标记后，所给出的 surprisal estimates 提供了最佳适合度，而较大的预先训练语言模型的较差适合度主要归咎于大量的训练数据，而 transformer-based 语言模型的某种程度的模型容量对于模型要捕捉类似于人类的期望是必要的。

Apr, 2023

通过整合语言用户的认知能力信息，重新评估了从多种语言模型中估计出的意外性和熵的预测能力，以读时数据作为对处理工作的度量，研究发现大多数情况下，整合认知能力提高了意外性和熵对读时的预测能力，并且研究结果表明分析的语言模型模拟了具有较低语言智力的读者，对具有高语言智力的目标群体的预测估计较不准确。

Jun, 2024

通过对现代神经结构的分析，提出一种新的语言建模表现度量并与人类主观认知语言处理结果的相关性来重新评估 Goodkind 和 Bicknell（2018 年）的观点，证明了一种基于困惑度的语言模型能否对阅读时间进行建模的线性假设不适用于 LSTM 网络，变形器和预训练模型。

Sep, 2020

通过对 11 种不同语言进行研究，我们发现惊奇理论与阅读时间之间存在跨语言的联系，验证了三个预测：惊奇度是否预测阅读时间、预期惊奇度是否预测阅读时间、以及惊奇度与阅读时间之间的联系是否是线性的，从而在更多语言上提供了信息论与递增语言处理之间至今最强大的连接。

Jul, 2023

本篇研究检验了阅读的预测性质，发现上下文熵对阅读时间的预测能力高于或等于惊奇程度，在四个阅读数据中三个能够预测阅读时间。此外，作者提出了四个认知机制来支持上下文熵对阅读时间的影响，从而支持阅读具有先见性和响应性的观点。

Nov, 2022

大型、数据庞大的基于 Transformer 的语言模型对于罕见单词的预测更加准确，从而导致它们的意外度估计与人类的阅读时间相关性降低。

Feb, 2024

语言模型的下一个词概率已成功模拟了人类阅读行为。然而，在此基础上的研究表明，为了提供人类首选回答而进行的指导调整反而降低了大型语言模型在计算心理语言学视角下的心理测量预测能力。此外，使用特定语言学假设的提示方法仍然不如基础语言模型，暗示最近的指导调整和提示方法在认知建模中无法提供比基础语言模型更好的估计。

Nov, 2023

本文研究使用词汇惊奇度作为特征，以帮助语音合成韵律。研究通过实验发现，惊奇度和词重要性有适度关联，但使用惊奇度值来调整韵律模型的效果有限。

Jun, 2023

通过对二十多种不同的计算模型测试发现，尽管这些模型可能包含不同的结构、方法和数据集，但其前向单词期望和人类阅读行为之间的关系是很直接的，其中深度 Transformer 模型和 n-gram 模型在眼动数据方面表现优异，而在句法知识和预测能力之间不存在重大关系。

Jun, 2020

LLM 文本解码是感知 LLM 质量的关键组成部分。我们展示了两个实验，证明通过操纵记号概率可以改进解码方法。首先，我们在 SummEval 摘要评分数据集上测试了几个 LLM，以衡量阅读理解能力。我们将得分与下一个记号分布的预期值进行比较，通过放大温度来缩放 logits 以增加得分的熵。这使得在 SummEval 上性能得到了显著提高（通过与人类判断的相关性来衡量）。对于 7B Mistral，我们从 6-8% 提高到 13-28%，对于 Mixtral，我们从 20%-46% 提高到 37%-56%，超过了 GPT 4 0314 在两个度量指标上的结果。提升的一部分似乎与位置偏置相关。其次，我们使用基于概率的树采样算法来检查给定提示的所有最可能生成的结果。

Jun, 2024