BriefGPT.xyz
大模型
Ask
alpha
关键词
surprisal estimates
搜索结果 - 3
将神经语言模型在发展合理数据的课程中进行训练,是否可以提高与人类阅读行为的一致性?
使用神经语言模型对人类行为进行建模在研究中获得了不同的结果。本文通过在 BabyLM 挑战中使用更贴近发展的数据集来探索实证数据和模型预测行为之间的不匹配程度。通过对 BabyLM 的数据集进行师生训练和课程设计,研究发现,虽然这种改进使得
→
PDF
7 months ago
基于 Transformer 的语言模型惊奇度在使用约 20 亿训练令牌时最能预测人类阅读时间
本文研究了基于 Transformer 的语言模型中,各种训练数据和不同容量的模型对于预测人类阅读时间的作用,并发现多数具有当代模型能力的变体,使用约 20 亿个训练标记后,所给出的 surprisal estimates 提供了最佳适合度
→
PDF
a year ago
更多地测量,更多地询问:基于 Transformer 的语言模型和补语迫使的实验研究
本文针对变形金刚自然语言处理模型对于隐含意义的反应进行了研究,比较了存在和不存在隐含意义的句子中关键句的 surprisal 估计值,并在关键句所在位置及最小差异处发现了不同的影响。此外,作者使用了后续实验来排除潜在混淆因素,并揭示了不同视
→
PDF
2 years ago
Prev
Next