EMNLPSep, 2021

跨语言和同一语言中的惊奇度 - 持续时间权衡

PDF
TL;DR研究发现，人类认知塑造了语言的演变和使用，600 种语言的语料库证实了超出和内部有惊讶 - 持续时间权衡的存在，结果是在不同语言中，更少惊讶的音位生成速度更快，反之亦然，并且确认了 319 种语言中更惊讶的音位平均更长。
human cognitionlanguage evolutionsurprisal-duration trade-offphonescorpus
发现论文，激发创造
  • 在 11 种语言中测试惊奇理论的预测

    通过对 11 种不同语言进行研究，我们发现惊奇理论与阅读时间之间存在跨语言的联系，验证了三个预测：惊奇度是否预测阅读时间、预期惊奇度是否预测阅读时间、以及惊奇度与阅读时间之间的联系是否是线性的，从而在更多语言上提供了信息论与递增语言处理之间至今最强大的连接。

    Jul, 2023

  • 探究大型语言模型中的意外性在语音合成韵律中的作用

    本文研究使用词汇惊奇度作为特征，以帮助语音合成韵律。研究通过实验发现，惊奇度和词重要性有适度关联，但使用惊奇度值来调整韵律模型的效果有限。

    Jun, 2023

  • 基于 Transformer 的语言模型惊奇度在使用约 20 亿训练令牌时最能预测人类阅读时间

    本文研究了基于 Transformer 的语言模型中，各种训练数据和不同容量的模型对于预测人类阅读时间的作用，并发现多数具有当代模型能力的变体，使用约 20 亿个训练标记后，所给出的 surprisal estimates 提供了最佳适合度，而较大的预先训练语言模型的较差适合度主要归咎于大量的训练数据，而 transformer-based 语言模型的某种程度的模型容量对于模型要捕捉类似于人类的期望是必要的。

    Apr, 2023

  • 人类语言高效的信息排序

    研究了五种语言中的词序的效率和局部词汇概率，提出了语言能力的偏见来自大脑对语言的理解，促使人类语言代际传播的方式不断变化。

    Oct, 2015

  • 人类语言的假观念：为何统计学需要语言学

    研究语言处理的统计表面分布和基于句法信息的离散分层结构之间的紧张关系，揭示了只有反映句法结构的 surprisal 模型能够解释语言的规律性。

    Feb, 2023

  • 使用神经机器翻译预测人类翻译难度

    人工翻译人员的阅读和翻译速度能够被神经机器翻译（NMT）模型的意外性和注意力特征解释，意外性是翻译困难度最成功的预测因素之一。

    Dec, 2023

  • 单词长度的优化。理论基础和实证研究

    此论文提出了一个简单的公式来度量语言词长的优化程度，并表明语言在优化方面的平均水平为 62％至 67％，声音上的语言单词持续时间的优化程度比字符中的写作长度更高。

    Aug, 2022

  • 语言模型性能度量在心理语言学建模中的应用：人们阅读行为的概率预测

    通过对现代神经结构的分析，提出一种新的语言建模表现度量并与人类主观认知语言处理结果的相关性来重新评估 Goodkind 和 Bicknell（2018 年）的观点，证明了一种基于困惑度的语言模型能否对阅读时间进行建模的线性假设不适用于 LSTM 网络，变形器和预训练模型。

    Sep, 2020

  • 语言、时间偏好与消费行为：基于大型语言模型的证据

    本研究分析了 GPT-3.5 在多种语言中对奖励和时间的偏好，发现当以德语和汉语等未来时态参照性较弱的语言提问时，GPT 表现出更高的耐心，并且发现虽然 GPT 可以捕捉到跨语言的变异，但它们所做出的选择并不符合人类决策者的选择。

    May, 2023

  • 语言模型模拟特定的认知模式：可预测性度量如何与个体差异相互作用的研究

    通过整合语言用户的认知能力信息，重新评估了从多种语言模型中估计出的意外性和熵的预测能力，以读时数据作为对处理工作的度量，研究发现大多数情况下，整合认知能力提高了意外性和熵对读时的预测能力，并且研究结果表明分析的语言模型模拟了具有较低语言智力的读者，对具有高语言智力的目标群体的预测估计较不准确。

    Jun, 2024