ACLOct, 2022

评估变换器神经网络作为英语过去时屈折的认知模型

PDF
TL;DR本研究通过训练一组不同参数设置的 Transformer 模型，在英语动词过去式词形成任务上取得了高精度，进一步暗示了模型具有某种程度的抽象学习能力，但其表现不符合人类数据，可能不是一个好的认知模型。
neural networkslanguageregularitytransformer modelscognitive model
发现论文，激发创造
  • 神经网络作为屈折的认知模型的全面对比

    本文研究神经网络在人类推断词形变化时的可行性，通过英语过去式和德语数词变化等两个重要认知任务的实验，发现变压器可能比 LSTM 更好地解释了人类的行为，并且已知增加词形变化准确性的 LSTM 功能并不总是导致更符合人类行为的结果。

    Oct, 2022

  • 编码 - 解码神经网络作为英语过去时屈折的认知模型

    本文研究了现代编码器 - 解码器模型在处理英文过去式方面的表现，发现其表现不如传统的基于规则的模型，因此我们认为目前还没有足够的证据证明神经网络对于此任务的性能很好。

    Jun, 2019

  • 在没有统一形态的情况下的屈折变化：编码器 - 解码器神经网络在德语复数中的认知模型的局限性

    通过研究人类和 Encoder-Decoder 模型在英语和德语动词词形和名词复数形式的记忆和推广的行为，我们发现现代神经模型可能仍然难以适应少数种类的推广。

    May, 2020

  • Transformers 中频率对句法规则学习的影响

    本研究探讨预先训练的语言模型处理语言任务时是否具有一定程度的符号推理能力，并使用 BERT 模型的英语主语 - 谓语一致性表现为案例研究，发现 BERT 模型能够应用主语 - 谓语一致性规则进行推理，但受单词频率影响较大。

    Sep, 2021

  • 论 Transformer 识别形式语言的能力和限制

    本文系统研究了 Transformers 模型在模拟正则语言和反计数语言中的能力，并探讨了其中各组件的作用，发现相比于 LSTMs，在某些行为建模上有一定优势，同时也揭示了自我注意机制和位置编码对模型学习和泛化能力的影响。

    Sep, 2020

  • 使用 Transformer 模型进行语义流畅性的认知建模

    使用前沿的深度语言模型进行超参数猜测，探讨这些模型设计的局限性，以追求认知行为的个性化描述符；在预测语义流畅性任务表现时，我们使用了几种方法来预测下一个发言，表明 TLM 可以更好地计算个体差异和人类记忆提取策略，为知识表示的认知建模提供新思路。

    Aug, 2022

  • 神经模型学习自然语言中单调推理的系统性吗？

    本文介绍了一种评估神经模型能否学习自然语言的单调性推理系统性的方法，并考虑了语法结构的重要性，实验表明神经模型的推理性能在语法结构相同的情况下很好。

    Apr, 2020

  • 语言学理论中的循环神经网络：重访 Pinker 和 Prince（1988 年）以及过去式争论

    研究 NLP 中神经网络在认知建模中的作用，以经典案例研究为基础，提出了使用现代 NLP 系统中的编码器 - 解码器网络架构可以克服早期模型不足之处的可能性，证明现代神经网络在语言和认知建模中的实用性值得重新评估。

    Jul, 2018

  • 神经语言模型中动词偏置表征的研究

    通过大规模数据集 DAIS，本文研究谓语偏向性对人类习惯表述的影响，探究神经语言模型对人类偏好的表达能力，结果表明基于 transformer 架构较基于循环神经网络较佳，并具有更好的语法信息融合表达能力。

    Oct, 2020

  • 复仇之后？循环模型与变形金刚在预测人类语言理解度量方面相匹敌

    RNN architectures RWKV and Mamba perform natural language tasks comparably to or better than transformers, challenging the notion that transformers are uniquely suited for modeling online human language comprehension.

    Apr, 2024