神经语言模型计算抽象同一关系是否类似于人类？

May, 2022

神经语言模型计算抽象同一关系是否类似于人类？

Is the Computation of Abstract Sameness Relations Human-Like in Neural Language Models?

Lukas Thoma, Benjamin Roth

TL;DR本研究探讨了最先进的 NLP 模型是否展现了来自人类认知的基本机制，特别是它们是否能计算 “抽象的相似关系” 这一机制，结果发现人类婴儿在计算该抽象机制方面的认知能力比所有研究中的预训练语言模型都要强。

Abstract

In recent years, deep neural language models have made strong progress in various nlp tasks. This work explores one facet of the question whether state-of-the-art NLP models exhibit elementary mechanisms known fr

deep neural language models nlp tasks human cognition grammar rules pre-trained language models

发现论文，激发创造

大型语言模型不是抽象推理器

本论文评估了最新的 Large Language Models 在抽象推理任务上的表现，并发现它们相比于其他自然语言处理任务的表现非常有限。作者探讨了这种差异的原因，并提出了一个新的基准，用于评估自然语言处理中的抽象推理任务。

May, 2023

语言模型对推理的人类内容效应展示

大型语言模型在抽象推理任务上表现优秀，但与人类推理问题存在相似的缺陷，同时受到人类知识和信仰的影响，使用可信的现实情境方案进行推理可以提高推理质量，这种关联性帮助我们了解认知效应和语言模型表现的因素。

Jul, 2022

评估神经语言模型作为语言习得的认知模型

神经语言模型（LM）在许多技术任务上的成功使其潜在相关性作为语言科学理论得以体现，尽管 LM 训练和儿童语言习得之间存在一些明显的差异。本文认为一些用于评估 LM 语法能力的主要基准可能不够严格，并表明基于模板的基准缺乏语言理论和心理学研究中常见的结构多样性。当用小规模数据对儿童语言习得进行建模时，LM 可以轻易地被简单的基准模型匹配。我们提倡使用现成的、经过精心策划的数据集，这些数据集已由大量母语用户进行了梯度可接受性评估，并旨在特别探索语法的结构基础。在这样一种数据集（LI-Adger 数据集）上，LM 在评估句子时与人类语言用户的方式不一致。最后，我们提出了更好地将 LM 与儿童语言习得的实证研究进行联系的建议。

Oct, 2023

在 LLMs 中检测概念抽象

我们提出了一种新颖的方法来检测大型语言模型中的名词抽象。从心理学动机的名词对集合开始，我们使用表示上位词关系的表面模式，并分析 BERT 生成的注意力矩阵。通过比较结果和两组反事实情况，我们展示了可以检测到抽象机制中的上位词关系，这不能仅仅与名词对的分布相似性有关。我们的发现是朝着解释大型语言模型中概念抽象的方向迈出的第一步。

Apr, 2024

循环神经网络语言模型总是学习类似于英语的关系从句连接

通过使用模糊性相对子句附加来扩展语言模型在多重同时有效解释的情况下的评估方法。我们比较了英语和西班牙语模型的表现，以展示 RNN LMs 中的非语言偏见优势重叠在英语而非西班牙语的句法结构上。因此，英语模型可能具有类似于人类的句法偏好，而在西班牙语上训练的模型无法获得类似的人类句法偏好。

May, 2020

人工神经网络对人类语言习得的启示

通过使用机器学习及自然语言处理技术，研究语言习得过程，探讨如何让模型学习在有限的语言输入下获取语言知识，以验证关于人类语言学习本质的假说。

Aug, 2022

神经语言模型和人类处理嵌套依赖的机制

使用深度学习方法训练的人工神经网络可以在一定程度上模拟人类语句处理的神经机制，但由于某些长距离内嵌依赖的影响，尚不支持完全递归，并且在与人类检测单复数一致性方面具有类似的误差模式。

Jun, 2020

语言模型实现简单的 Word2Vec 风格的向量算术

本文研究了语言模型在上下文学习中的机制和解决问题的策略，发现虽然它们规模巨大和复杂，但其实有时候它们会利用简单向量算术的机制编码抽象关系，并且利用前馈网络的简单线性更新算法来完成各种任务，在一定程度上具有可解释性。

May, 2023

利用关系抽象进行推理的学习

本文介绍了一种利用关系抽象概念来帮助大型语言模型在数学推理方面提高的新方法，并发现将这种序列用作提示可使模型具有更强的推理能力，特别是在需要执行多步任务的情况下。

Oct, 2022

AbsPyramid: 通过统一蕴含图衡量语言模型的抽象能力

本研究通过引入 AbdPyramid，一个包含 22.1 万个抽象知识描述的统一蕴含图，全面评估了语言模型在开放领域中的抽象能力。实验结果表明，现有的语言模型面临着在零样本和少样本情况下理解抽象知识的挑战，并且通过在我们的丰富的抽象知识上进行训练，语言模型可以获得基本的抽象能力并推广到未见过的事件。同时，我们的基准实证显示能够全面增强语言模型在之前的抽象任务中的性能。

Nov, 2023