构式语法与语言模型

MMAug, 2023

Construction Grammar and Language Models

Harish Tayyar Madabushi, Laurence Romain, Petar Milin, Dagmar Divjak

TL;DR深度学习和自然语言处理在构造语法研究中产生了强大的模型，通过训练填空问题，显示了对丰富的语言信息和结构化知识的访问，本文旨在探索计算方法和构造语法研究之间的协同关系，并提供了深度学习模型的综合概述，以促进这两个领域的研究者之间的合作。

Abstract

Recent progress in deep learning and natural language processing has given rise to powerful models that are primarily trained on a cloze-like task and show some evidence of having access to substantial linguistic

deep learning natural language processing computational methods construction grammar language models

发现论文，激发创造

建构语法为神经语言模型提供独特的洞见

本研究基于构式语法，对大型预训练语言模型（PLMs）在构式结构和含义方面的性能进行了探究，并提出了未来研究的建议和挑战。

Feb, 2023

建构语法与人工智能

此篇研究论文旨在阐述建构语法与人工智能之间的关系，并探讨它们在语言研究和智能代理构建领域中的相互影响和重要性。

Aug, 2023

利用结构信息增强语言表示以提升自然语言理解能力

本文介绍了一种使用构造语法概念来丰富语言表示的方法，该方法由一种基于使用的构造语法框架支持，通过提取具有辨别性的构造，然后利用关系超图注意网络获取构造信息的表示来增强语言表示，实验结果表明该模型在各种自然语言理解任务方面具有明显优势。

Jun, 2023

揭开语言习得的黑盒子

通过序列记忆和分块构建的最小认知体系架构用于学习语言，替代了使用深度学习的大型语言模型，并且能够从零开始学习人工语言，并提取支持学习的语法信息。研究表明这种简单的架构的强大性，并强调序列记忆作为语言学习过程的关键组成部分的重要性，这可能解释了仅人类发展了复杂语言的原因。

Feb, 2024

CxGBERT: BERT 遇上构式语法

本研究旨在探究 BERT 模型是否有能力获取句法结构和语言构式方面的信息，并证明 BERT 模型可以获得大量的句法信息，这也为深度学习模型理解自然语言处理提供了新的思路。

Nov, 2020

深度学习中的句法结构

本文介绍了现代深度神经网络在机器翻译等需要广泛语言技能的工程应用中取得的卓越性能，探讨它们是否从接触的原始数据中引导出类似于人类语法知识的思想，并讨论这些工作对理论语言学的广泛影响。

Apr, 2020

深度学习下的语言演变

计算建模对于语言的产生起着重要作用，通过模拟真实环境中可能引发结构化语言产生的条件和学习过程。本文探讨了一类最近在机器学习领域引起革命的计算模型：深度学习模型。章节介绍了深度学习和强化学习方法的基本概念，并总结了它们在模拟语言产生方面的帮助。还讨论了主要发现、限制以及近期构建逼真模拟的尝试。该章针对寻求使用深度学习作为研究语言进化工具的语言学家和认知科学家。

Mar, 2024

探索构式的结构：一个计算语言学的 CxG 的分析

通过学习构造语言学，将无人监督语法与语言学视角相结合，形成计算构造语法的任务，生成构建词的语料库；并且，将学习到的构建词的 Token 和类型等推广到不同的社会和地理语言方言的变异模式上的一项研究工作。

Jan, 2023

使用 CCG 分析和大型语言模型建模大脑中的结构构建

通过使用组合范畴语法（CCG）作为语法模型，研究人员发现可以更好地理解自然环境中语言理解的行为和神经相关性。使用 fMRI 收集参与者听故事期间的神经信号，研究发现 CCG 在解释神经信号方面的有效性优于上下文无关文法，并可以从可选附加语方面解释。

Oct, 2022

CALaMo: 语言模型的建构主义评估

本文提出了一种新颖的框架，运用建构主义方法评估神经语言模型的语言能力。该使用基础模型与神经结构的基本随机哲学一致，并且使语言学家将含义作为分析的决定性因素。我们概述了该框架并提出了两种可能的应用场景。

Feb, 2023