本文介绍了一种使用构造语法概念来丰富语言表示的方法,该方法由一种基于使用的构造语法框架支持,通过提取具有辨别性的构造,然后利用关系超图注意网络获取构造信息的表示来增强语言表示,实验结果表明该模型在各种自然语言理解任务方面具有明显优势。
Jun, 2023
深度学习和自然语言处理在构造语法研究中产生了强大的模型,通过训练填空问题,显示了对丰富的语言信息和结构化知识的访问,本文旨在探索计算方法和构造语法研究之间的协同关系,并提供了深度学习模型的综合概述,以促进这两个领域的研究者之间的合作。
Aug, 2023
本文基于预训练语言模型研究了构式语法(CxG)与句法语义知识的兼容性,并探讨了预先训练的语言模型在英语比较关联结构(CC)的分类和理解中的表现,结果显示预训练语言模型的类人表现与语言学知识之间还存在显著差距。
Oct, 2022
通过学习构造语言学,将无人监督语法与语言学视角相结合,形成计算构造语法的任务,生成构建词的语料库;并且,将学习到的构建词的 Token 和类型等推广到不同的社会和地理语言方言的变异模式上的一项研究工作。
Jan, 2023
通过使用组合范畴语法(CCG)作为语法模型,研究人员发现可以更好地理解自然环境中语言理解的行为和神经相关性。使用 fMRI 收集参与者听故事期间的神经信号,研究发现 CCG 在解释神经信号方面的有效性优于上下文无关文法,并可以从可选附加语方面解释。
此篇研究论文旨在阐述建构语法与人工智能之间的关系,并探讨它们在语言研究和智能代理构建领域中的相互影响和重要性。
本研究旨在探究 BERT 模型是否有能力获取句法结构和语言构式方面的信息,并证明 BERT 模型可以获得大量的句法信息,这也为深度学习模型理解自然语言处理提供了新的思路。
Nov, 2020
通过使用依存解析和 GPT-3.5,我们以显著降低的注释成本且能标注稀有现象的规模,开展了一系列针对语言模型 (CxG) 的实验。结果显示所有模型在理解 CMC 中增加的运动成分方面都存在困难。
Mar, 2024
本文提出一种新的 GNN 设计策略,利用无上下文语法生成矩阵语言 MATLANG,从而确保 WL 表达能力,子结构计数能力和谱属性。根据该策略,设计了语法图神经网络 G$^2$N$^2$,证明了其在边级上计算长度为 6 的环并能够达到带通滤波器,实验结果证实了理论结果。
Mar, 2023
本研究设计实验以探究生成式语言模型如何学习上下文无关文法,并发现了 Transformer 如何利用物理机制隐式地编码文法结构、形成类动态规划的 attention,并在处理语法错误时表现出的鲁棒性方面的相关拓展。
May, 2023