Oct, 2022

使用 CCG 分析和大型语言模型建模大脑中的结构构建

PDF
TL;DR通过使用组合范畴语法（CCG）作为语法模型，研究人员发现可以更好地理解自然环境中语言理解的行为和神经相关性。使用 fMRI 收集参与者听故事期间的神经信号，研究发现 CCG 在解释神经信号方面的有效性优于上下文无关文法，并可以从可选附加语方面解释。
ccgnaturalistic environmentsneural signalsgrammarlanguage comprehension
发现论文，激发创造
  • 建构语法为神经语言模型提供独特的洞见

    本研究基于构式语法，对大型预训练语言模型（PLMs）在构式结构和含义方面的性能进行了探究，并提出了未来研究的建议和挑战。

    Feb, 2023

  • 利用左角递归神经网络语法模拟人类句子处理

    本文调查了上下文中的分层结构对语言模型的人类化作用，并论证了用左角解析策略的分层模型比顺序模型和自上而下解析策略的分层模型更具有认知可信度，进一步探讨了认知可信度与 perplexity、解析和 beam size 之间的关系。

    Sep, 2021

  • 语言模型的物理学：第 1 部分，无上下文语法

    本研究设计实验以探究生成式语言模型如何学习上下文无关文法，并发现了 Transformer 如何利用物理机制隐式地编码文法结构、形成类动态规划的 attention，并在处理语法错误时表现出的鲁棒性方面的相关拓展。

    May, 2023

  • 技术报告：图神经网络进入语法领域

    本文提出一种新的 GNN 设计策略，利用无上下文语法生成矩阵语言 MATLANG，从而确保 WL 表达能力，子结构计数能力和谱属性。根据该策略，设计了语法图神经网络 G$^2$N$^2$，证明了其在边级上计算长度为 6 的环并能够达到带通滤波器，实验结果证实了理论结果。

    Mar, 2023

  • 利用复合性探索模型结构的广阔空间

    通过生成上下文无关文法来组织矩阵分解模型以进行模型选择，使用小型可重用算法估计预测似然和推断潜在组件，通过贪心搜索自动选择分解结构。

    Oct, 2012

  • 更好的语法，更好的语义？探究预训练语言模型对于英语比较关联的渗透

    本文基于预训练语言模型研究了构式语法（CxG）与句法语义知识的兼容性，并探讨了预先训练的语言模型在英语比较关联结构（CC）的分类和理解中的表现，结果显示预训练语言模型的类人表现与语言学知识之间还存在显著差距。

    Oct, 2022

  • 自动生成高质量 CCGbanks，用于解析领域自适应

    本文提出了一种基于依存树的语料库自动生成的领域自适应方法，简单易用且性能显著，适用于最先进的解析器，通过对生物医学文本、问题句子、语音对话和数学问题的实验数据验证，性能提高了 6.3% 到 8.3%。

    Jun, 2019

  • 构式语法与语言模型

    深度学习和自然语言处理在构造语法研究中产生了强大的模型，通过训练填空问题，显示了对丰富的语言信息和结构化知识的访问，本文旨在探索计算方法和构造语法研究之间的协同关系，并提供了深度学习模型的综合概述，以促进这两个领域的研究者之间的合作。

    Aug, 2023

  • 利用注意力图卷积网络进行超级标注组合范畴语法

    通过注意力图卷积网络以图形式建模词库中的信息，加强神经组合范畴语法（CCG）超标记，进而提高语法分析的准确性。实验结果表明，该方法在超标记和语法分析方面优于先前所有研究。

    Oct, 2020

  • 生成 CCG 类别

    通过生成类别而不是分类类别，我们提出了一种新的 CCG supertagger 方法，将每个类别分解为一系列更小的标记，以此更好地处理类别间的关系并增强与句子上下文的交互。该方法能够在标准 CCGBank 上实现最先进的标识 (95.5% 精确度) 和分析 (89.8% 标记 F1)，并在罕见类别、领域外文本和资源匮乏语言方面取得了有希望的结果。

    Mar, 2021