Jun, 2022

大脑中的中心嵌入和组成结构及无上下文语言的新特性描述

PDF
TL;DR用神经元的波动实现的计算系统最近被证明能够完成英语句子的依赖分析，本文讨论了该工作留下的两个最重要的问题：句法和处理依赖句子，特别是中心嵌入的问题，我们展示了这些语言方面的两个部分也可以通过神经元和突触实现，并且与我们已知的语言机制的结构和功能相容，我们的中心嵌入实现方式有助于提出无上下文语言的新特征。
computational systemspiking neuronssyntaxdependency parsingcenter embedding
发现论文，激发创造
  • 听觉中大脑的句法结构处理

    本文从语法分析的角度出发，通过探索不同的句法分析方法和语法特征对大脑语言网络的影响，以及与语义信息的关系，研究了其对大脑活动的预测能力，发现不同的语法分析方法在大脑不同区域的编码效果不同，而语法信息和语义信息的结合能够更好地预测大脑活动。

    Feb, 2023

  • 神经成分句法分析器的研究分析

    研究了现代和经典的组成分析方法的差异，以及神经网络在此领域的应用。高性能的神经模型代表了最新的工作，实验发现该模型隐式编码了过去语法和词汇表明确提供的信息，暗示这种支撑可以被强大的通用神经机制取代。

    Apr, 2018

  • 有限上下文对成分句法分析的限制

    本文探讨了当前神经语法学习方法对句法结构的表征方式，以及限制神经语法学习方法的表征能力的主要因素，并利用概率上下文无关文法为基础，说明上下文对神经语法学习方法进行语法分析决策时的关键作用。

    Jun, 2021

  • 从语言模型中归纳语言结构

    该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

    Mar, 2024

  • 语言学框架在神经符号语言建模中展开激烈较量

    本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。

    Dec, 2021

  • 神经成分句法分析的两种本地化模型

    本文研究了两种概念简单的本地神经模型，在成分分析中取得了高度竞争的结果，分别实现了 PTB 和 CTB5.1 中的标记支架 F1 得分为 92.4％和 87.3％。

    Aug, 2018

  • 一种基于句法跨度的最小神经网络成分句法分析器

    本文介绍了一种基于 label 和 span 独立评分的最小神经模型，并证明了该模型不仅与经典的动态规划技术兼容，而且还支持一种基于递归分割的新颖贪心自顶向下推理算法。经实验证明，两种预测方案竞争力强，并且与得分模型的基本扩展相结合，能够实现 Penn Treebank 的单模型最优性能（91.79 F1），并在法语 Treebank 上获得强大的性能（82.23 F1）。

    May, 2017

  • 利用成分句法进行共指消解

    通过使用基于图的方法，利用句法结构中的成分结构，包括语法树的长距离依赖和结构信息，实现了较强的代词消解技术。实验结果显示，在 OntoNotes 5.0 基准测试的英语和中文部分中，提出的模型要么超过了强基线要么实现了新的最高水平。

    Feb, 2022

  • 使用 CCG 分析和大型语言模型建模大脑中的结构构建

    通过使用组合范畴语法（CCG）作为语法模型，研究人员发现可以更好地理解自然环境中语言理解的行为和神经相关性。使用 fMRI 收集参与者听故事期间的神经信号，研究发现 CCG 在解释神经信号方面的有效性优于上下文无关文法，并可以从可选附加语方面解释。

    Oct, 2022

  • 人类和大型语言模型中潜在成分表示的主动运用

    人脑与大型语言模型在句子内部表征方面具有相似的层级结构，通过删除单词来推断句子的潜在分层结构，并证明了这种结构在人脑和语言模型中都能出现。

    May, 2024