Dec, 2023

通用句法结构：为多种自然语言建模句法

PDF
TL;DR我们旨在解释人脑如何将单词连接起来形成句子，通过引入一种新颖的模型来建模句法表示，可能显示出所有自然语言的普遍句法结构的存在，从而提供人类大脑中语言工作方式的基本理解，同时为语言学、心理学和认知科学的理论提供一些见解。我们研究了普遍句法结构的逻辑和建模技术的方法论，试图分析展示不同自然语言（如英语和韩语）中语言过程的普遍性的语料库。最后，我们讨论了关于人类大脑理解方面的关键周期假说、普遍语法以及其他一些语言断言。
syntactic representationuniversal syntactic structureslanguage modelingcorpora analysishuman brain
发现论文，激发创造
  • 深度学习中的句法结构

    本文介绍了现代深度神经网络在机器翻译等需要广泛语言技能的工程应用中取得的卓越性能，探讨它们是否从接触的原始数据中引导出类似于人类语法知识的思想，并讨论这些工作对理论语言学的广泛影响。

    Apr, 2020

  • 薛定谔树 -- 论语法与神经语言模型

    本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。

    Oct, 2021

  • 神经语言模型是否显示对句法形式的偏好？

    研究深度神经语言模型的可解释性，通过在多种语言模型中应用基于深度句法和表层句法的分析方法，考察其对语法结构的捕获程度以及不同语言间的一致性关系，并发现该语言模型普遍倾向 “Universal Dependencies” 语法形式，并且这种倾向的强度与树形状的差异有关。

    Apr, 2020

  • 语法结构的普遍拓扑规律：从优化中解耦效率

    研究人类句法结构展现为图形表示后发现，其拓扑图形自身便符合有效沟通机制，而非优化沟通效率而来，此定论同时说明了语言沟通效率自身不一定优化。

    Jan, 2023

  • 语言的几何学

    本文从几个角度综合了各种主张，提出了一种独特的语言学派，将数学几何观点引入到语法中，描述了一种基于几何学的机制，用于解释人类语言里的显著特征，并提出了一种新型的匹配方法，利用代表单词的标记链来形成句子，并匹配语法词序。最终得到的二维和三维结合体为以往传统语法体系难以准确描述的语言规则提供了一种新视角。

    Mar, 2023

  • 深度神经网络训练的下一词预测中自发出现的词类表示

    探讨了人类语言习得中词汇分类的起源是基于先天内在结构还是出于自然学习的能力，利用人工神经网络预测语句中下一个词，揭示了也许由于预测编码和过程，大脑也可能形成抽象的词汇分类，即使其在训练时没有接收到有关词汇分类或语法规则的任何明确信息。

    Feb, 2023

  • 无句法结构的言语行为：跨越斯金纳和乔姆斯基

    探讨语言的本质及其生成语法对特定句法结构的授权方式等方面的问题，指出重新发现语言作为人类行为的本质并了解它的动态、社会、多模式、有意义、意图在于在他人和自己中促进可取的行动（或思维）可能可能指向语言的新的，可行的解决方案。

    Mar, 2023

  • 多语言语言模型中展示抽象语法表示的结构启动实证

    大型语言模型中存在类似人类的抽象的单语和跨语言语法表示，这些语法表示在不同语言中可以产生因果影响。

    Nov, 2023

  • 从顺序信息处理的瓶颈中获取语言结构

    人类语言是一种独特的自然界沟通方式，其系统性在于信号可以分解为词汇并通过一种规则方式组合成句子，且通过最小化过剩熵的方式实现自然语言一致性，进而达到高效的沟通和信息处理。

    May, 2024

  • 句子作为连接路径：大脑中句子结构的神经语言架构

    本文提出了大脑中句子结构的神经语言架构，其中句子是相互连接单词的时间连接路径，单词始终是内容可寻址的，“神经黑板” 可用于单词和句子，仅使用一个 “连接矩阵” 来绑定句子中单词之间的所有结构关系

    May, 2022