EMNLPOct, 2023

跨语言结构引导及双语语言模型的预训练动态

PDF
TL;DR多语言语言模型是否在不同语言之间共享抽象语法表示以及这些抽象语法表示是何时形成的？我们使用结构启动测试进行研究，发现跨语言结构启动效应在第二语言曝光不到 1M 标记的数据后就会早期显现，并讨论了数据污染、低资源转移以及多语言模型中抽象语法表示形成的意义。
发现论文，激发创造
  • 多语言语言模型中展示抽象语法表示的结构启动实证

    大型语言模型中存在类似人类的抽象的单语和跨语言语法表示，这些语法表示在不同语言中可以产生因果影响。

    Nov, 2023

  • 语言模型中的结构稳定性：启动作为窥视抽象语言表征的窗口

    研究现代神经语言模型在结构启动方面的易感性，探讨如何利用启动来研究这些模型学习抽象结构信息的潜力，引入新度量和发布大型语料库 Prime-LM，发现 Transformer 模型确实显示结构启动的证据，但也显示出它们学习的概括在某种程度上受语义信息的调节，综合实验表明，模型获得的表示不仅编码抽象的连续结构，还涉及某些层次的句法信息。

    Sep, 2021

  • 语言模型展示人类类似的结构启动效应吗？

    我们研究了语言模型预测中在句子和单词级别发挥重要作用的语言因素，并调查这些因素是否反映了人类和人类语料库中的结果。我们利用结构启动范式，其中对结构的最近暴露有助于相同结构的处理。我们不仅调查了引导效果是否发生，还调查了它们发生的位置以及预测它们的因素。我们表明，这些效应可以通过逆频率效应来解释，即在人类引导中众所周知，引导中的较罕见元素增加引导效果，以及引导和目标之间的词汇依赖性。我们的结果为如何理解上下文中的属性如何影响语言模型中的结构预测提供了重要线索。

    Jun, 2024

  • 多语言语言模型的单 / 跨语言预训练动态分析

    本研究旨在探究跨语言预训练模型的学习过程，发现该模型在语言内表现出较高的性能，复杂任务在低级语言技能前学习。添加不同的语言对跨语言转移的学习时机不同，并且最终模型层表现存在时间衰减现象，语言知识向网络底层传递。

    May, 2022

  • 建模双语句子处理：评估 RNN 和 Transformer 体系结构用于跨语言结构启动

    通过评估循环神经网络（RNN）和 Transformer 在复制跨语言结构启动方面的表现，这项研究对人类语言处理中抽象语法表示的关键指标进行了评估。研究重点关注涉及两种类型不同的语言的中英启动，探讨这些模型如何处理结构启动这一稳定现象，即暴露于特定句子结构会增加之后选择类似结构的可能性。此外，我们还利用大型语言模型（LLM）来衡量跨语言结构启动效果。研究结果表明 Transformer 在生成启动句子结构方面的性能优于 RNN，挑战了人类句子处理主要涉及循环和即时处理的传统观念，同时表明了基于线索的检索机制的作用。总体而言，这项工作对于了解计算模型如何反映多语言环境中人类认知过程具有重要贡献。

    May, 2024

  • 多语言递归神经网络中的跨语言句法转移理解

    研究了现代神经语言模型的多语言训练中的字面表示空间和纯语法知识的共享，发现暴露我们的 LMs 与相关语言并不总是增加目标语言的语法知识，并且在语义转移的最佳条件下并不一定是语法转移的最佳条件。

    Mar, 2020

  • 跨语言事件抽取的语言模型预训练

    本篇研究提出了一个新颖的、与语言无关的方法来对语言模型进行 “引导”，从而在低资源和零 - shot 跨语言环境中提供特别有效的性能。

    Sep, 2021

  • 同一神经元，不同语言：探究多语言预训练模型中的形态语法

    该研究采用神经元级别探测器，在包括 43 种语言的 14 个形态句法类别上进行了大规模的实证研究，并发现了多语言预训练模型的跨语言重叠是显著的，但其范围可能因语言接近性和预培训数据的大小而异，支持其能够对语法进行语言通用的抽象。

    May, 2022

  • 以字节衡量跨语言转移

    通过实验证实，多语言预训练可以在源语言和目标语言之间进行跨语言迁移，且不仅语言污染和语言近似性是影响迁移的因素，还有一种语言无关的知识组件，可以用于跨语言迁移和知识传递。

    Apr, 2024

  • 印地语词序中的双重机制启动效应

    本文使用 Hindi 语料库和适应性神经语言模型，模拟词汇和语言结构的启动作用，并通过对预先构建的语料与人工生成的语料在句子成分上的差异进行逻辑回归分析，发现不同的启动机制独立并互补地作用于动词类别。

    Oct, 2022