Apr, 2024

无需种植树木的语法学习：理解变换器何时以及何种方式实现分层普遍化

PDF
TL;DR透过对自然语言数据训练的 Transformer 模型的研究和实验证明，具备语言建模目标的 Transformer 模型更容易学习和推广层次结构，并在处理无法预见的句法结构的句子时表现优异。
发现论文，激发创造
  • 语言模型中如何种植树木：数据和架构对句法归纳偏差发生的影响

    本文研究了预训练模型在通用语言中层次化句法功能的作用，通过诊断语法转换任务来诊断预训练参数的归纳偏差，结果表明，模型深度对于层次化泛化具有更大的作用，同时，在训练规模方面，使用适当的语料库预训练可以提高效率。

    May, 2023

  • 香草 Transformer 中的分层结构理解

    本文研究了神经序列和转换语言模型的层次结构泛化能力，发现通过长时间训练，模型能够学习到层次结构的一般性，对模型深度的分析证明浅层和深层不如中等深度的模型性能优秀。此发现证实了香草珂朵莉模型能够发现和使用自然语言中的层次结构。

    May, 2023

  • 序列到序列网络中的层级归纳偏差源：语法需要生长在树上吗？

    研究神经序列到序列模型中的归纳偏差如何影响其推广行为，发现只有采用具有语法结构的树状模型才能保持类人语法推广能力。

    Jan, 2020

  • 评估基于儿童语言训练的神经网络中的层次泛化能力

    本研究以 LSTMs 和 Transformers 为例子，通过与儿童语言输入类似的数据培训这两种没有分层偏见的神经网络，进而评估它们对英语的 yes/no 问题的理解。研究结果表明，在使用文本自然语言作为语言输入时，这两种模型都更接近于错误的线性规则而非正确的层级规则，推测人类对自然语言的依赖性需要更强的偏见。

    Jan, 2023

  • 只预训结构：利用迁移学习理解语言归纳偏差

    本研究通过对语言模型进行先验的结构性偏置，探索了不同感性学习偏差的影响，并研究了三种感性偏差的相对成功：1）递归，分层处理的感性偏差；2）无法通过上下文自由文法建模的无限制令牌 - 令牌依赖的感性偏差；和 3）一个 Zipfian 幂律词汇分布的感性偏差。我们发现，复杂的令牌 - 令牌交互形成了最好的感性偏向，并且在非上下文自由情况下最强。同时，我们还表明，独立于语法结构，Zipfian 词汇分布形成一个良好的感性偏向。

    Apr, 2023

  • 基于结构化任务训练的 Transformer 模型的系统泛化和涌现结构

    该文探讨了怎样使用 Transformer 网络在算法任务中表现良好，展示了多层 transformer 网络在任务分解中的可靠性解决方案，以及所有相关任务中的共享计算的利用。

    Oct, 2022

  • 重访刺激的贫乏：循环神经网络中的层次泛化之无层次偏差

    本研究使用循环神经网络探讨了语言学习者偏好使用分层规则的原因，发现循环神经网络架构的隐含偏见和语言内在层次结构线索结合可以诱导分层概括规则的习得。

    Feb, 2018

  • Transformer 语言模型的结构指导

    本论文研究了在不需要大量预训练的情况下，以结构为导向的指导是否能够使 Transformer 语言模型学习更接近人类的系统语言泛化。通过在 BLLIP 数据集上对两种新模型进行实验，研究者发现引入结构性解析的辅助训练能够提高 Transformer 语言模型在句法推理上的泛化能力。

    Jul, 2021

  • 给白板上色：预训练赋予序列到序列模型分层归纳偏置

    本文通过使用预训练的 seq2seq 模型，探究其是否能够在句法变换中进行层次化泛化，同时还证明了从未经注释的自然语言文本中可以学习到分层句法信息，_SEQ2SEQ 模型具有句法泛化能力，但需要比人类学习者接收更多的语言数据才能达到该能力_。

    Mar, 2022

  • 无监督分析的层次 Transformer

    本文扩展了转换器模型，使其能够学习自然语言中的层次结构，得到了较好的无监督语法分析结果。

    Mar, 2020