EMNLPSep, 2021

语言模型需要多少预训练数据才能学习语法？

PDF
TL;DR本研究探讨了预训练数据大小对 RoBERTa 模型的句法能力及其在下游应用中的影响，并分析了训练此类模型的成本效益权衡。结果显示，虽然预训练数据大小的增加会显著提高模型的句法能力及在下游任务中表现，但这也带来了更高的经济和环境成本。
pretraining data sizesyntactic capabilitiesrobertadownstream applicationscost-benefit trade-off
发现论文，激发创造
  • 何时需要数十亿字的预训练数据？

    通过四种探究方法，我们发现语言模型只需要大约 100M 的单词量，就能够可靠地编码大多数句法和语义特征，而大量的数据需要用来获得足够的常识和其他技能，以掌握典型的下游 NLU 任务。

    Nov, 2020

  • 语法增强的预训练模型

    文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

    Dec, 2020

  • 语言模型中如何种植树木：数据和架构对句法归纳偏差发生的影响

    本文研究了预训练模型在通用语言中层次化句法功能的作用，通过诊断语法转换任务来诊断预训练参数的归纳偏差，结果表明，模型深度对于层次化泛化具有更大的作用，同时，在训练规模方面，使用适当的语料库预训练可以提高效率。

    May, 2023

  • 压缩语言模型中预训练数据量的重要性

    我们研究了预训练数据量对紧凑型语言模型的影响。我们发现，即使只有 100MB 的预训练数据，通过在法语问答数据集（FQuAD）上微调 BERT 模型，都可以得到表现很好的模型。此外，我们还展示了，除了任务特定的语料库，中等数量的预训练数据并不能取得实质性的改进。

    Oct, 2020

  • Syntax-BERT：在预训练变形金刚模型中加入句法树以提升性能

    本文提出了一种名为 Syntax-BERT 的新型框架，它可以有效地并高效地将句法树结构融入到基于 Transformer 的任何预训练模型中，并在多个先前的预训练模型上取得了稳定的性能提升，进一步证明了句法信息在 NLP 任务中的重要性。

    Mar, 2021

  • 语法树能帮助预训练 Transformer 提取信息吗？

    本文研究如何将依存树信息合并到预训练的 Transformer 模型中以提高信息提取任务的性能，在语义角色标注和关系抽取任务上，采用两种相似但不同的模型设计策略，通过实证研究发现这些语法增强的 Transformer 模型的性能提高取决于依存关系解析的质量。

    Aug, 2020

  • 神经语言模型中，数量不代表语法质量

    本论文研究了增加神经网络大小和训练语料对于缓解基于循环神经网络的语言模型中存在的语法复杂性问题的作用。研究发现，增加网络大小和扩展语料对于缓解该问题的效果都有限，而与基于 Transformer 的模型 GPT 和 BERT 相比，LSTM 模型在某些结构下表现更好。因此，本研究倡导更为数据高效的神经网络结构。

    Aug, 2019

  • 预训练语言模型的可迁移性研究：来自人工数据集的探讨

    本文研究了预先训练语言模型在下游任务中表现卓越的特定特质，包括匹配预训练集和下游任务的词汇统计信息、明确依赖关系和隐式依赖的长度等。实验证明，在预先训练数据的明确依赖关系中加入后，模型的下游性能显著提高。我们发现预先训练模型是有可能在下游任务中学习到虚假的相关性。即使语言模型没有预先在自然语言上进行训练，只要其能够模拟序列中的令牌依赖关系，仍然可以在某些语言任务中获得迁移能力。

    Sep, 2021

  • 有阅读素养的学生学习更好：关于预训练紧凑模型的重要性

    本文研究自然语言表示、模型压缩技术、预训练、微调和知识蒸馏等方面的互动关系，提出了一种简单而有效的预训练蒸馏算法，分析了模型大小和无标记任务数据属性对其的影响。

    Aug, 2019

  • 领域特定预训练模型的重要性：相较通用模型而言

    研究表明，对面向单一领域的数据进行预训练，也可以得到性能强大且经济实惠的替代解决方案，本文以 StackOverflow 为例，使用 SOBertBase 和 SOBertLarge 模型在该领域上预训练，并在 SO 特定的四个下游任务上验证了其表现优于基线和大型通用模型。

    Jun, 2023