AAAISep, 2021

预训练语言模型的可迁移性研究：来自人工数据集的探讨

PDF
TL;DR本文研究了预先训练语言模型在下游任务中表现卓越的特定特质，包括匹配预训练集和下游任务的词汇统计信息、明确依赖关系和隐式依赖的长度等。实验证明，在预先训练数据的明确依赖关系中加入后，模型的下游性能显著提高。我们发现预先训练模型是有可能在下游任务中学习到虚假的相关性。即使语言模型没有预先在自然语言上进行训练，只要其能够模拟序列中的令牌依赖关系，仍然可以在某些语言任务中获得迁移能力。
pre-training language modelsdownstream taskspre-training corporadependenciestransferability
发现论文，激发创造
  • 低资源领域适应的多阶段预训练

    本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

    Oct, 2020

  • 研究预训练语言模型在跨领域数据集上，更接近通用人工智能的一步

    本文研究了预训练语言模型在领域任务泛化能力方面的能力，发现预训练模型在计算机视觉、蛋白质折叠预测等任务中表现出色，优于从头开始训练模型，并指出预训练嵌入在输入层非常重要。

    Jun, 2023

  • 迁移学习对深度自然语言处理模型中语言知识的影响？

    本文研究对先前已经预训练好的 Bert、RoBERTa 和 XLNet 等神经语言模型通过微调来改进下游自然语言处理任务的表现，并使用层级和神经元级别的诊断分类器来检查这些模型的语言知识的学习方式，发现这些模型对于不同的任务有不同的语言知识保留或遗忘方式，这种模式在三个模型中都有所不同。

    May, 2021

  • 用人工语言进行预训练：研究语言模型可迁移的知识

    通过在人工语言上预训练编码器并探究其在自然语言处理中的表现，研究神经网络编码器中可迁移的结构知识，发现嵌套依赖结构的人工语言的预训练可以提供一些可迁移的知识，并且转移的成功与编码器中编码的上下文信息量相关，转移的是语言上下文依赖的位置感知知识。

    Mar, 2022

  • 研究使用 ChatGPT 生成文本进行预训练对后续任务的影响

    通过一系列实验，我们的研究证明了在预训练阶段中利用人工生成的文本对于模型在下游任务的表现和性别偏见没有显著影响。

    Sep, 2023

  • 数据相似性无法充分解释语言模型的性能

    大型语言模型的性能在许多下游任务上都很高，但并非所有任务都能实现高性能。我们通过与下游基准测试的大规模比较，测试了预训练数据与任务数据之间的相似度是否与语言模型的性能相关。我们惊讶地发现，在其他基准测试中，相似度指标与准确性甚至彼此之间都没有相关性。这表明预训练数据与下游任务之间的关系比通常认为的更加复杂。

    Nov, 2023

  • 下游数据集出人意料地成为良好的预训练语料库

    本文介绍了一个大规模的自我训练研究，其中使用相同的（下游）训练数据进行预训练和微调，并且观察到自我预训练可以与标准预训练相媲美，这表明在许多情况下，预训练性能增益主要受预训练目标本身的驱动，而不一定是庞大数据集的影响。

    Sep, 2022

  • 大型语言模型除语言外还能学到什么？

    本文调查了大型语言模型是否通过文本预训练会赋予这些模型有助于非语言推理的归纳偏差。通过对 19 个多样化的非语言任务进行试验，包括量化计算、识别正则表达式和对字符串的推理，我们发现预先训练的模型明显优于可比较的非预先训练的神经模型，即使在带有更少参数的情况下进行训练以适应模型正则化效应。同时，我们进一步探讨了不同文本领域对用户体验的影响，并发现即使在预训练多语言文本或计算机代码并生成合成语言的情况下，也可以持续预训练的积极效应。这些发现暗示了预先培训与模型的归纳学习能力之间的深层联系。

    Oct, 2022

  • 使用预训练语言模型生成数据集

    本文介绍了一种利用预训练语言模型生成标注文本数据集的方法，从而实现高质量的无监督学习得到的句子嵌入。实验结果表明，这种方法在多个语义文本相似性测试数据上实现了比较好的性能表现。

    Apr, 2021

  • 使用人类偏好进行语言模型预训练

    通过在预训练中引入人类的反馈，实现对于语言模型的生成文本的可控和可导向性，减少哪些偏离人类喜好的内容的生成，并且在标准的预训练和任务特定的微调中保持下游任务表现。推荐在训练开始时，就结合人类反馈，不再使用模仿学习的方式预训练语言模型。

    Feb, 2023