Aug, 2021

自然语言处理中基于Transformer的预训练模型综述

HTML
PDF
TL;DR本论文对基于Transformer的预训练语言模型进行了全面调查，并介绍了自监督学习、预训练方法、嵌入、下游适应方法等核心概念以及T-PTLMs的新分类法，提供了各种有用的库以及未来研究方向，该论文可作为学习核心概念和了解T-PTLMs近期进展的参考资料。
发现论文，激发创造
  • MiniLM: 预训练Transformer的深度自注意力蒸馏的任务无关压缩

    本文通过对最后一层Transformer模型中的自我注意模块的蒸馏，提出了一种简单有效的压缩大型预训练模型的方法，同时引入了新的“缩放点积”深层自我注意知识，并在这个基础上设计了一个小留学生模型来减少参数量和延迟，实现了对GLUE质量基准测试的有效超越。

    Feb, 2020

  • 自然语言处理的预训练模型：一项调查

    本文主要介绍了预训练模型在自然语言处理领域的应用。首先简要介绍了语言表示学习及其研究进展，然后系统地从四个角度分类现有的预训练模型，接下来介绍如何将预训练模型的知识应用于下游任务，并提出了一些未来研究的潜在方向。该综述旨在成为一个操作性指南，帮助理解、使用和开发各种自然语言处理任务的预训练模型。

    Mar, 2020

  • 规模化波兰变压器语言模型预训练

    本文介绍了两个基于流行的BERT架构的波兰语语言模型，经过评估，我们的模型在13个波兰语语言任务中取得了显著的提高。

    Jun, 2020

  • 利用渐进式层丢弃加速基于Transformer的语言模型训练

    本文提出了基于渐进式层丢弃的方法，通过模型结构和训练技术的提升效率，加速了基于Transformer的语言模型的训练，相较于基准实验可以在每个样本上平均节省24%的时间，让预训练速度提高2.5倍，同时保持强的知识可迁移性。

    Oct, 2020

  • 利用单词嵌入正则化进行语言模型的任务自适应预训练

    该论文提出了一种名为TAPTER的新型fine-tuning方法，该方法可以通过调整PTLM的静态词嵌入来实现领域自适应，无需额外的语料库，并且能提高标准fine-tuning和任务自适应预训练在生物医学和维基百科领域的性能。

    Sep, 2021

  • 大型预训练语言模型在自然语言处理中的最新研究进展：综述

    本文介绍了使用预训练和微调、提示或文本生成方法解决NLP任务的大型预训练基于transformer的语言模型，以及使用预训练语言模型生成数据进行训练或其他目的的方法，并讨论未来研究的限制和建议方向。

    Nov, 2021

  • 从零开始的NLP：一个简单高效的无大规模预训练的框架

    提出了一种简单而高效的学习框架TLM, 该框架不依赖于大规模预训练的语言模型, 通过使用任务数据作为查询提取一小部分通用语料库, 并从头开始联合优化任务目标和语言建模目标, 在四个领域的八个分类数据集上实现了与预训练语言模型相当或更好的结果, 而将训练FLOPs减少了两个数量级。

    Nov, 2021

  • MicroBERT：低资源单语BERT的参数减少和多任务学习的有效训练

    本研究探讨了两种技术，以在低资源设置中训练单语言TLM，结果表明 MicroBERT 模型能够对下游任务评估进行显著改善。

    Dec, 2022

  • INGENIOUS: 使用信息丰富的数据子集高效预训练大型语言模型

    通过使用具有高度信息量的训练数据子集训练预训练语言模型，同时保持下游性能，我们展示了如何利用子模块优化来选择高度代表性的训练语料库子集，以有效地训练多个预训练语言模型。

    May, 2023

  • Transformer的结构自监督目标

    本文重点研究如何通过使用无监督原始数据来改善自然语言模型的预训练，使其更高效并与下游应用相匹配。在第一部分中，我们介绍了三种替代BERT的Masked Language Modeling（MLM）的预训练目标，分别为Random Token Substitution（RTS）、Cluster-based Random Token Substitution（C-RTS）和Swapped Language Modeling（SLM）。第二部分中，我们提出了与下游应用结构对齐的自监督预训练任务，减少了对标记数据的需求，并展示了在Fact Verification、Answer Sentence Selection和Summarization等任务上的显著性能提升。

    Sep, 2023