COLINGDec, 2020

通过主动学习对 BERT 进行微调，以提高低资源自然语言理解能力

PDF
TL;DR本文探讨了在数据点少于 1,000 的低资源环境下利用基于预训练 Transformer 的语言模型的微调方法，通过利用基于池的主动学习加速训练同时保持标记新数据的成本不变。实验结果表明，通过最大化从未标记数据池中查询的模型的近似知识收益，可提高模型性能。最后，我们演示并分析了语言模型冻结层的好处，以减少可训练参数的数量，使其更适用于低资源环境。
发现论文，激发创造
  • 为生物医学自然语言处理调整大型神经语言模型

    本文系统研究了微生物 NLP 中 fine-tuning 的稳定性，提出了一系列技术来解决这个问题，并通过领域特定词汇和预训练来建立更健壮的模型。

    Dec, 2021

  • 关于有效地为主动学习调整预训练语言模型的重要性

    本文讨论使用预训练语言模型在自然语言处理中进行主动学习时存在的问题，并提出了使用先前所有的未标注数据来适应目标任务的解决方法，同时也提出了一种简单有效的微调方法来保证适应的语言模型在低资源和高资源情况下都能得到适当的训练，实验结果表明，相比标准的微调方法，我们的方法提供了显著的数据效率改进，这表明一个不良的训练策略可能对主动学习产生灾难性的影响。

    Apr, 2021

  • 使用学习者高效微调压缩语言模型

    本论文提出使用学习模块和启动技术进行预训练模型的微调，以达到在更短的时间内得到更好效果的目标。实验证明，Learner 模块和 priming 可以在训练速度、资源利用等方面有较大提升。

    Aug, 2022

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • MicroBERT：低资源单语 BERT 的参数减少和多任务学习的有效训练

    本研究探讨了两种技术，以在低资源设置中训练单语言 TLM，结果表明 MicroBERT 模型能够对下游任务评估进行显著改善。

    Dec, 2022

  • 低资源口语理解的瓶颈低秩变换器

    本文介绍了如何使用变形器结构并应用群稀疏技术实现拥有较高精度、更小规模 SLU 模型的生成，从而避免使用预先训练的参数较多的大型模型。

    Jun, 2022

  • 在资源匮乏环境中通过大型语言模型的微调进行文本数据增强

    通过细调教师大型语言模型产生和注释的数据，可以改善较小模型的下游性能，有时只需要原始训练数据的一小部分。

    Oct, 2023

  • 基于 Transformer 的细调编码器在土耳其语言理解任务中的应用

    我们在这项研究中，为土耳其语提供了基于 Transformer 模型的 BERTurk 模型，并进行了多个下游任务的微调和评估，包括命名实体识别、情感分析、问题回答和文本分类。与其他基线方法相比，我们的研究在土耳其语中显著提高了性能，并公开发布了这四个微调模型和资源，以支持其他土耳其研究人员和应用。

    Jan, 2024

  • 如何为文本分类微调 BERT?

    研究 BERT 语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在 8 个广泛研究的文本分类数据集上取得了最新的最好结果。

    May, 2019

  • 面向自然语言处理的预训练表征的高效主动学习

    通过在主动学习循环中使用预训练的大型语言模型的表示，然后在获得所需标记数据后，对这些数据进行微调，从而以较低的计算成本实现与将完全微调的模型相似的性能。

    Feb, 2024