研究基于预训练 Transformer 语言模型的表征在标记文本数据的主动学习中的有效性

Apr, 2020

研究基于预训练 Transformer 语言模型的表征在标记文本数据的主动学习中的有效性

Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets

PDF

Jinghui Lu, Brian MacNamee

TL;DR本文全面评估了基于预训练变压器语言模型的表示法在主动学习中的有效性，发现 BERT 般的模型比 word2vec 和包 - of-words 等更常见的表示法表现更好，同时提出了一种自适应调整主动学习方法，利用有限的标签信息训练分类器和适应性改进 BERT 模型生成的嵌入。

Abstract

active learning has been shown to be an effective way to alleviate some of the effort required in utilising large collections of unlabelled data for machine learning tasks without needing to fully label them. The representation mechanism used to represent text documents when performing

active learning pre-trained transformer-based language models bert document representation adaptive tuning active learning

发现论文，激发创造

面向自然语言处理的预训练表征的高效主动学习

通过在主动学习循环中使用预训练的大型语言模型的表示，然后在获得所需标记数据后，对这些数据进行微调，从而以较低的计算成本实现与将完全微调的模型相似的性能。

Feb, 2024

基于不确定性的查询策略在使用 Transformers 进行主动学习中的再思考

本文探讨了如何将基于不确定性的查询策略与 transformers 相结合以实现 active learning，通过在五个广泛使用的文本分类基准测试中与其他不确定性策略进行比较，发现一些其他不确定性策略表现更好，挑战了 prediction entropy 查询策略在文本分类的 active learning 中最受欢迎的基线模型的地位。

Jul, 2021

预训练语言模型表示用于语言生成

本文研究了将预训练的语言模型表征集成到序列到序列模型中的不同策略，并将其应用于神经机器翻译和抽象摘要。实验证明，加入编码器网络的预训练表示是最有效的，可以在减慢推理速度仅 14％的情况下获得高达 5.3 BLEU 的增益，并且即使有数百万个句对可用时，仍然可以观察到改进。最后，在 CNN / DailyMail 的完整文本版本上，我们达到了最新的研究成果。

Mar, 2019

关于有效地为主动学习调整预训练语言模型的重要性

本文讨论使用预训练语言模型在自然语言处理中进行主动学习时存在的问题，并提出了使用先前所有的未标注数据来适应目标任务的解决方法，同时也提出了一种简单有效的微调方法来保证适应的语言模型在低资源和高资源情况下都能得到适当的训练，实验结果表明，相比标准的微调方法，我们的方法提供了显著的数据效率改进，这表明一个不良的训练策略可能对主动学习产生灾难性的影响。

Apr, 2021

通过主动学习对 BERT 进行微调，以提高低资源自然语言理解能力

本文探讨了在数据点少于 1,000 的低资源环境下利用基于预训练 Transformer 的语言模型的微调方法，通过利用基于池的主动学习加速训练同时保持标记新数据的成本不变。实验结果表明，通过最大化从未标记数据池中查询的模型的近似知识收益，可提高模型性能。最后，我们演示并分析了语言模型冻结层的好处，以减少可训练参数的数量，使其更适用于低资源环境。

Dec, 2020

基于预训练语言模型的样本高效主动学习自训练

使用半监督的方法（self-training）从未标记的数据中获取伪标签来改善运用主动学习进行文本分类的效率，通过进行广泛的实验，提出了一种新的有效的 self-training 策略（HAST），并在四个文本分类基准数据集上进行了评估，仅使用 25% 的数据，超过了之前实验的分类结果，达到了与三个数据集的先前实验相当的分类效果。

Jun, 2024

基于预训练语言模型的句子匹配主动学习

本文提出了一种基于预训练语言模型的主动学习方法，应用于句子匹配，通过提供语言标准来测量实例并选择更有效的实例进行注释，实验证明该方法可以在更少的标记训练实例的情况下实现更高的准确性。

Oct, 2020

法律文本分类的高效主动学习流程

本研究提出了一种在法律领域内使用主动学习与预训练语言模型的管道，其中利用了三个阶段的未标记数据，通过知识蒸馏引导模型的嵌入到一个语义上有意义的空间，并提出了一种简单而有效的策略找到初始的标记样本，实验表明相比传统方法在数据标注成本上更为高效且性能更好。

Nov, 2022

针对基于预训练 Transformer 的多任务主动学习

本文介绍多任务学习和主动学习的结合在 NLP 领域中的应用，提供了一些多任务选择标准，论证了多任务学习的有效性，使得在避免过多的文本标注方面更为高效。

Aug, 2022

利用 Transformer 的双向编码表示进行答案选择

本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

Nov, 2020