Jun, 2024

BERT 的治愈力量：如何通过任务特定微调恢复受损的语言模型

PDF
TL;DR研究了语言模型（如 BERT）对参数故障的鲁棒性，发现底层的参数故障对语言模型的性能恢复有着更严重的影响，这些发现有助于了解语言模型在不利条件下的鲁棒性和适应能力，并为开发抵抗参数扰动的弹性自然语言处理系统提供了策略。
language modelsbertparameter corruptionfine-tuninglinguistic features
发现论文，激发创造
  • BERT Fine-tuning 中嵌入向量发生了什么？

    研究表明，微调 BERT 模型会显著影响其顶部层的表示，尤其是依赖解析涉及模型的大部分，而 SQuAD 和 MNLI 涉及的则较浅。此外，在域外句子的表示方面，微调的影响较弱，这表明模型泛化有待改进。

    Apr, 2020

  • 多语言 BERT 的语言特异性和微调的影响

    对多语言 BERT（mBERT）进行 fine-tuning，研究其语言特定知识和语言无关知识之间的关系。实验结果表明，fine-tuning 导致模型的表征能力重新组织，增强了语言无关表征，牺牲了语言特定表征。

    Sep, 2021

  • 微调可以有多精细？学习高效语言模型

    通过使用 BERT 来验证，文章研究了当使用大规模未标注文本语料库进行预训练的语言模型进行轻量级有监督微调以学习任务时，微调只在参数空间中引入了轻微的差异，可以通过对预训练参数的某些层的特定数量的条目设置为零来达到对巨大语言模型的精细调节，从而节省了任务特定参数存储和计算成本的开销。

    Apr, 2020

  • 基于 Transformer 的自然语言处理模型微调鲁棒性研究

    本文对三种基于 Transformer 的预训练语言模型（BERT、GPT-2 和 T5）进行了鲁棒性测试，并比较了它们在多种输入扰动下的性能表现。同时，使用 CKA 和 STIR 两个度量衡量了预训练模型与微调模型在各层上的表示变化。其中，GPT-2 表现出更好的鲁棒性。尽管这些模型都具有广泛的鲁棒性，但丢失名词、动词或改变字符是最具影响力的。这项研究为流行的基于 Transformer 的模型的扰动特异性弱点提供了宝贵的见解。

    May, 2023

  • 如何为文本分类微调 BERT?

    研究 BERT 语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在 8 个广泛研究的文本分类数据集上取得了最新的最好结果。

    May, 2019

  • 关于 BERT 微调的稳定性：误区、解释和强基准线

    通过分析 BERT、RoBERTa 和 ALBERT 在 GLUE 基准测试集上的表现，本文表明，Fine-tuning 不稳定是由于优化困难导致梯度消失，我们提出了一个简单但强大的基线方法，使 BERT-based 模型的 fine-tuning 显著更稳定。

    Jun, 2020

  • 数据损坏对自然语言理解模型的影响：对 GLUE 数据集的研究

    本论文针对自然语言理解研究的核心问题，以预训练语言模型为研究对象，通过对数据进行特定破坏转换使其变为无意义的句子，考察了在非意义上下文中该模型的判断能力，发现即便是在数据被破坏之后，该模型在大部分 GLUE 任务上的表现依旧保持较高水平，说明其在预测过程中利用了其他提示信息，同时引入了数据转换的概念，为评估模型语言理解能力提供了一种新方法。

    Jan, 2022

  • 使用预训练语言模型研究对噪声相关性的鲁棒性

    本文通过研究发现，预先训练的语言模型可以通过从少量反例中进行泛化来提高对数据中偶然现象的鲁棒性。当这些少数情况很少时，预训练模型表现与从头开始训练的模型一样差。在极端的少数情况下，我们提出使用多任务学习（MTL）来提高泛化能力。我们在自然语言推断和释义识别上的实验表明，MTL 可显着提高在具有挑战性的情况下的性能，而不会影响分布内性能。此外，我们表明，MTL 带来的增益主要是从极少数情况的改善泛化能力中获得的。我们的结果突显了克服偶然相关性的数据多样性的重要性。

    Jul, 2020

  • 通过主动学习对 BERT 进行微调，以提高低资源自然语言理解能力

    本文探讨了在数据点少于 1,000 的低资源环境下利用基于预训练 Transformer 的语言模型的微调方法，通过利用基于池的主动学习加速训练同时保持标记新数据的成本不变。实验结果表明，通过最大化从未标记数据池中查询的模型的近似知识收益，可提高模型性能。最后，我们演示并分析了语言模型冻结层的好处，以减少可训练参数的数量，使其更适用于低资源环境。

    Dec, 2020

  • 可视化理解 BERT 的有效性

    本文研究了使用 BERT 等语言模型进行预训练，并 fine-tuning 在不同任务上的应用。通过可视化损失函数和优化轨迹，本研究得出：预训练可以在不同任务上发现较好的初始参数点，这有利于 fine-tuning 得到更宽的稳定最优解，更好地实现泛化，而且 BERT 在 fine-tuning 过程中具有较强的鲁棒性。BERT 的下层更具有不变性且能学习到更具传递性的语言表示。

    Aug, 2019