Oct, 2022

一次双赢的交易：朝着稀疏和鲁棒的预训练语言模型迈进

PDF
TL;DR本文研究细粒度子网络（SRNets）在预训练语言模型（PLMs）中的应用，尤其是在处理 Out-of-Distribution 数据方面的可行性。我们对 BERT 模型进行了广泛的实验，结果表明 SRNets 在不影响性能的情况下可以通过不同的训练和压缩方法来实现。此外，我们发现在 Out-of-Distribution 数据中可以获得稀疏且几乎无偏差的 BERT 子网络。最后，我们提出了解决 SRNets 搜索过程中高效性的方法，并提出了改善子网络性能的解决方案。
pre-trained language modelssparsitycomputational efficiencyout-of-distribution databert subnetworks
发现论文，激发创造
  • 在预训练语言模型中发现关键知识子网络

    我们研究了预训练语言模型是否包含多种具有关键作用的子网络，并提出了一种多目标可微的权重掩蔽方案，以准确删除模型中特定的知识，从而使得模型保留对语言和其他记忆性关联知识的建模能力，但在训练后，其表达被删除知识的能力降低，对需要这些已删除知识的任务产生性能下降。

    Oct, 2023

  • Sparse*BERT：稀疏模型具有鲁棒性

    本文研究了使用渐进式非结构化剪枝模型进行领域迁移和任务迁移的有效性，结果表明，使用泛领域蒙版语言模型进行预训练的模型可以在不需要大量超参数调整或特殊方法的情况下，成功应用于新领域和任务，同时表明使用非结构化剪枝技术的推断速度与参数数量大幅减少

    May, 2022

  • 自然语言理解中模型蒸馏和剪枝的稳健性挑战

    本研究分析了两种流行的模型压缩技术对于预训练语言模型鲁棒性和泛化能力的影响，并且在样本不确定性的基础上提出了一种偏见缓解框架，用于提高模型的泛化能力。

    Oct, 2021

  • 重构网络剪枝 -- 在预训练和微调范式下

    本论文研究在 NLP 领域中，对预训练的 Transformers 模型采取稀疏剪枝 (sparse pruning) 技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感知的稀疏剪枝方法可以实现 20 倍的参数 / FLOPs 压缩并且不会明显损失模型的性能。

    Apr, 2021

  • 高稀疏性基础 Llama 模型的高效预训练和部署

    通过稀疏性，我们能够以较小的模型实现更快的训练和推理加速，并且不牺牲准确性。

    May, 2024

  • SPDF：大型语言模型的稀疏预训练和密集微调

    本文提出了一种基于稀疏先训练和密集微调的预训练语言模型方法，可将训练 FLOPs 的数量降低到原来的 2.5 倍，同时保持与密集基线相同的下游任务准确性。该方法为训练大规模 GPT 模型提供了一个可行的方向。

    Mar, 2023

  • 在多任务口语语言理解模型中寻找任务特定的子网络

    通过神经网络剪枝，在多任务语言理解模型中找到特定任务的子网络，实现模型压缩和在新数据上适应能力的提升。

    Jun, 2024

  • 通过任务无关的掩码训练在 BERT 转移上学习赢得彩票的方法

    本文通过对 BERT 子网络的研究发现直接优化子网络结构能更好地保留预训练性能，探究了幸运彩票假设、幅度剪枝和二值掩码训练等方法在 BERT 子网络中的应用，发现二值掩码训练方法在寻找改进 BERT 子网络性能方面更加有效。

    Apr, 2022

  • 一次性剪枝：稀疏预训练语言模型

    通过结合权重剪枝和模型蒸馏技术，我们提出了一种新的方法，用于训练稀疏的预训练变压器语言模型，这些模型可以快速高效地用于各种自然语言处理任务，并保持其稀疏性，同时我们进一步使用量化感知训练来将这些稀疏模型压缩为 8 位精度。我们证明了我们的稀疏预训练 BERT-Base、BERT-Large 和 DistilBERT 可以在多种自然语言任务中以极小的准确度损失传输其知识，是目前压缩 - to - 准确度比率最好的压缩 BERT-Base、BERT-Large 和 DistilBERT 方法。

    Nov, 2021

  • 预训练语言模型在低资源文本上的泛化和稳定调优

    基于注意力引导的权重混合和双层优化框架，我们提出了一种用于预训练语言模型的微调方法，以解决在低资源数据集上微调模型时的不稳定性和过拟合问题，在广泛的实验中验证了该方法的有效性和优越性。

    Mar, 2024