Sep, 2021

多语言 BERT 中注意力头的可剪枝性

PDF
TL;DR通过对 mBERT 进行修剪，我们 quantifying 它的鲁棒性和逐层理解其重要性，结果表明缩减其注意力容量不会影响其鲁棒性。而在跨语言任务 XNLI 中，修剪会导致准确性下降，这表明跨语言转移的鲁棒性较低。此外，编码器层的重要性受语言族和预训练语料大小的影响。
multilingual modelspruningcrosslingual transferencoder layersrobustness
发现论文，激发创造
  • Transformer 注意力头在多语言和跨语言任务中的贡献

    该论文研究了注意力头在 Transformer 模型中的相对重要性，以帮助其在跨语言和多语言任务中的可解释性。通过大量实验，证明了在多语言 Transformer 模型中修剪注意力头可以在跨语言和多语言任务中提高模型性能，并且可以使用梯度对注意头进行排序和识别。

    Aug, 2021

  • 预训练 Transformer 模型删除层的影响

    通过剪枝方法，本文旨在研究是否所有预训练模型的所有网络层都对下游任务有贡献，并观察剪枝对下游 GLUE 任务的影响，结果表明可将 BERT、RoBERTa 和 XLNet 模型剪枝 40％而保持最多 98％的原始性能，并证明我们的剪枝模型与使用知识蒸馏构建的模型在大小和性能方面相当。

    Apr, 2020

  • 使用多语言 BERT 进行零样本跨语言迁移中的特征聚合

    本文探讨了利用 mBERT 最后一个 transformer 层以外的信息，采用基于 attention 机制的特征聚合模块，对不同层次的信息进行融合。实验结果表明，在 XNLI、PAWS-X、NER、POS 等关键领域任务中，该方法在零 - shot Cross-lingual 下具有良好的性能提升，并且探讨了 mBERT 的可解释性。

    May, 2022

  • 分析多头自注意力：专门的头部承担重任，其余部分可被剪枝

    研究了 Transformer 模型中的多头自注意力和编码器在神经机器翻译中的贡献和作用，提出了一种基于随机门和可微松弛 L0 正则化的新型剪枝方法，在不严重影响性能的情况下，成功删除了大部分注意头。

    May, 2019

  • BlockPruner：大型语言模型的细粒度剪枝

    我们提出了一种名为 BlockPruner 的新型无需训练的结构化修剪方法，通过定位多头注意力和多层感知机块中的冗余实现更精细的修剪，实验证明，与现有方法相比，BlockPruner 在各种下游任务中实现了更精确和有效的修剪。

    Jun, 2024

  • 注意力可以反映句法结构 (如果你允许)

    本研究通过对 18 种语言进行多语言 BERT 的解码实验，以测试依存句法是否反映在注意力模式中的普适性，并归纳出单一注意力头可以以上线准确率解码全树。尝试通过对 mBERT 进行监督解析目标的微调，结果表明注意力模式可以代表语言结构。

    Jan, 2021

  • 大规模语言模型的高效剪枝与自适应推理融合

    用于资源受限设备的大型语言模型结构剪枝方法，在多层结构的基础上，通过自适应建模和融合估计结果实现了对每个子结构的重要性的自适应调整，实验结果表明在主流数据集上相比最先进的方法，平均准确率提高了 1.1％，1.02％，2.0％和 1.2％。

    Mar, 2024

  • 多头多层注意力机制用于深度语言表示的语法错误检测

    利用经过预训练的语言表示模型的中间和最终层提取句子中的语法错误特征，通过多头多层的注意力模型，使用 Bidirectional Encoder Representation from Transformers (BERT) ，在三个语法错误数据集上实现更好的 F_0.5 分数，比当前最先进的方法分别高出 6.0（FCE），8.2（CoNLL14）和 12.2（JFLEG）个百分点，并证明利用多头多层注意力，我们的模型可以利用句子中每个记号的更广泛信息。

    Apr, 2019

  • 挑选未充分利用的头部：关注网络修剪对于融合对话指代信息的头部选择的视角

    通过网络修剪的角度，研究了一种特征注入的注意头选择和操作策略，并在对话摘要中进行了案例研究，结果表明通过注意头操作注入指代关系信息可以提高对话摘要的性能。

    Dec, 2023

  • 为 BERT 多语能力识别必要元素

    该研究通过实现小型 BERT 模型的混合合成数据和自然数据训练，试图从语言学和结构特征两个方面，探究多语 BERT 能实现无监督跨语言转移的原因。其结果表明，在 lexical、syntactic 以及阅读理解方面，mBERT 已实现了高质量的多语言表征和跨语言转移功能。

    May, 2020