ACLApr, 2022

通过任务无关的掩码训练在 BERT 转移上学习赢得彩票的方法

PDF
TL;DR本文通过对 BERT 子网络的研究发现直接优化子网络结构能更好地保留预训练性能，探究了幸运彩票假设、幅度剪枝和二值掩码训练等方法在 BERT 子网络中的应用，发现二值掩码训练方法在寻找改进 BERT 子网络性能方面更加有效。
lottery ticket hypothesispre-trained language modelbert subnetworksmagnitude pruningmask training
发现论文，激发创造
  • 预训练 BERT 网络的彩票票证假设

    本文采用彩票票据假说来研究预训练的 BERT 模型是否存在可训练的、可转移的子网络，发现在一些任务上存在符合条件的子网络，这些子网络在初始化时即可被找到，其中在与预训练任务相同的任务上找到的子网络具有普适的迁移性，而在其他任务上找到的子网络则具有有限的迁移性。

    Jul, 2020

  • 当 BERT 玩彩票时，每张彩票都是获胜的

    本文从彩票猜想的角度探究了大型基于 Transformer 的模型可以通过剪枝获得可比拟完整模型性能的子网络。使用结构剪枝和数量剪枝对 Fine-tuned BERT 进行实验，发现即使是最差的子网络也表现良好，表明预训练 BERT 的大多数权重可能都是有用的。

    May, 2020

  • 预训练语言模型的强大抽奖票

    本文提出了一种基于学习二进制权重掩码的新方法，用于识别原始 PLM 中隐藏的强健 Ticket，并设计了一个对抗性损失目标来引导寻找强健的 Ticket，并确保票据在准确性和鲁棒性方面表现良好。

    Nov, 2022

  • 视觉和语言中的抽奖券玩法

    本文通过实证研究发现，大规模的预训练 VL 模型中存在可训练的子网络，该子网络可通过精细修剪结构实现高精度计算并具有良好的通用性。

    Apr, 2021

  • 鲁棒预训练的数据高效双赢彩票

    本研究提出了一种 “双赢彩票模型”，在同时具有标准训练和对抗训练的下游任务中， 可独立转移预训练模型的定位子网络，以达到与完整预训练模型相同的标准和强健的识别泛化效果。然后，本研究探讨了各种预先训练机制，发现强健的预先训练倾向于制作更稀疏的双赢彩票模型，并且相较于标准机制，在实际数据有限的情况下会更加高效。

    Jun, 2022

  • EarlyBERT: 早鸟抽奖票优化 BERT 训练

    本篇论文提出了 EarlyBERT，这是一种通用的计算高效的训练算法，可用于大规模语言模型的预训练和微调，通过对自注意和全连接子层进行精简，第一次在 BERT 训练的早期阶段中发现了结构优质的 winning tickets，实验结果表明，与标准 BERT 相比，EarlyBERT 能够在 35-45％的训练时间内实现相当的性能。

    Dec, 2020

  • 鲁棒性强的模型参数可获更好迁移能力：在迁移学习中绘制更多可迁移子网络

    该研究提出了一种新的迁移学习管道，可以通过具有适当诱导的对抗鲁棒性的子网络来实现更好的迁移能力，从而在各种下游任务和稀疏性模式中实现增强的准确性和稀疏性 - 精度权衡，进一步丰富了彩票票假设。

    Apr, 2023

  • 计算机视觉模型的有监督和自监督预训练的 “彩票票据” 假设

    本研究探讨基于经典的 ImageNet 有监督预处理和新兴的自监督预处理方法，如 simCLR 和 MoCo 的预训练模型，通过 LTH 找到高度稀疏的匹配子网络，并验证其在多个下游任务的可迁移性，结果表明，在 59.04％至 96.48％的稀疏度下，这些匹配子网络的性能与完整的预训练模型相比没有降低。

    Dec, 2020

  • 稀疏转移学习中的优胜彩票算法

    本文基于 Lottery Ticket Hypothesis 对一系列迁移学习任务进行研究，通过使用无结构量级剪枝来发现最优子网络，实验结果表明减少约 90-95% 权重的稀疏子网络在多个现实场景下能够达到或超过原始网络的准确度。

    May, 2019

  • 预训练语言模型中的超级票：从模型压缩到提高泛化能力

    该研究探讨了 Lottery Ticket Hypothesis 理论，在预训练语言模型这样极度超参数化的模型中，如何通过压缩 ratio 选定一组 “winning tickets” 子模型来匹配全模型的性能。另外观察到当 compression ratio 达到某个临界点时，性能会出现相位转变现象，我们称此时被删减对临界点最立竿见影的超票为 “super tickets”，实验证明它们对 BERT-base 和 BERT-large 的单任务微调平均得分分别有 0.9 和 1.0 的提升，多任务学习时的共享也取得了提升。

    May, 2021