ACLJun, 2021

DoT: 一种高效的双 Transformer 用于具备表格的自然语言处理任务

PDF
TL;DR本研究提出了一种名为 DoT 的双变形器模型，其中一个较浅的修剪变形器用于选择最佳 K 个关键词，然后一个较深的任务特定变形器将这 K 个关键词作为输入，通过优化任务特定的损失函数，两个变形器共同训练。 DoT 模型虽然产生了轻微的精度降低，但提高了训练和推理时间至少 50％。
transformer-based approachesdot modelnlp tasksdouble transformer modelpruning transformer
发现论文，激发创造
  • Delta Keyword Transformer: 通过动态裁剪的多头自注意力将 Transformer 移植到边缘

    该研究提出了一种动态剪枝方法，通过利用数据在不同时间点的稳定性来降低推理成本，减少了 Transformer 网络中 self-attention 操作的次数，从而在维持高准确率的同时大幅度降低了模型复杂度。

    Mar, 2022

  • 通过降噪训练改善神经机器翻译

    该论文提出了一种简单有效的联合去噪预训练方法（DoT），该方法不需要增加任何参数或训练步骤，适用于神经机器翻译并不断提升翻译性能，尤其在高资源情况下，性能优于先前的预训练模型 mBART。

    Jan, 2022

  • 约束感知和排名蒸馏的令牌剪枝用于高效的 Transformer 推理

    本文提出了一种基于约束感知和排名提取的令牌剪枝方法 ToP，可在保持准确性的同时提高模型的在线推理速度。在 GLUE 基准和 SQuAD 任务上的广泛实验表明，ToP 优于现有的令牌剪枝和模型压缩方法，并提供高达 7.4 倍的实际延迟加速。

    Jun, 2023

  • 纯视觉 Transformer 中的动态令牌修剪用于语义分割

    基于视觉转换器的动态令牌修剪方法（DToP）在不降低精度的情况下，降低了当前基于纯视觉转换器的语义分割方法平均 20％-35％的计算成本。

    Aug, 2023

  • 聚焦核心：通过裁剪令牌压缩实现高效的文档分类注意力

    通过结合令牌修剪和令牌合并的策略，我们在基于 Transformer 模型的基础上提出了改进的方法，既提高了模型的性能，又降低了计算需求。在各种数据集上的实验证明，与基准模型相比，我们的方法在准确度上提升了 5% p，F1 得分提升了 5.6% p。此外，我们成功减少了内存成本到 0.61 倍，并实现了 1.64 倍的加速。

    Jun, 2024

  • 结构化丢弃降低 Transformer 深度

    本文介绍了一种新的结构化 dropout 形式 ——LayerDrop，该形式可在训练过程中实现正则化效果，在推理时允许有效的剪枝。作者通过实验证明了该方法对机器翻译、语言模型、文本摘要、问答和语言理解等基准测试的提升，并提出使用该方法可以得到更高质量的类 BERT 模型。

    Sep, 2019

  • 基于 BERT 的问答模型的结构化剪枝

    本文针对自然语言处理中使用的 BERT 和 RoBERTa 模型进行了压缩，使用结构化剪枝和专门化蒸馏相结合的方法，实现了在保持高精度的同时速度大幅提升。

    Oct, 2019

  • 任务导向对话中的自然语言理解加速

    本研究使用结构化剪枝方法对卷积模型进行压缩，比 BERT 模型的性能差异不大，模型参数少于 100K，适用于移动设备，并在 CPU 上比 DistilBERT 快 63 倍。

    Jun, 2020

  • 星形转换器

    本文介绍了 Star-Transformer，一种轻量级的 NLP 模型，通过精细的稀疏化将全连接注意力连接结构替换为星形拓扑结构，将复杂性从二次降为线性，同时保持了捕获局部组合和长距离依赖性的能力，并在四个任务的 22 个数据集上取得了显著的性能提升。

    Feb, 2019

  • DOT：一种面向蒸馏的训练器

    本文提出 Distillation-Oriented Trainer (DOT)，以在知识蒸馏任务中优化任务丢失和蒸馏丢失之间的权衡，通过应用更大的动量来加速蒸馏损失的优化，以获得更好的任务损失和蒸馏损失的优化，并通过广泛实验证明了 DOT 的优越性。

    Jul, 2023