ACLMay, 2022

Transkimmer: Transformer 学会按层略过

PDF
TL;DR提出了 Transkimmer architecture，通过添加参数预测器和 reparameterization trick 来实现 Transformer 模型中的 token 跳过，从而提高计算效率，并在 GLUE 基准测试中取得了 10.97x 的平均加速比。
transformer architecturecomputational efficiencytranskimmer architectureskimming tokensend-to-end optimization
发现论文，激发创造
  • Block-Skim: Transformer 的高效问答

    通过 Block-Skim 的方法，即从 Transformer 模型的内部权重中识别出需要进一步处理和可以尽早舍弃的上下文信息，从而明显提高了 QA 模型的准确性并实现了 3 倍加速。

    Dec, 2021

  • 高效 Transformer：综述

    本研究总结了多个领域的最新端到端基于 Transformer 模型的 X-former 模型，强调了计算和内存效率

    Sep, 2020

  • 自适应深度变压器

    本文介绍了一种 Transformer 模型，它可以在网络的不同阶段进行输出预测，并调整每个步骤所应用的不同图层，以调整计算量和模型容量。通过对 IWSLT 德英翻译的实验，我们的方法与 well tuned 换基础变压器的精度相匹配，同时只使用不到四分之一的解码器层数。

    Oct, 2019

  • Brainformers: 简单性与效率的平衡

    本文介绍了一种名为 Brainformer 的复合深度神经网络模型，其中包括稀疏门控前馈层、紧密前馈层、自注意层以及不同形式的层规范化和激活函数。 Brainformer 模型表现优异且更为高效，比当前最先进的密集和稀疏的 Transformers 模型快 5 倍。在下游任务评估中，Brainformer 模型与 GLaM 模型相比，细调后 SuperGLUE 得分高出 3％。

    May, 2023

  • 搜索用于语言建模的高效 Transformer

    通过搜索一种更高效的变体，即 Primer，我们旨在降低 Transformer 模型的训练和推理成本，并且我们证实 Primer 可以在不添加额外调整的情况下显著加快训练速度。

    Sep, 2021

  • SkipViT：使用令牌级别的跳跃连接加速视觉变换

    我们的研究提出了一种方法来优化视觉转换器模型中不相关令牌之间的不必要交互数量，通过将它们分离并通过不同的低成本计算路径发送，同时在训练吞吐量上获得 13% 以上的提升，并在华为 Ascend910A 上维持与基准模型相同级别的分类准确性。

    Jan, 2024

  • Transcormer：滑动语言建模句子评分的 Transformer

    本文提出了一个基于 Transformer 的滑动语言建模技术来进行句子评分，该方法可以避免传统方法只考虑单向上下文、多次前向传递带来的计算代价等问题，并在多项任务中展现出更好的效率和准确度。

    May, 2022

  • No-Skim: 针对基于略读的语言模型的效率鲁棒性评估

    为了降低大型语言模型中的运算成本和能源消耗，本论文提出了一种名为 No-Skim 的通用框架，以帮助基于打桩的语言模型所有者了解和度量其加速方案的强健性，并通过搜索最小且不易察觉的字符级和标记级失真生成对抗性输入，从而增加剩余标记比率，进而增加运算成本和能源消耗。在各种 LLM 架构上对 skimming 加速的脆弱性进行了系统评估，包括 BERT 和 RoBERTa，并在 GLUE 基准测试中找到的失真在最坏情况下能够使 LLM 的运行成本平均增加超过 145％。此外，No-Skim 扩展了评估框架，以用于不同程度的知识。

    Dec, 2023

  • SmartTrim：用于高效视觉语言模型的自适应令牌和参数剪枝

    提出了一种智能修剪方法 SmartTrim，通过在模型中集成轻量级修剪模块，对冗余输入和参数进行任务特定修剪，不需要额外的预训练或数据增强，利用跨模态交互信息提供更重要的语义指导，以达到资源受限场景下更好的效率 - 性能平衡。

    May, 2023

  • 语言建模中的跳跃学习

    在对大规模过参数化的语言模型进行预训练时，我们提出了一种简单的路由机制，用于为不同的标记分配不同数量的计算量，从而显著改善在上下文少样本学习中的性能。这种方法在 24 个自然语言处理任务上进行了全面评估，证明相对于竞争性基准，该方法能够显著提高 1-shot 性能，而仅需额外的轻微成本进行推理。

    Nov, 2023