EMNLPApr, 2021

通过自信自适应变压器实现一致加速推断

PDF
TL;DR本文提出了 CATs -- Confident Adaptive Transformers 方法，在保证高可信度的情况下增加计算效率，并且训练了额外的预测模型来实现模型的动态决策。此方法的有效性在四个分类和回归任务中得到了证明。
transformersnlpcatsconformal predictioncomputational efficiency
发现论文，激发创造
  • 具有 Transformer 的内存高效的持续学习

    使用预训练 Transformers 并扩展它们与 Adapters，我们开发了一种方法来增量训练模型处理任务序列，成功地避免了灾难性遗忘并且在多个任务上表现良好。

    Mar, 2022

  • 自信的自适应语言建模

    使用 Confident Adaptive Language Modeling（CALM）动态分配不同量的计算资源，早期退出解码以减少计算，从而在维持高性能的同时最多可提速三倍，理论分析和实验表明其在减少计算方面的有效性。

    Jul, 2022

  • 利用扩展准许的级联推断实现高效的符合预测

    该研究提出了一种新颖的 conformal prediction（CP）方法，通过找到一组有前途的预测候选项而不是单个预测，以适合许多开放式分类任务，实现包含正确答案的高概率且适用于自然语言处理和药物发现等多个应用领域，同时实现降低预测集的大小和费用摊销等效果。

    Jul, 2020

  • 级联深度分类器的高效摊销推理

    该论文提出了一种使用深度神经网络级联和选择模块的新框架，通过同时优化预测准确性和能耗，实现了在测试时间的有效成本 - 准确性权衡，验证了该方法在图像分类任务中优于标准训练的 ResNets，对 CIFAR-10/100 数据集的 FLOPs 成本需求不到 20% 和 50%，在 ImageNet 数据集上只需求 66%。

    Oct, 2017

  • TangoBERT：使用级联架构以降低推理成本

    TangoBERT 是一种分层式的模型架构，能够通过在推理时间内降低计算负载来实现高速推断，并利用常规层级变压器模型的批量大小优化来增加相对推断成本的降低。

    Apr, 2022

  • CATs: 视觉对应的成本汇聚变压器

    本研究提出一种名为 Cost Aggregation Transformers (CATs) 的新型 cost aggregation network，以解决大规模几何和出现变化情况下的图像语义相似性匹配问题，利用全局的自我注意机制消除初始相关图之间的不准确匹配，通过外观关联建模辅助 cost 聚合过程，创新地定位多级聚合模块，加入交换注意力机制和残差连接来提高性能。

    Jun, 2021

  • 高效 Transformer 的交替更新

    本文介绍了一种名为 AltUp 的方法，通过在表示层的子块上工作来拓宽学到的表示，从而实现所谓的 Alternating Updates，提高了模型容量而无需增加计算成本，并与现有方法结合以获得更高效的模型。

    Jan, 2023

  • 加速训练 Transformer 模型的多层框架

    我们提出了一个多层框架，通过合并和解散以及插值操作来加速训练，从而降低了 BERT/GPT-Base 模型的计算成本约 20%，以及 BERT-Large 模型的计算成本高达 51.6%，同时保持了性能。

    Apr, 2024

  • 自适应深度变压器

    本文介绍了一种 Transformer 模型，它可以在网络的不同阶段进行输出预测，并调整每个步骤所应用的不同图层，以调整计算量和模型容量。通过对 IWSLT 德英翻译的实验，我们的方法与 well tuned 换基础变压器的精度相匹配，同时只使用不到四分之一的解码器层数。

    Oct, 2019

  • 赋予 Transformer 系统性组合能力的探索

    提出了一种名为 CAT 的具有组合性意识的 Transformer 模型以及两个新的预训练任务，实验结果表明 CAT 在组合性感知任务上优于基线模型，对标准语言理解任务的有效性影响较小。

    Dec, 2023