Nov, 2021

Mesa：用于 Transformer 的节省内存的训练框架

PDF
TL;DRMesa 是一种针对 Transformers 网络进行训练的内存优化框架，采用精确激活函数和低精度激活函数相结合的方式进行训练，结合头部激活函数的统计学信息对激活函数进行量化，通过对估计运行量的量化进行参数学习以提高训练效率，可在保证计算资源有限的情况下达到优异的性能表现。
transformersmesamemory-savingactivation quantizationtraining efficiency
发现论文，激发创造
  • 揭示 Transformer 中的 Mesa 优化算法

    通过逆向工程一系列经过训练的自回归 Transformer，我们发现其通过梯度驱动的学习中的 mesa-optimization 算法也可被改用于解决少样本监督任务，这表明 mesa-optimization 可能是大型语言模型在上下文学习能力方面的基础。此外，我们提出了一种新的自注意层 ——mesa-layer，它能显式、高效地解决上下文中给定的优化问题，并在合成和初步语言建模实验中展现出更好的性能，从而加强了 mesa-optimization 隐藏在训练的 Transformer 网络权重中的重要性的假设。

    Sep, 2023

  • MEST: 边缘计算上精确且高效的经济稀疏训练框架

    本文提出一种 Memory-Economic Sparse Training (MEST) 框架，利用弹性变异（EM）和软内存限制（&S）实现了高精度和高稀疏比率下边缘设备上的快速训练，并探索了稀疏度方案对稀疏训练性能以及数据效率加速的影响。大量实验结果证明了该框架在精度、训练速度和内存占用上优于目前 SOTA 方法。

    Oct, 2021

  • 自回归训练的变压器中的 Mesa - 优化：出现和能力

    最近的研究表明，自回归训练的 Transformer 学习了一个内在的优化器，通过正向传播来优化一个内部目标函数，我们探索了一个通过梯度流进行自回归训练的一层线性因果自注意模型的非凸动力学，以填补该领域的知识空白，并验证了该模型能够实现内在学习能力和优化器假设。

    May, 2024

  • 基于块选择性重编程的视觉 Transformer 设备端训练

    通过研究现有的内置训练方法的局限性，本文提出了基于块选择性重编程（BSR）的方法，在部分冻结层的基础上，根据自注意力得分从预训练模型中选择性地丢弃令牌，有效地减少训练内存和计算成本，同时保持相似的准确性，适用于多任务学习场景。

    Mar, 2024

  • 理解和克服高效 Transformer 量化的挑战

    本文探讨了 Transformer 模型的量化问题，并给出了三种解决方法，其中一种基于 embedding group 的量化方法建立了新的量化模型，该方法可降低模型内存占用且保证了一定的精度。通过在 GLUE 基准测试中使用 BERT，我们准确评估了这些方法的有效性，并提出了一种新的超低比特宽度的 transformer 权重和 embedding 的量化方法，以实现更大的内存节省。

    Sep, 2021

  • 视觉 Transformer 的后训练量化

    本文介绍了一种有效的后训练量化算法，以降低视觉变换器的内存存储和计算成本，并在多个基准模型和数据集上证明了所提出的方法的有效性，在 ImageNet 数据集上使用 DeiT-B 模型可获得约 8 位量化的 81.29％ top-1 精度。

    Jun, 2021

  • 大内存系统上的记忆化加速 Transformer

    本研究介绍一种基于缓存优化技术的变压器模型加速方案，通过建立基于大内存系统的注意力数据库来加速注意力计算，从而实现了平均 21％的性能提升（最高 68％），并且在推理准确性上有可忽略的损失。

    Jan, 2023

  • 基于网格式记忆的 Transformer 图像字幕生成

    使用 M$^2$ - Meshed Transformer with Memory for Image Captioning 的架构，改进了图像编码和语言生成步骤；通过测试，证明该架构在单模型和集成配置上达到了新的最佳状态，尤其是在描述训练集中看不见的对象时表现优异。

    Dec, 2019

  • 动态存储量化用于高效的 Transformer 训练

    本文提出一种新颖的动态存储量化策略，Dynamic Stashing Quantization（DSQ），旨在减少内存操作，并享受低精度训练的其他好处，比如减少运算成本，通过在两个翻译任务和三个分类任务上的研究表明，DSQ 在 IWSLT17 上将算术操作的数量降低了 20.95 倍，并将 DRAM 操作数量降低了 2.55 倍，这为大语言模型在设备学习中的部署提供了解决方案。

    Mar, 2023

  • TRAMS：无需训练的长程语言模型记忆选择

    提出了一种称为 TRAining-free Memory Selection (TRAMS) 的插拔式策略，通过一个简单的评价指标选择参与注意力计算的令牌，从而改善长程语言建模的挑战，无需额外训练或添加参数，通过在 word-level benchmark (WikiText-103) 和 character-level benchmark (enwik8) 上的测试取得了改进的结果。

    Oct, 2023