Jun, 2024

VTrans：基于变分信息瓶颈剪枝的 Transformer 压缩加速

PDF
TL;DR我们提出了 VTrans，一种迭代剪枝框架，通过变分信息瓶颈（VIB）原则引导，压缩所有结构组件，包括嵌入层、注意力头和层，以满足模型大小或计算约束，相比之前的方法实现了高达 70% 的压缩，并提出了更快的变体。在 BERT、ROBERTa 和 GPT-2 模型上进行的广泛实验证实了我们方法的效果，并使用基于注意力的探针定性评估模型冗余性和方法的效率。
pre-trained transformer modelsiterative pruning frameworkcompressionvib-trained masksattention-based probing
发现论文，激发创造
  • 利用变分信息瓶颈压缩神经网络

    该论文研究了如何通过修剪神经元、信息瓶颈和稀疏正则化等方式来压缩神经网络模型，提高模型的精度和运行效率。在多个数据集和网络架构中展示了最先进的压缩率。

    Feb, 2018

  • Vision Transformers 的统一剪枝框架

    该论文提出了一种名为 UP-ViTs 的统一结构修剪框架，可在保持模型一致性的同时，压缩 Vision Transformer 等模型的体积并提高模型的准确性。实验证明，UP-ViTs 在 Object Detection 等任务中取得了不俗的性能，并在 ImageNet 上超越了传统的 ViTs 模型。

    Nov, 2021

  • 一种用于 Vision Transformer 的快速无需训练的压缩框架

    提出优化 Transformer 模型 (ViT) 部署过程中训练代价高的问题的快速无需训练压缩框架，其中包括初层的稠密特征提取器、压缩率更高的模型和利用空间关系的局部 - 全局令牌合并方法，在多个模型上实现了至多 2 倍的 FLOPS 减少和 1.8 倍的推理吞吐量提升，训练时间比现有方法节省两个数量级。

    Mar, 2023

  • 统一视觉 Transformer 压缩

    本论文提出了一种统一的 ViT 压缩框架，其中使用了修剪、跳跃层和知识蒸馏等三种有效技​​​​术，经过在 ImageNet 数据集上的实验验证，我们的方法在保证精度的前提下有效压缩 Vision Transformers，比目前已有的压缩方法表现更优。

    Mar, 2022

  • 有效低资源微调的变分信息瓶颈

    本文提出使用变分信息瓶颈 (VIB) 来压制过拟合和提高低资源情景中的传输学习，并证明我们的方法成功地降低了过拟合，提高了泛化能力。我们的 VIB 模型发现的句子表示更加鲁棒且能够在自然语言推断数据集中更好地泛化到领域外数据集，实验结果表明我们的方法显著提高了传输学习，并在 13 个领域外自然语言推断基准测试中提高了泛化能力。

    Jun, 2021

  • 学习使用非参数化变分信息瓶颈进行抽象

    本论文介绍了一种能够学习在同一模型的不同层次进行不同抽象级别压缩的语言表示模型，并通过在编码器的堆叠 Transformer 自注意力层中应用非参数变分信息瓶颈 (NVIB) 来促进表示的信息理论压缩。论文发现模型内的不同层次对应于不断增加的抽象级别，并且它们的表示更具有语言学信息。最后，实验证明 NVIB 压缩能够产生更具鲁棒性的模型，面对对抗性扰动更加稳健。

    Oct, 2023

  • 预训练 Transformer 的非参数变分正则化

    当前大规模预训练和微调 Transformer 大型语言模型的范式在自然语言处理方面取得了显著的进展，然而这种大型模型容易在训练数据上过拟合，在领域变化时性能表现差，而将非参数变分信息瓶颈（NVIB）框架扩展到 Transformers 的所有类型的注意力函数可以解决过拟合问题，改变初始化可以引入一种新的基于信息论的后训练正则化的注意机制，提高领域外泛化能力，这证实了预训练的 Transformer 模型隐式地是 NV 贝叶斯模型。

    Dec, 2023

  • 通过信息瓶颈专门化单词嵌入（用于解析）

    提出了一种 VIB 方法，将预训练的词嵌入非线性压缩，只保留帮助判别式解析器的信息，在离散或连续向量上进行压缩，可以实现更准确的解析。

    Oct, 2019

  • COMCAT：注重效率的基于注意力机制的视觉模型压缩和定制化

    本文提出了一种高效的 ViT 压缩解决方案，该方法基于多头注意力层的新见解开发，可用于获得紧凑的基于注意力的视觉模型，并在图像分类任务中取得比最先进的剪枝方法更高的准确性。

    May, 2023

  • 非参数变分信息瓶颈下的变压器变分自编码器

    本文提出了一种基于变分信息瓶颈的变分自编码器（VAE）改进方法，用于 Transformers 的嵌入空间优化，通过 Bayesian nonparametrics 方法获得非参数的变分信息瓶颈（NVIB）以规范注意机制支持的向量数量和向量中的信息量，为 Encoder-Decoder 模型引入 NVIB，提出了一种非参数化可变自编码器（NVAE），并在自然文本上证明了其有效性。

    Jul, 2022