May, 2023

Vcc: 通过优先考虑重要标记来将 Transformer 扩展到 128K 标记或更多

PDF
TL;DR本文提出了一种基于 VIP-Token 的压缩方案，能够显著减少 Transformer 模型对 n 的复杂度依赖，大大提高了超长序列的处理效率，并在多个任务上表现出了优秀的性能和扩展性。
transformer modelsnatural language processingcomputer visionvip-token centric compressionefficiency improvement
发现论文，激发创造
  • 利用紧凑型 Transformer 逃离 “大数据” 范式

    本论文提出了一种名为紧凑型 Transformer（CCT）的方法，并证明使用恰当的大小和卷积记号化技术，可以在小型数据集上避免过度拟合并优于现有卷积神经网络（CNNs）的表现，从而使得 Transformer 在应对较小的数据集、资源受限和数据效率方面有了新的突破。

    Apr, 2021

  • 适应性记号长度的视觉变换器：将长图像变短

    通过 Resizable-ViT 模型和 Token-Length Assigner 方法，在保证准确性的前提下，为每个图像分配最小的适当的 token 长度，从而加快 ViT 模型的推理速度，从而显着降低计算成本。

    Jul, 2023

  • SkipViT：使用令牌级别的跳跃连接加速视觉变换

    我们的研究提出了一种方法来优化视觉转换器模型中不相关令牌之间的不必要交互数量，通过将它们分离并通过不同的低成本计算路径发送，同时在训练吞吐量上获得 13% 以上的提升，并在华为 Ascend910A 上维持与基准模型相同级别的分类准确性。

    Jan, 2024

  • 一种用于 Vision Transformer 的快速无需训练的压缩框架

    提出优化 Transformer 模型 (ViT) 部署过程中训练代价高的问题的快速无需训练压缩框架，其中包括初层的稠密特征提取器、压缩率更高的模型和利用空间关系的局部 - 全局令牌合并方法，在多个模型上实现了至多 2 倍的 FLOPS 减少和 1.8 倍的推理吞吐量提升，训练时间比现有方法节省两个数量级。

    Mar, 2023

  • 使用哨兵标记对自回归 Transformer 进行上下文压缩

    通过增量压缩指定范围的令牌的中间激活，我们提出了一种即插即用的方法，从而在处理后续上下文时减少了内存和计算成本。实验证明，与稀疏注意力基线相比，我们的方法在流畅度、n-gram 匹配和语义相似性方面具有优势。最后，我们全面评估了上下文压缩对系统改进的益处。

    Oct, 2023

  • Transformer 压缩综述

    在该研究中，作者通过综述了解压缩方法对 Transformer 模型在自然语言处理和计算机视觉领域的应用，并对修剪、量化等压缩方法进行了分类和讨论。

    Feb, 2024

  • 视觉 Transformer：面向计算机视觉的基于令牌的图像表示和处理

    本文通过使用视觉 Transformer 在语义标记空间中密集地建模标记关系并减少卷积计算量，从而在 ImageNet top-1 和 LIP，COCO-stuff 图像分割测试上表现出了显着的优势。

    Jun, 2020

  • 压缩变压器进行长序列建模

    本研究介绍了压缩 Transformer，一种关注序列模型，用于长距离序列学习。在维基百科 103 和 Enwik8 基准测试中，我们发现压缩 Transformer 获得了最先进的语言模型结果，分别为 17.1 ppl 和 0.97 bpc。我们还发现它可以有效地模拟高频率语音，并且可以用作 RL 的记忆机制，在物体匹配任务上进行了演示。为了促进长距离序列学习领域，我们提出了一个新的基于图书的开放式词汇语言模型基准测试 PG-19。

    Nov, 2019

  • Tokens-to-Token ViT: 在 ImageNet 上从头开始训练视觉 Transformer 模型

    本论文提出了一种名为 T2T-ViT 的 Tokens 转到 Tokens 的视觉变压器，用于图像分类，通过对输入图像进行递归聚合邻近的 Tokens，结合本地结构进行建模，从而提高模型训练样本效率，并减少模型参数和计算量，最终在 ImageNet 数据集上取得了优秀的表现。

    Jan, 2021

  • 对付时间与内存受限 GPU 服务下的长文本分类的简单转换器技巧

    使用 18k 新闻文章，我们研究了基于 Tokenizer 输出长度推荐使用的预训练模型，并对缩短和丰富序列的一些技巧进行了比较。我们找到在使用较少的计算资源的情况下，去除停用词同时保留标点和低频词是最佳的技巧，并能够在保持相同信息的同时获得优越性能。这些研究结果可帮助开发者在有限的资源下高效地优化模型性能。

    Mar, 2024