基于标记合并的转换器和状态空间模型的高效时间序列处理

May, 2024

基于标记合并的转换器和状态空间模型的高效时间序列处理

Efficient Time Series Processing for Transformers and State-Space Models through Token Merging

Leon Götz, Marcel Kollovieh, Stephan Günnemann, Leo Schwinn

TL;DR在时间序列分析中，我们首次探讨了令牌合并在时间序列变换器和状态空间模型中的应用，通过引入局部合并算法，我们能够在长序列上有效实现令牌合并，从而在多个模型和数据集上获得显著的计算效益而对准确性影响最小。

Abstract

transformer architectures have shown promising results in time series processing. However, despite recent advances in subquadratic attention mechanisms or state-space models, processing very long sequences still

transformer architectures token merging time series analysis state-space models computational benefits

发现论文，激发创造

Segformer++: 高分辨率语义分割的高效令牌合并策略

利用 Transformer 架构进行高分辨率图像的语义分割受到注意力计算复杂性的阻碍。本文通过令牌合并来减少令牌数量，这在图像分类任务的推理速度、训练效率和内存利用方面取得了显著改进。我们在多个语义分割和人体姿势估计数据集上探索了不同的令牌合并策略，并在 Cityscapes 数据集上实现了 61% 的推理加速，同时保持了 mIoU 性能。因此，本文有助于在资源受限设备和实时应用中部署基于 Transformer 的架构。

May, 2024

视觉 Transformer 中的标记合并学习

本文介绍了一种减少 Transformers 计算代价的方法 —— 使用 PatchMerger 模块将网络处理的补丁或令牌数量缩减，从而在不影响性能的情况下实现了显著的加速。

Feb, 2022

基于学习的阈值令牌合并和修剪用于视觉 Transformer

这篇论文介绍了一种名为 LTMP 的学习阈值符号合并和修剪方法，它通过动态确定合并和修剪的符号，以降低计算视觉变换器所需的输入符号数量，实现了在降低速率的同时保持最先进的准确性，在仅一个微调阶段的情况下比先前的方法快一个数量级以上。

Jul, 2023

词元融合：填补词元剪枝与词元合并之间的差距

通过融合 Token Fusion 方法来提高 Vision Transformers 的计算效率和模型准确性，使其适用于资源受限的边缘设备，并在分类和图像生成任务中建立新的基准。

Dec, 2023

邻近标记合并加速传感器

该研究提出了一种名为 Adjacent Token Merging 的新方法，该方法通过逐步合并具有高相似性分数的相邻标记来减少令人烦恼的 ASR 系统的时间步长，并在 LibriSpeech 上的实验表明，该方法可以减少 57％的标记并提高 GPU 上的推理速度达 70％，同时不会影响准确性。

Jun, 2023

Token Merging：让您的 ViT 更快

Token Merging（ToMe）是一种简单的方法，可以提高现有 ViT 模型的吞吐量，无需进行训练。ToMe 逐渐合并转换器中相似的标记，使用一种通用且轻量级的匹配算法，可以像修剪一样快速，并具有更高的准确性。ToMe 的准确性和速度在图像、视频和音频方面的操作都具有竞争力。

Oct, 2022

多尺度和令牌合并：让您的 ViT 更高效

本文提出一种新的 token pruning 方法，通过筛选关键词实现计算效率和模型效果的折衷，实验结果表明，该方法可显著降低计算成本，同时仅导致 0.1% 的 DeiT-S 识别精度下降。

Jun, 2023

VidToMe: 零摄影剪辑的视频令牌合并

通过合并帧间的自注意力标记，提高生成视频的时间一致性和降低内存使用，从而实现图像编辑技术在视频编辑领域的扩展。

Dec, 2023

PuMer：用于高效视觉语言模型的剪枝和合并机制

PuMer 是一个使用文本感知修剪和模态感知合并策略的令牌减少框架，可通过在 VL 模型中添加轻量级令牌缩减器模块来改进模型推理速度和减少内存占用，从而提高了 VL 任务的推理吞吐量并减少了内存占用。

May, 2023

聚焦核心：通过裁剪令牌压缩实现高效的文档分类注意力

通过结合令牌修剪和令牌合并的策略，我们在基于 Transformer 模型的基础上提出了改进的方法，既提高了模型的性能，又降低了计算需求。在各种数据集上的实验证明，与基准模型相比，我们的方法在准确度上提升了 5% p，F1 得分提升了 5.6% p。此外，我们成功减少了内存成本到 0.61 倍，并实现了 1.64 倍的加速。

Jun, 2024