token merging | BriefGPT - AI 论文速递

关键词token merging

搜索结果 - 8

COVE：释放扩散特征对应的一致视频编辑
通过利用扩散特征的对应关系，在视频编辑中实现高质量和一致性，并通过在 GPU 内存使用和编辑进程中引入时空维度的令牌合并策略来加速编辑过程。
PDF21 days ago
基于标记合并的转换器和状态空间模型的高效时间序列处理
在时间序列分析中，我们首次探讨了令牌合并在时间序列变换器和状态空间模型中的应用，通过引入局部合并算法，我们能够在长序列上有效实现令牌合并，从而在多个模型和数据集上获得显著的计算效益而对准确性影响最小。
PDFa month ago
Segformer++: 高分辨率语义分割的高效令牌合并策略
利用 Transformer 架构进行高分辨率图像的语义分割受到注意力计算复杂性的阻碍。本文通过令牌合并来减少令牌数量，这在图像分类任务的推理速度、训练效率和内存利用方面取得了显著改进。我们在多个语义分割和人体姿势估计数据集上探索了不同的令
PDFa month ago
CVPRvid-TLDR: 轻量级视频 Transformer 的无训练自由标记合并
提出了轻量级视频 Transformer（vid-TLDR）的训练免费的令牌合并策略，通过合并背景令牌并通过关注图捕捉显著区域来提高视频 Transformer 的效率。实验证明，vid-TLDR 显着减轻了视频 Transformer 的
PDF3 months ago
GTP-ViT：基于图卷积传播的高效视觉 Transformer
基于图的标记传播方法（GTP）通过将不重要的标记信息传播到与之相关性更大的标记上，从而在降低计算复杂度的同时保持了被剔除标记的重要信息，实现了高效的 Vision Transformers（ViTs）。
PDF8 months ago
PPT：高效视觉 Transformer 的令牌修剪和池化
通过在视觉 Transformer 模型中集成令牌剪枝和令牌汇聚技术，我们提出了一种名为令牌剪枝和汇聚 Transformer（PPT）的新型加速框架，通过启发式方法自适应地应对两种不同层次的冗余，有效降低模型复杂性同时保持其预测准确性。例
PDF9 months ago
CAIT：面向 ViTs 的高精度、快速推理和良好可迁移性的三赢压缩
我们提出了一种联合压缩方法，用于 Vision Transformers（ViTs），旨在提供高准确性和快速推理速度，同时保持对下游任务的有利可传输性。具体来说，我们引入了不对称的令牌合并（ATME）策略来有效集成相邻的令牌，并引入一致的动
PDF9 months ago
ICLRToken Merging：让您的 ViT 更快
Token Merging（ToMe）是一种简单的方法，可以提高现有 ViT 模型的吞吐量，无需进行训练。ToMe 逐渐合并转换器中相似的标记，使用一种通用且轻量级的匹配算法，可以像修剪一样快速，并具有更高的准确性。ToMe 的准确性和速度
PDF2 years ago