hierarchical vision transformers | BriefGPT

关键词hierarchical vision transformers

搜索结果 - 6

ICLR层次视觉变形器的无数据依赖模块感知剪枝
本研究提出了一种基于数据无关的模块感知剪枝方法（DIMAP），用于压缩层级视觉转换器。该方法通过分析信息失真来公正地比较不同层级的 “局部” 注意力权重的贡献，并且引入一种基于权重的新型度量，在不依赖于输入图像的情况下消除了对图块合并过程的
PDF3 months ago
层次视觉 Transformer 用于全切片图像中上下文感知的前列腺癌分级
该研究探讨了分层视觉 Transformer（H-ViTs）在计算病理学中的应用，评估其在整张切片图像中进行前列腺癌分级的效率，结果显示其与现有最先进解决方案具有竞争力的性能。
PDF7 months ago
ICMLHiera: 一种无多余属性的分层视觉 Transformer
本研究旨在通过预训练一个强大的视觉预测任务（MAE）来简化现代分层视觉变压器的结构，从而创造出一个极其简单的分层视觉变压器 Hiera，并在图像和视频识别的多种任务中评估 Hiera 的性能。
PDFa year ago
HiViT: 分层视觉 Transformer 遇见掩蔽图像建模
本文提出了一种名为 HiViT 的分层视觉转换器的设计，该设计在 MIM 中具有高效性和良好的性能，通过关闭 Swim Transformer 的局部对单元操作并显示层次结构，将蒙版单元序列化为普通视觉变换器，经实证研究表明，在 Image
PDF2 years ago
面向带遮挡图像建模的绿色分层视觉 Transformer
本文介绍了一种高效的逐层视觉变换（ViT）的 Masked Image Modeling（MIM）方法，通过一些关键的设计，使得 MIM 可以在可见的 patch 上进行可控的 self-attention，并通过 Sparse Convo
PDF2 years ago
CVPRMixMAE: 混合和掩蔽自编码器用于高效的分层视觉 Transformer 预训练
本文提出了一种名为 MixMAE 的方法，可以有效地预先训练不同的分层视觉转换器，并取代掩蔽图像建模（MIM）方法，仍然可以对受损图像进行建模，而不会导致训练速度慢和预处理 - 微调不一致性问题。实验结果表明，使用 MixMAE 进行预处理
PDF2 years ago