ICLRMar, 2024

LUM-ViT：适用于带宽有限的光信号采集的可学习欠采样掩膜视觉变换器

PDF
TL;DR通过预采集调制的 LUM-ViT 方法，在图像分类任务中只采样原始图像像素的 10%，准确率损失不超过 1.8％，在实际的光学硬件上实现了接近原始准确率的结果。
bandwidth constraintshyperspectral datapre-acquisition modulationlum-vitreal-time detection
发现论文，激发创造
  • Wave-ViT：融合小波和 Transformer 的视觉表示学习

    本研究通过构建 Wavelet Vision Transformer 来处理多尺度视觉问题，使用小波变换实现可逆下采样，同时结合局部上下文信息提高自注意力计算结果，结果表明其在图像识别等多种任务上表现优异。

    Jul, 2022

  • LF-ViT：针对高效图像识别减少 Vision Transformer 中的空间冗余

    该研究提出了一种名为 LF-ViT 的定位和聚焦视觉变换器模型，通过在定位阶段处理降低分辨率图像并在发现困难预测时触发内置的全局类注意机制，确定和聚焦类别区域，然后在聚焦阶段使用原始图像中的该区域增强识别能力，该模型有效地缩小了计算要求并提高了性能。

    Jan, 2024

  • Q-ViT: 准确的、完全量化的低位视觉 Transformer

    本文介绍了一种基于信息矫正模块和分布引导蒸馏方案的量化视觉变换器压缩方法，可以在 ImageNet 数据集上实现高达 80.9％的准确性，并且比全精度对应物超过 1.0％的 Top-1 精度。

    Oct, 2022

  • 观察、分析与解决：通过带掩码图像建模预训练探索强大轻量化视觉 Transformer

    通过对轻量级视觉 Transformer（ViTs）的掩码图像建模（MIM）预训练方法与对比学习（CL）预训练方法在不同数据规模下的行为对比研究，观察到了 MIM 预训练在高层学习上的劣质表现以及其对数据不足下游任务的不理想 Fine-tuning 表现，进而提出了预训练退火策略来解决这一问题，实验证明了该方法在不同视觉任务中的有效性。

    Apr, 2024

  • LightViT: 轻量化无卷积视觉 Transformer

    本研究提出了一种名为 LightViT 的轻量化 transformer 网络，通过全局有效聚合策略结合注意力机制和多维度的通道 / 空间注意力机制来捕捉全局依赖信息，从而实现更好的准确性和效率平衡。实验证明，该模型在图像分类、目标检测和语义分割任务中均取得了显著的提升。

    Jul, 2022

  • HiViT: 分层视觉 Transformer 遇见掩蔽图像建模

    本文提出了一种名为 HiViT 的分层视觉转换器的设计，该设计在 MIM 中具有高效性和良好的性能，通过关闭 Swim Transformer 的局部对单元操作并显示层次结构，将蒙版单元序列化为普通视觉变换器，经实证研究表明，在 ImageNet-1K 上运行 MAE，HiViT-B 相对于 ViT-B 的准确率提高了 0.6％，比 Swin-B 快了 1.9 倍，表现提高泛化到检测和分割等下游任务。

    May, 2022

  • CNN 还是 ViT？透过卷积再探视觉 Transformer

    本研究提出了一种新颖的高斯混合蒙版（GMM）方法，在没有预训练的情况下通过改进局部建模的方式来提升 Vision Transformer（ViT）在小数据集上的性能，实验证明该方法对于提升 ViT 的效果显著，几乎不增加额外参数或计算成本。

    Sep, 2023

  • 预训练通用医学图像变换器

    通过使用自监督学习和空间自适应卷积技术，我们构建了一个通用的医学图像处理模型，可以高效处理各种医学图像数据，并在医学图像分类和分割任务上表现出更好的性能和标签效率。

    Dec, 2023

  • LT-ViT：用于多标签胸部 X 射线分类的视觉 Transformer

    利用 LT-ViT 来从多个尺度聚合信息，实现对胸部 X 光图像进行纯可视化模型训练，其优于基于纯 ViTs 的现有方法，在两个公开 CXR 数据集上表现出最先进的性能，并且对于其他预训练方法具有泛化性且不依赖于模型初始化，并且能够实现模型的可解释性而无需使用 grad-cam 及其变种。

    Nov, 2023

  • BiViT: 二值化视觉转换器的极度压缩

    本研究提出了针对视觉 Transformers 的二值化方法，其中包括了对 softmax attention 的优化，采用 Cross-layer Binarization 和引入可学习的通道缩放因子等技巧，最终实现了在 TinyImageNet 和 ImageNet 中超越现有技术并取得最佳效果。

    Nov, 2022