vit | BriefGPT - AI 论文速递

关键词vit

搜索结果 - 33

Nested-TNT: 多尺度特征处理的分层视觉 Transformer
Transformer 在计算机视觉领域得到应用，其在自然语言处理方面表现出色，超越了传统卷积神经网络并取得了新的最先进结果。通过将图像分割成多个局部补丁，即 “视觉句子”，ViT 实现了这一目标。然而，图像所包含的信息是庞大而复杂的，仅关
PDF2 months ago
将 LLaMA 解码器调整为视觉 Transformer
该研究探讨了将原本为大型语言模型（LLMs）设计的仅解码器 Transformer（如 LLaMA）改编为适用于计算机视觉领域的可能性，并成功开发了一种名为 iLLaMA 的模型，具备高效计算能力和学习复杂表示的特点，达到了优秀的 Imag
PDF3 months ago
CVPRDeiT-LT 蒸馏对长尾数据集的视觉 Transformer 训练再次起效
利用 DeiT-LT 方案能够在长尾数据集上从头开始训练 ViT，并使用蒸馏 DIST 令牌通过在 ViT 架构中使用不同的令牌来学习对应于多数和少数类的特征。
PDF3 months ago
语义残差指令用于持续学习
通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。
PDF4 months ago
ViT-MUL：近期应用于视觉 Transformer 的机器遗忘方法的基线研究
机器反学习（MUL）是机器学习中的一个新兴领域，旨在从训练模型中删除特定训练数据点的学习信息。尽管在计算机视觉领域对 MUL 的研究最近非常活跃，但大部分的工作都集中在基于 ResNet 的模型上。鉴于 Vision Transformer
PDF5 months ago
GTA：从对象中心表示中引导空间注意力的传输
通过对 ViT 中的注意力图进行实验分析，我们观察到当在小数据集上训练时，丰富的表示能力会恶化。受此发现启发，我们提出了一种名为 GTA 的新颖简单的 ViT 正则化方法，这种方法通过显式正则化源模型和目标模型之间的自注意力图，使目标模型能
PDF6 months ago
使用额外的统计信息检查 Transformer 模型的可解释性
通过考虑层归一化层中标记的统计信息，我们的方法在解释 Swin Transformer 和 ViT 的可解释性方面展现了很强的能力。
PDF7 months ago
PriViT：用于快速私密推理的视觉 Transformer
使用 PriViT 算法，通过温和改变 Vision Transformer 结构中的非线性变换，实现了在维持预测准确性的同时，适应安全多方计算（MPC）协议的隐私预测，相比于现有方案，PriViT 在延迟 - 准确性的 Pareto 最优
PDF9 months ago
结合预训练视觉 Transformer 和 CIDER 进行域外检测
研究了使用已预训练的 Transformer 模型在域外检测任务上的性能，并发现 Transformer 模型在默认情况下能够实现更高的检测性能。此外，结合改进方法如 CIDER，还可以进一步提升预训练的 ViT 和 CNN 模型在域外检测
PDF10 months ago
IML-ViT：基于视觉 Transformer 的图像操作定位
开发了一种新的图像篡改定位模型，称为 IML-ViT，它具有高分辨能力、多尺度特征提取能力和篡改边缘监督，并在五个基准数据集上进行了广泛实验，证明了其优于现有篡改定位方法的性能。
PDFa year ago
如何高效地将大型分割模型（SAM）适应于医学图像
本文介绍了一种针对医学影像的零样本分割模型 Segment Anything (SAM)，通过细调轻量级任务特定的 ViT 预测头来提高其在医学影像数据集上的性能。
PDFa year ago
利用 RGB 图像进行少样本泛化学习，估计 6DoF 位姿
本研究提出一种名为 Cas6D 的级联框架，该框架对六自由度物体姿态进行少样本学习的估计，使用自监督预训练 ViT 积累鲁棒特征、用特征金字塔进一步精炼姿态和借助离散化姿态搜索范围和渐进式缩小姿态搜索范围的特性克服了 6DoF 姿态估计中的
PDFa year ago
2-D SSM：用于视觉 Transformer 的通用空间层
该研究旨在设计拥有适当 2D 归纳偏倚的计算机视觉模型。通过引入一种多维状态空间模型（SSM）的表现形式，这种方法有效地促进了 Vision Transformers（ViT）的性能。ViT 的新层引入了高效参数化，加速计算和合适的归一化方
PDFa year ago
AdaptiveClick: 适应点击感知 Transformer 与自适应 Focal Loss 用于交互式图像分割
AdaptiveClick 是一种基于 Transformer 的、面向 Interactive Image Segmentation 的 mask-adaptive 分割框架，它通过引入 CAMD 和 Adaptive Focal Los
PDFa year ago
CVPR轻量级图像超分辨率的全局聚合网络
提出了一种名为 Omni-SR 的新型架构，通过增强的 Omni Self-Attention 块和多尺度交互机制来改善轻量级 ViT 框架中 one-dimensional self-attention 建模的局限和同构聚合方案，并在图像
PDFa year ago
计算机视觉中自回归解码器的多任务研究
本研究着重探讨了多模式计算机视觉的自回归解码器，包括分类、字幕、视觉问答和光学字符识别等任务，通过广泛的系统性实验，我们研究了多任务和数据混合、训练和正则化超参数、调节类型和特异性、模态组合等因素的影响，并与良好调整的单任务基线进行了比较。
PDFa year ago
一种用于 Vision Transformer 的快速无需训练的压缩框架
提出优化 Transformer 模型 (ViT) 部署过程中训练代价高的问题的快速无需训练压缩框架，其中包括初层的稠密特征提取器、压缩率更高的模型和利用空间关系的局部 - 全局令牌合并方法，在多个模型上实现了至多 2 倍的 FLOPS 减
PDFa year ago
低位视觉 Transformer 的无振荡量化
研究了量化感知训练中的重量振荡，发现可学习缩放因子会加剧重量振荡，并因此提出三种技术有效地减轻重量振荡并在 Imagenet 上显著提高了准确率。
PDFa year ago
基于视觉转换的皮肤病生成与分类
本文提出了一个新的多类预测框架，基于 ViT 和 ViTGAN，在使用可解释 AI 的情况下，对皮肤病变分类。该框架分四个阶段，引入了生成对抗网络来解决类不平衡问题，使用卷积神经网络实现分类，实验结果相较于现有框架有所改善。
PDFa year ago
通过模型压缩提高推理性能，不增加计算时间
使用不同的 Model Soups 并从中选出 Pruned Soup，比较了不同模型的表现，然后讨论了实验中发现的 weight-averaging 的局限性。
PDFa year ago