vision transformer | BriefGPT

关键词vision transformer

搜索结果 - 322

使用掩码学习的 Transformer 情感识别
通过使用 Vision Transformer 和 Transformer 模型，该研究关注情感的 Valence-Arousal 估计、各种面部表情的识别和基础肌肉运动的动作元的检测，提出了一种基于 Transformer 的新框架来最大
PDF4 months ago
HIRI-ViT：高分辨率输入下的视觉 Transformer 尺度扩展
一种基于高分辨率输入的新型混合主干网络 (HIRI-ViT)，通过将典型的卷积神经网络操作分解为两个并行的卷积神经网络分支来构建，一个直接以高分辨率特征为输入，但使用更少的卷积操作，另一个首先进行下采样，然后在低分辨率特征上使用更多的卷积操
PDF4 months ago
从像素到预测：频谱图和视觉变换器用于更好的时间序列预测
通过使用时间频谱图作为时间序列数据的可视表示，使用视觉变换器进行多模态学习的一种新方法，与统计基线、深度学习方法、其他视觉表示方法和只使用时间序列作为输入的研究进行对比，表明利用频谱图作为时间序列数据的可视表示具有优势，并且同时学习时间和频
PDF4 months ago
CVPR高效视觉 Transformer 的多标准令牌融合与一步式注意力
通过多标准令牌融合（MCTF）方法，结合多样性关系和信息损失的最小化，实现了图像分类中速度和准确性的平衡。在多个实验中，MCTF 在不降低性能的情况下，显著减少了计算量并提高了模型的性能。
PDF4 months ago
CVPRViT-CoMer: 具有卷积多尺度特征交互的视觉 Transformer 用于密集预测
ViT-CoMer 是一种纯粹、无需预训练并具有特征增强的 ViT 骨干网络，其通过引入卷积多尺度特征相互作用和 CNN-Transformer 双向融合交互模块，在处理密集预测任务时具有较优的性能。
PDF4 months ago
使用特征多样性对抗攻击变形器
提出了一种用于 Vision Transformer 模型的无标签白盒攻击方法，该方法在各种黑盒模型之间表现出较强的迁移性，包括大多数 Vision Transformer 变体、CNN 和 MLP，甚至是针对其他模态开发的模型。攻击的灵感
PDF4 months ago
分割引导稀疏变换器用于底层显示摄像头图像修复
在本文中，我们观察到在使用 Vision Transformer 进行 UDC 受损图像恢复时，全局注意机制会采样大量冗余信息和噪音。基于此发现，我们提出了一种基于分割引导的稀疏 Transformer 方法（SGSFormer），用于从
PDF4 months ago
NiNformer：一种带有令牌混合生成门控函数的网络中网络 Transformer
该论文介绍了一种用于减少计算负担的新的计算模块，通过替换标准的注意力层为具有动态学习元素级门控函数的网络结构，增强了 MLP Mixer 的静态方法，从而在图像分类任务中比基准架构表现更好。
PDF4 months ago
VisionLLaMA：一个统一的视觉任务 LLaMA 接口
该研究论文介绍了一种基于转换器架构的大型语言模型，探讨了该转换器是否能够用于处理二维图像，并提出了一种名为 VisionLLaMA 的类似 LLaMA 的视觉转换器，用于解决各种视觉任务，并在图像生成中展现出显著的改进。该研究代码将在指定的
PDF4 months ago
基于 Vision Transformer 的简单且高效网络用于伪装物体和显著物体检测
本文提出了一种简单而有效的基于 Vision Transformer（ViT）的网络（SENet），通过采用一种基于不对称 ViT 的编码器 - 解码器结构的简单设计，在隐藏目标检测和显著目标检测两个任务上取得了有竞争力的结果，在精细设计的
PDF4 months ago
探讨视觉变换器在医学图像分类中对标签噪声的稳健性
医学图像分类数据集中的标签噪声严重影响了受监督深度学习方法的训练，削弱了其泛化能力。本文研究了 Vision Transformer (ViT) 相对于 CNN 的鲁棒性，以及其处理医学图像分类中标签噪声的能力，并使用两个医学图像分类数据集
PDF4 months ago
一阶段基于提示的持续学习
通过引入一种单阶段的 PCL 框架，将中间层的标记嵌入作为提示查询，消除了查询 ViT 的额外前馈阶段，从而在训练和推理中将计算成本降低了约 50%，准确度仅下降不到 1%。此外，引入了查询池正则化损失（QR 损失），用于改进提示查询和提示
PDF4 months ago
多人全身人体网格恢复单次拍摄
提出了 Multi-HMR，这是一个强大的单次拍摄模型，可以从单个 RGB 图像中恢复多人的 3D 人体网格。
PDF4 months ago
EffLoc: 高效的六自由度相机重定位的轻量级视觉 Transformer
EffLoc 是一种高效的视觉转换器，用于单图像相机场景重定位，具有较强的效率和准确性，并超过了之前的方法，如 AtLoc 和 MapNet。
PDF5 months ago
基于 Transformer 的高维数据量子嵌入
量子嵌入式与变压器是一种新颖且有前景的架构，用于实现在近期设备或模拟器上提供异常能力的量子机器学习。该研究在 BirdCLEF-2021（一个具有挑战性的高维度数据集）上，通过结合视觉变压器（ViT）显著提升了量子嵌入能力，并使得单比特分类
PDF5 months ago
ReViT: 增强视觉变压器的注意力残差连接用于视觉识别
通过引入新的残差注意力学习方法来改善 Vision Transformer (ViT) 架构，包括增加视觉特征多样性和模型的鲁棒性，以提高识别系统的准确性。在五个图像分类基准测试中，通过对 ImageNet1k、CIFAR10、CIFAR1
PDF5 months ago
弱猕猴蛇 UNet：可视化猕猴蛇使 CNN 和 ViT 在基于草图的医学图像分割中更加出色
介绍了一种创新的弱监督学习框架，利用卷积神经网络（CNN）、视觉 Transformer（ViT）和最新的 Visual Mamba（VMamba）架构进行医学图像分割，特别是处理基于涂鸦注释。
PDF5 months ago
HEAL-ViT：用球形网格实现中程天气预报的视觉 Transformer
HEAL-ViT 是一种新颖的架构，它在球面网格上使用 ViT 模型，从而同时享受基于图的模型的空间均匀性和变压器所利用的高效注意力机制，能够产生优于 ECMWF IFS 的天气预报结果。
PDF5 months ago
TransAxx: 高效逼近计算的 Transformer
本研究使用 Vision Transformer 模型结合近似计算方法分析了在低功耗设备上实现 Transformer 模型的计算要求和性能之间的折衷，并提出了使用蒙特卡洛树搜索算法生成 Vision Transformer 模型的近似加速
PDF5 months ago
随机加密视觉转换器的敌对鲁棒防御的集成
使用视觉变换器 (ViT) 的加密模型的随机集合，提出了一种增强对白盒和黑盒攻击鲁棒性的新方法，在 CIFAR-10 和 ImageNet 数据集的图像分类任务中，该方法不仅对抗白盒攻击，而且对抗黑盒攻击，并在 RobustBench 标准
PDF5 months ago