vision transformer | BriefGPT

关键词vision transformer

搜索结果 - 322

CLFT：用于自动驾驶语义分割的相机 - LiDAR 融合变压器
提出了基于 Vision Transformer 的网络进行相机 - LiDAR 融合，用于自动驾驶的语义分割，成功地在挑战性条件下如雨天和低照明环境下展示了健壮的性能。
PDF2 months ago
利用空间和频率的二值化文件处理
基于快速傅里叶卷积，提出了一种能够处理文档图像二值化问题的替代方案，克服了标准卷积在建模全局信息方面的局限性，同时比 Vision Transformer 需要更少的参数。
PDF2 months ago
基于视觉转换器的对抗领域自适应
无监督领域自适应方法已取得了最新的优秀成果，并大多数使用了卷积神经网络作为特征提取器，然而视觉转换器虽已被广泛应用于计算机视觉任务，却未在对抗性领域自适应中研究过，本文填补了这一空白，并证明视觉转换器可直接应用于现有的对抗性领域自适应方法，
PDF2 months ago
MiM: 3D 医学图像分析的层叠掩模自监督预训练
提出一种用于 3D 医学图像的新型预训练框架 “Mask in Mask（MiM）”，通过学习来自不同尺度的分层视觉标记的辨别性表示，在器官 / 病变 / 肿瘤分割和疾病分类等任务中展现出 MiM 相对于其他自我监督学习方法的优越性能，此外
PDF2 months ago
Mask2Former 风格模型的高效 Transformer 编码器
基于视觉 Transformer 的模型在图像分割任务上取得了显著的改进。然而，这些架构对计算资源的使用可能对部署设备造成负担。为了克服这一挑战，我们引入了 ECO-M2F，即 EffiCient TransfOrmer Encoders
PDF2 months ago
线性演化变压器用于泛光谱增强
为了在低资源卫星上实现性能优势而避免昂贵的计算，我们提出了一种高效的线性演化变体转换器，并将其应用于构建轻量级全球建模框架。
PDF2 months ago
Arena: 对边缘辅助视频分析的感兴趣区域可见光成像推断加速系统
通过引入 Arena，基于 Vision Transformer（ViT）的端到端边缘辅助视频推理加速系统，利用 ViT 的能力通过令牌修剪加速，仅将感兴趣区域（PoIs）卸载并传递给下游模型，还使用基于概率的补丁抽样确定连续帧中对象的可能
PDF3 months ago
IFViT: 基于 Vision Transformer 的指纹匹配解释性定长表示
通过视觉转换器构建的可解释指纹匹配网络 IFViT，利用密集特征点在像素级别上进行准确匹配和构造固定长度表示，提供了具有解释性的像素级特征点对应，并在深度固定长度表示的指纹匹配中显著促进了可解释性。
PDF3 months ago
HSViT：水平可扩展的视觉 Transformer
这篇论文介绍了一种新型的水平可伸缩视觉转换器 (HSViT)，通过引入新的图像级特征嵌入和设计创新的水平可伸缩架构，以减少模型的层数和参数数量，并促进 ViT 模型在多个节点上的协同训练和推理，从而实现比现有方案高多达 10% 的 top-
PDF3 months ago
CVPRDeiT-LT 蒸馏对长尾数据集的视觉 Transformer 训练再次起效
利用 DeiT-LT 方案能够在长尾数据集上从头开始训练 ViT，并使用蒸馏 DIST 令牌通过在 ViT 架构中使用不同的令牌来学习对应于多数和少数类的特征。
PDF3 months ago
Samba: 遥感图像的语义分割与状态空间模型
该研究提出了一种针对高分辨率遥感图像的语义分割框架，名为 Samba，其采用编码器 - 解码器架构，使用 Samba 块作为编码器来高效地提取多层语义信息，以及 UperNet 作为解码器。在 LoveDA 数据集上的评估结果表明，Samb
PDF3 months ago
视觉 Transformer 中的结构化初始化注意力
本文探讨了视觉 transformer（ViT）网络在小规模数据集上的训练问题，提出了通过重新解释卷积神经网络（CNN）的架构偏差作为 ViT 的初始化偏差，使其在小规模问题上表现出色，并保持其在大规模应用中的灵活性，该方法在诸多基准数据集
PDF3 months ago
DRCT：拯救图像超分辨率技术摆脱信息瓶颈
通过在层间添加密集残差连接以减少空间信息的丢失，我们提出了 Dense-residual-connected Transformer (DRCT) 模型，提高了视觉变换和超分辨率任务的性能。
PDF3 months ago
AgileFormer：用于医学图像分割的空间敏捷 Transformer UNet
通过引入空间动态组件到视觉变换器 - UNet 中，我们提出一种名为 AgileFormer 的新颖结构，用于处理医学图像分割任务中感兴趣对象的多样外观，实验证明了该方法的有效性。
PDF3 months ago
视觉 Transformer 网络的效率提升：设计技术与洞见
通过重新设计注意力机制，本研究对视觉变换网络（ViT）中的注意力机制进行了全面探索，以提高其性能。包括理论基础、基本概念、关注机制的系统分类以及性能评估等方面的综述。
PDF3 months ago
利用时间频率相关性和位置信息学习通过知识迁移增强情感辨识中基于谱图的准确度方法
本研究提出一种通过使用视觉转换器（ViT）关注频谱图中频率（y 轴）与时间（x 轴）之间的关联以及通过知识传递在 ViT 之间进行位置信息的传递的方法，从而提高语音情感识别（SER）的准确性，并通过验证实验结果表明，该方法在加权准确性和浮点
PDF3 months ago
3D-EffiViTCaps: 用胶囊结构增强的 3D 高效视觉 Transformer 进行医学图像分割
通过结合 3D 胶囊块和 3D EfficientViT 块，我们提出了一种名为 3D-EffiViTCaps 的 U 形 3D 编码器 - 解码器网络，该网络用于医学图像分割（MIS），并在多个数据集上验证了其性能和效率。
PDF3 months ago
CVPR令牌转换的重要性：为了视觉变换器的忠实后置解释
利用我们提出的令牌变换效果的度量来将令牌转换效果纳入解释中，通过在模型的所有层中整合注意权重和令牌转换效果，捕捉整体令牌贡献。实验结果表明，与最先进的 Vision Transformer 解释方法相比，我们提出的 TokenTM 方法具有
PDF3 months ago
视网膜视觉变换器 (RetinaViT): 将缩放图块引入视觉变换器
视网膜视觉转换器（RetinaViT）是从人类视觉系统中汲取灵感，将缩小版本的输入图像的补丁添加到第一个 Transformer 编码器层的输入中。实验结果表明，当在 ImageNet-1K 数据集上进行训练时，RetinaViT 相比原始
PDF3 months ago
视觉 Transformer 的旋转位置嵌入
使用 RoPE（Rotary Position Embedding）在 Vision Transformer（ViT）中的实际实现对 2D 视觉数据进行了综合分析，结果显示 RoPE 在推理时能够保持精度的同时提高图像分辨率，从而改善 Im
PDF3 months ago