vision transformer | BriefGPT

关键词vision transformer

搜索结果 - 322

PoliFormer: 用 Transformer 扩展 On-Policy 强化学习，实现高超的导航员
我们提出了 PoliFormer（Policy Transformer），这是一个使用强化学习进行训练的 RGB 室内导航代理，采用规模化的端到端训练，能够在真实世界中无需适应即可进行泛化，尽管它是纯在模拟环境中训练的。PoliFormer
PDF4 days ago
Fibottention: 多头多视线接纳的初级视觉表征学习
通过引入 Fibonacci 序列，将 Fibottention 机制嵌入多种视觉任务的 Transformer 架构中，可以在保持计算开销较低的同时，显著提升图像分类、视频理解和机器人学习任务中 ViT 及其变体的性能。
PDF5 days ago
基于视觉转换器的脑肿瘤分类方法，借助选择性跨注意力机制和特征校准
提出了一种利用具有新型跨注意力机制的视觉变换器进行脑肿瘤分类的新方法，该方法充分发挥了变换器在建模长距离依赖性和多尺度特征融合方面的优势。实验证明，该方法在脑肿瘤分类中胜过其他最先进的方法，实现了更高的准确性和效率。所提出的特征校准机制和选
PDF7 days ago
任务无关的联邦学习
应用自监督学习的联邦学习框架，通过使用 Vision Transformer 作为共识特征编码器进行无监督预训练，能够在各种真实非 IID 医学图像数据集上进行有效的表示学习，为多任务基础建模提供潜在的方法。
PDF7 days ago
计算机视觉中的活体检测：基于 Transformer 的自监督学习用于人脸反欺骗
本研究利用 Vision Transformer (ViT) 架构并结合 DINO 框架，对面部反欺诈任务进行了 Fine-tuning，与传统的 CNN 模型 EfficientNet b2 进行了性能比较。研究结果显示，ViT 模型在准
PDF13 days ago
缺失图像修复：一种评估视觉转换解释方法的新框架
借助 “Inpainting the Gaps（InG）” 这一创新的评估框架，针对计算机视觉领域中的解释方法，本研究通过修复图像中的空缺部分，降低测试时间分布漂移，提高了扰动测试的效果，并在 Vision Transformer（ViT）
PDF15 days ago
一张图像胜过 16x16 贴片：研究基于单个像素的 Transformer 模型
本研究发现在计算机视觉体系结构中的归纳偏置 —— 局部性的必要性存在疑问，可以通过直接将每个像素视为标记并获得高性能结果来展示像素作为标记的有效性。
PDF19 days ago
稳定姿态：利用变形金刚进行姿态引导的文本到图像生成
通过引入粗糙到精细的注意掩蔽策略到视觉 Transformer (ViT) 中，我们提出了一个新的适配器模型 Stable-Pose，以在生成图像时获得准确的姿势指导，并通过层级方式从粗糙到精细的过渡来提供一种对齐姿势表示的优化方式。
PDFa month ago
MDS-ViTNet: 基于视觉 Transformer 改进注视预测的方法
本文介绍了一种名为 MDS-ViTNet（多解码视觉变换网络）的新方法，用于增强视觉显著性预测和眼动跟踪。该方法在多个领域具有重要潜力，包括市场营销、医学、机器人技术和零售业。我们提出了一种利用 Vision Transformer 的网络
PDFa month ago
远程感知中基于近红外和低秩适应的视觉变换网络
使用视觉转换器 (ViT) 的预训练骨干网络与低秩适应 (LoRA) 在 NIR 领域的下游任务中，通过广泛实验表明，能够实现对 NIR 图像的最佳性能。
PDFa month ago
基于小波的图像分词方法用于视觉变压器
基于小波变换的图像分词器提高了训练吞吐量并减少了 ImageNet 验证集的 top-1 误差率，同时为基于 ViT 模型设计提供了新的研究方向。
PDFa month ago
完美拟合对表示学习的影响：深度神经网络中的表示训练动态
通过揭示深度神经网络（DNNs）在训练过程中的演变，本文重点关注在过度参数化学习环境下，训练持续进行的情况，探讨了学习表示的演变以及层级之间的相似性和线性分类器探针的相似度等指标，并发现了与相对层级深度、DNN 宽度和架构有关的训练动态模式
PDFa month ago
语义公平聚类：一种简单、快速且有效的视觉 Transformer 策略
基于语义平等聚类（SEC）的全球注意力机制和视觉变换器（ViT）提出了一种速度快且平衡的聚类方法 SecViT，证明其在图像分类、目标检测、实例分割和语义分割等方面的有效性。
PDFa month ago
LookHere: 有向注意力的视觉 Transformer 进行泛化和外推
我们提出了一种名为 LookHere 的新方法，用于限制 2D 注意力掩码中的固定视野的注意力头，提供平移等变性，确保注意力头的多样性，并限制注意力头在外推时面临的分布偏移，从而改善图像分类、对抗攻击和校准误差的性能。该方法在 ImageN
PDFa month ago
MM遥感图像超分辨率的高级特征提取模块
提出了一种名为 Channel and Spatial Attention Feature Extraction (CSA-FE) 的高级特征提取模块，通过使用通道和空间注意力结合标准视觉变换器 (ViT)，有效提取特征；在 UCMerce
PDF2 months ago
交叉 IQA: 无监督学习图像质量评估
提出了一种基于 Vision Transformer (ViT) 模型的无参考图像质量评估 (NR-IQA) 方法 Cross-IQA，可以从无标签图像数据中学习图像质量特征，并利用预训练的编码器进行线性回归模型的微调，实现了对图像的低频降
PDF2 months ago
基于任务内互注意力的视觉 Transformer 模型用于少样本学习
基于 Vision Transformer (ViT) 架构，本文提出了一种用于少样本学习的任务内互注意方法，通过交换支持集和查询集的类别标记与图像片段标记，实现了互注意，从而加强了类内表征，并促进了同一类别样本之间的相似性。与最先进的基准
PDF2 months ago
使用在自然图像上预训练的 2D 视觉 Transformer 增强 3D 神经元分割
通过在大规模自然图像上预训练的 2D 视觉 Transformer 模型，初始化基于 Transformer 的 3D 神经元分割模型，建立了丰富的自然图像与稀有神经元图像之间的知识共享连接，以提高 3D 神经元分割的效能。
PDF2 months ago
基于视觉转换器的彩色底片对光明眼：青光眼筛查
利用视觉变换器的 Brighteye 方法进行青光眼检测，其中光盘检测提高了对青光眼检测的敏感性和对青光性特征分类的准确性。
PDF2 months ago
透过云层看清楚：使用 Prithvi 基础模型填补云间隙
通过比较基础的 Vision Transformer (ViT) 模型与基准的条件生成对抗网络 (CGAN) 模型在时间序列的多光谱卫星图像上进行缺失值插补的性能，我们评估了插补准确性和语境保留，使用了结构相似性指数和绝对均值误差等定量评估
PDF2 months ago