self-attention modules | BriefGPT

关键词self-attention modules

搜索结果 - 15

CVPR视觉 Transformer 的每个阶段只需要更少的注意力
Vision Transformers (ViTs) have revolutionized computer vision, but their computational complexity and attention saturat
PDFa month ago
AEGIS-Net: 室内地点识别的注意力引导多层特征融合
AEGIS-Net 是一种新颖的室内地点识别模型，它通过聚合低级颜色、几何特征和高级隐含语义特征来生成全局地点描述符。该模型采用自注意力模块来选择最重要的局部特征，以最佳地描述室内地点。我们在 ScanNetPR 数据集上评估了 AEGIS
PDF7 months ago
SegNetr: 重新思考 U 型网络中的局部 - 全局交互和跳过连接
该论文介绍了一种轻量级的医学图像分割网络 SegNetr，利用 SegNetr 块在任何阶段动态执行局部 - 全局交互，并通过通用信息保留跳接连接 (IRSC) 有效地融合编码器和解码器的特征，从而在主流医学图像分割数据集上取得了与现有方法
PDFa year ago
CVPR层次化稠密相关蒸馏用于少样本分割 - 报告摘要
本文提出了基于 Hierarchically Decoupled Matching Network (HDMNet) 的 Few-shot 语义分割方法，使用 transformer 架构、自注意力模块和匹配模块来实现级联匹配和关键像素级别
PDFa year ago
基于统一提示引导的上下文修复框架用于基于参考图像的图像操作
本文提出了一种基于大规模 T2I 模型的 Prompt-Guided In-Context inpainting (PGIC) 框架，利用该框架可以实现参考引导的图像修复、局部超分辨率和新视角合成等任务，而且不需要对模型进行精细调整。同时，
PDFa year ago
LSAS: 轻量级次级注意机制缓解注意偏向问题
本文研究计算机视觉中深度神经网络由于其特征提取能力，会在图像中关注一些关键的像素区域，但我们通过量化和统计表明，DNN 存在严重的注意偏差问题；通过现有的自注意机制有一定的缓解，但仍然存在偏差，因此我们提出了一个轻量级的 LSAS 策略，通
PDFa year ago
ASR: 类注意力结构重参数化
通过结构重参数化技术 (SRP) 实现网络结构间的互相转换，本文提出一种 attention-alike SRP (ASR) 技术，使得 self-attention 模块也能被重构，从而可在不需要深度模型设计的情况下提高性能。
PDFa year ago
基于生命回归的视觉变压器局部细化
本研究提出了一个基于生命周期回归模块的图像分割方法，它可以在减少计算量及参数的情况下，提高推理速度，在保持竞争性能的同时需要较少的训练历程。
PDFa year ago
CVPR分层密集相关蒸馏用于小样本分割
本文提出了一种基于 transformer 架构的 Hierarchically Decoupled Matching Network（HDMNet）用于 few-shot 语义分割任务。该网络利用自注意力机制来建立层次化的密集特征并使用匹
PDFa year ago
卷积神经网络自注意力的彩票假设
通过实验证明，将自注意力模块 (SAMs) 连接到所有块并不总是会带来最大的性能提升，而将其连接到部分块效果更好。此外，提出了自注意力网络抽奖票假说：完整的自注意力网络包含一部分稀疏自注意力连接的子网络能够加快推理速度，减少额外参数增量并保
PDF2 years ago
全局上下文视觉 Transformer
本文介绍了一种新的计算机视觉模型 GC ViT，核心是全局上下文自注意力模块，结合标准本地自注意力来有效地建模长程和短程空间交互关系，解决了 ViTs 的归纳偏差问题，在图像分类、对象检测和语义分割等任务中实现了新的最高性能表现。
PDF2 years ago
SOFT: 线性复杂度的无 Softmax Transformer
提出了一种 softmax-free transformer 或 SOFT 方法，通过使用高斯内核函数替换点积相似性，而不需要标准化以消除 softmax，在计算复杂度上具有线性复杂度，并显著提高了已有 ViT 变种的计算效率。
PDF3 years ago
AAAI文本分类的多尺度自注意力
该研究通过在自我注意模块中引入先前知识 - 多尺度结构，提出了一种 Multi-Scale Transformer，其使用多尺度多头自我注意来捕捉来自不同尺度的特征，通过对 21 个数据集进行的实验结果表明，相对于标准 Transforme
PDF5 years ago
ICLRLayoutGAN: 使用线框判别器生成图形布局
通过建立 LayoutGAN 生成对抗网络，用于建模不同类型的 2D 元素之间的几何关系以合成各种现实布局，同时采用自注意力机制和可微分线框图渲染层进行实现。验证实验包括 MNIST 数字生成、文档布局生成、剪纸抽象场景生成和七巧板图形设计
PDF5 years ago
PointGrow: 带自注意力机制的自回归点云生成
此篇论文介绍了一种新的自回归模型 PointGrow，它可以通过自回归的方法并结合自注意力机制，从语义上下文条件或无条件生成多样而逼真的 3D 点云数据，可应用于非监督特征学习和形状算术操作等多个重要应用领域。
PDF6 years ago