attention module | BriefGPT

关键词attention module

搜索结果 - 72

基于相似源域的多源对抗迁移学习与局部特征
本文提出了一种基于本地特征相似度的多源敌对转移学习方法，通过子网络提取单个来源域和目标域之间的可转移本地特征，用注意力模块对其进行加权，以抑制不可转移的本地特征并增强可转移的本地特征；并证明了该方法在只有本地相似性的转移场景中的可行性，实验
PDFa year ago
针对有限样本的视觉 Transformer 组叠代二值化（GSB）
本文提出了一种新的模型压缩方法，称为 Group Superposition Binarization (GSB)，通过替换复杂张量乘法为简单的位运算，将全精度模型参数和激活表示为仅有 1 位的参数，来解决 Vision Transform
PDFa year ago
基于 FSA-YOLOv5 的智能家居设备检测算法
本文提出了一种新模型 FSA-YOLOv5，通过引入 Transformer 来学习长距离依赖，提出了一种新的全分离式注意力模块，同时为室内智能家居设备检测任务添加了预测头部。通过对东南大学室内智能喇叭数据集的一系列实验，我们证明了我们的方
PDFa year ago
利用微图像预处理和全局注意力学习聚焦光场图像压缩
本文提出了一种损失端到端学习的架构，用于高效地压缩聚焦光学图像，包括数据预处理方案，全局注意力模块和新的图片数据集，可有效地捕捉聚焦透镜图像的复杂纹理和微图像之间的长距离关联，通过在重采样处理中计算像素级向量注意力来捕获特征图之间的全局相关
PDFa year ago
CVPRPOTTER：用于高效人体 Mesh 恢复的汇聚注意力 Transformer
本研究提出一种纯 Transformer 架构，命名为 POoling aTtention TransformER (POTTER)，可用于单张图像的 HMR 任务。通过改进池化注意力模块，结合高分辨率特征，POTTER 在减小计算和内存成
PDFa year ago
AAAI基于网格卷积的三维人体姿态提取
本文提出了一种基于网格卷积的新的姿态估计模型，通过 Semantic Grid Transformation 将不规则的图结构人体姿态映射到网格状姿态表示，利用注意力机制和卷积核实现空间感知和网格特异卷积算子，取得了 Human3.6M 和
PDFa year ago
CVPRARO-Net: 从锚定的径向观测中学习隐式场
本文提出了一种基于锚定径向观察 (ARO) 的新型形状编码，通过固定集锚定视点和利用基于注意力机制的深度神经网络来预测三维空间中查询点的包含值，实现了对三维形状的学习和隐式表示。模型在短点云的表面重建和各种物体的比较测试中表现出了可靠性和泛
PDF2 years ago
ECCV基于多模态的无偏导向图像修复
该论文介绍了一种用于图像修复的新型深度神经网络，该网络包含了一个修复分支和两个辅助分支，能够有效地利用多模式定位和语义信息，实现对各种正 / 不规则图像遮挡的修复，达到了最好的效果。
PDF2 years ago
ECCV室内场景高保真单视角整体重建
我们提出了一种新的框架来重建立体的室内场景，包括从单视图图像中提取的背景和室内物体。我们的方法是将实例对齐的隐式函数（InstPIFu）与对齐注意力模块相结合，从而使我们的方法能够解耦合并的局部特征以实现物体的详细重构和恢复背景的细致几何结
PDF2 years ago
YOLOSA 基于 2D 局部特征叠加自注意力的物体检测
通过使用新颖的自注意力模块，将全局特征反映到局部特征和局部接受域，以及优化解耦头和 AB-OTA，我们提出的模型在大中小型模型上能够实现 49.0%（71FPS，14ms），46.1%（85FPS，11.7ms）和 39.1%（107FPS
PDF2 years ago
基于序列到序列模型与注意力机制的县区级 COVID-19 可解释化旅行距离
本研究分析了美国各县不同距离旅行人数对 COVID-19 疫情传播的影响，并利用注意力模块改进测序模型预测性能。结果表明存在不同类别旅行距离的空间模式，给予权重后减少对应类别的旅行者可有效控制疫情传播。
PDF2 years ago
EMNLP基于软提示的注意力混合多任务调参的参数高效化尝试
本论文提出了一种名为 ATTEMPT 的新型多任务、参数高效的语言模型微调方法，通过简短的前缀嵌入向量预先训练不同任务，学习跨任务传递知识。该方法通过源提示的编码，在每个实例中对目标任务进行源提示和新初始化的目标提示的插值训练注意力模块。在
PDF2 years ago
CVPRMAT: 大洞图像修复的掩模感知 Transformer
本文提出了一种基于 transformer 的大孔修复模型，它结合了大尺寸的图像处理和 transformer 的优势，通过在注意力模块中定制面向修复的 transformer 块并使用动态掩码来聚合非局部信息，得到了在多个基准数据集上最先
PDF2 years ago
CVPR交互式关注图像用于单张图片的双手重建
本文介绍了一种名为 Interacting Attention Graph Hand (IntagHand) 的网络，该网络利用图卷积网络 (GCN) 进行双手重建任务，引入了两个注意力模块 (PIFA 和 CHA) 解决双手重建中的遮挡和
PDF2 years ago
基于注意力机制的上下文多视图图卷积网络用于短期人口预测
提出一种基于多视图图卷积神经网络 (ACMV-GCNs) 的深度学习模型来预测未来城市人口，该模型利用城市环境信息构建多图并加入注意力机制以考虑情境影响，并通过移动电话收集的人口统计数据表明表现优于基准方法。
PDF2 years ago
ECCV基于事件融合的跨模态注意力运动去模糊
本文利用事件相机记录图像信息的方式，提出了一种端到端的双阶段图像复原神经网络，设计了一个跨模态注意力模块来有效地融合事件与图像特征，同时引入了一种新的对称累积事件表示和事件掩膜门控连接，提出了一个 REBlur 数据集和 EFNet 模型用
PDF3 years ago
MM面向身份感知的图记忆网络用于动作检测
通过具有层级结构的图神经网络和注意力机制，提出了一个对于同一身份和不同身份之间的长期关系建模以及身份感知的研究，以显式地突出演员的身份信息，并在 AVA 数据集上获得了最先进的结果。
PDF3 years ago
稳定、快速和准确：基于核函数的相对位置编码的注意力机制
使用快速傅里叶变换（FFT）可以有效加速具有相对位置编码（RPE）的 Transformer 模型中的注意力计算，并且适当使用相对位置编码可以缓解基准核化注意力的训练不稳定性问题。
PDF3 years ago
基于 Transformer 的无源域自适应
本研究提出了一种基于 Transformer 的通用转换框架 TransDA，通过将 Transformer 作为注意力机制注入卷积网络中并针对目标伪标签进行自监督知识蒸馏方法，将模型的注意力集中于目标域的对象区域，提高了模型的泛化能力，并
PDF3 years ago
CVPRS3Net：用于深度引导图像重照的单流结构
本研究提出了一种基于深度引导的图像插值模型，使用神经网络的编码器解码器模型及注重照明有关区域的注意力模块和强化模块进行处理，实现了 NTIRE 2021 深度引导下任意图像照明挑战的第三高结构相似度。
PDF3 years ago