attention module | BriefGPT

关键词attention module

搜索结果 - 72

一个多阶段目标驱动网络用于行人轨迹预测
该论文提出了一种用于行人轨迹预测的新方法，称为多阶段目标驱动网络 (MGNet)。通过预测中间阶段目标来生成轨迹，以减小预测误差。MGNet 包括条件变分自编码器 (CVAE)、注意力模块和多阶段目标评估器等主要组件。我们通过对 JAAD
PDF8 days ago
掩模引导下的增强型新生儿脑提取与图像预处理的 U-Net
本研究提出了一种名为 MGA-Net 的新型掩膜引导注意力神经网络，旨在对新生儿的大脑成像进行精确处理。MGA-Net 利用高水平的掩膜引导注意力模块，结合磁共振成像（MRI）和超声成像（US）图像，实现大脑提取和重建的卓越性能，为新生儿神
PDF9 days ago
ICML当线性注意力遇上自回归解码：朝着更有效和高效的线性化大型语言模型
通过结合线性注意力和推测解码，我们对现有线性注意力方法在自回归大语言模型中的功效进行了全面研究，并引入了一种增强的线性化语言模型，实验证明其在训练和生成过程中比先前的线性注意力方法更有效率。
PDF23 days ago
MTS-Net: 用于三维 CT 诊断梅 - 瑟纳综合征的双增强位置多头自注意力网络
提出了一种基于 3D 深度学习的称为 MTS-Net 的方法，用于使用 CT 扫描诊断 May-Thurner 综合征，通过建立一个新的数据集，并设计了一种注意力模块，证明该方法在 MTS 诊断中取得了最先进的结果。
PDFa month ago
GraphAny: 适用于任何图节点分类的基础模型
该研究论文提出了一种名为 GraphAny 的基础体系结构，实现了对新图进行构造节点分类的推理，使用线性 GNN 的解析解并学习节点的注意力分数来融合多个线性 GNN 的预测，从而实现对不同图结构的泛化，该方法在归纳方式下，使用仅 120
PDFa month ago
忠实关注解释器：基于辨别特征的决策语言化
我们提出了 Faithful Attention Explainer（FAE）的框架，用于生成关于关注特征的忠实文本解释，并展示了该模型在生成图像描述和解译人类注意力方面的良好性能。
PDF2 months ago
深度学习中小卷积核的高效高阶卷积
通过提出一种新的方法来实现低内存和计算成本的高阶 Volterra 滤波，在 DCNN 训练的前向和反向传播过程中具有计算优势，并基于该方法提出了一种名为 Higher-order Local Attention Block（HLA）的新型
PDF2 months ago
CVPR个性化视频视线估计的时空注意力和高斯过程
使用深度学习模型和专门的注意力模块，通过视频实现准确的注视方向预测，并且通过个性化处理和少量样本获得更高的精度。
PDF3 months ago
SHViT：带有内存高效宏设计的单头视觉 Transformer
通过引入单头注意力模块并利用减少空间冗余的令牌表示，本文提出了一种内在地防止头部冗余并同时通过并行结合全局和局部信息提高精度的单头视觉变换器（SHViT），在速度和准确度之间达到了最先进的权衡。
PDF5 months ago
DHFormer：基于视觉 Transformer 的图像去雾注意力模块
提出了一种使用残差学习和视觉转换器的注意模块的方法，首先估计残差图像，然后通过卷积层和全局上下文转换器编码器获取通道注意力，最后生成无雾图像。实验结果证明了该方法的高效性和可扩展性。
PDF7 months ago
Agent Attention: 关于 Softmax 和线性注意力的整合
此研究提出了一种新的注意力范式，即 Agent Attention，以在计算效率和表示能力之间取得有利的平衡，该方法通过引入额外的代理标记来实现高效的全局上下文模型建模，同时保留了强大的 Softmax attention 和高效的线性 a
PDF7 months ago
超越基础融合：一种简单、无解耦、基于信号理论的多模态融合注意力模块
本研究论文提出了基于信号理论和不确定性理论的仿生学视角下的插拔式关注模块用于香草融合，并且结合无解耦梯度调制的方案设计，对多模态分类方法进行性能优化，实验结果显示仅需几行代码即可显著提高多个融合任务的性能，同时定量评估揭示了该方法在其他融合
PDF7 months ago
EMNLP使用哨兵标记对自回归 Transformer 进行上下文压缩
通过增量压缩指定范围的令牌的中间激活，我们提出了一种即插即用的方法，从而在处理后续上下文时减少了内存和计算成本。实验证明，与稀疏注意力基线相比，我们的方法在流畅度、n-gram 匹配和语义相似性方面具有优势。最后，我们全面评估了上下文压缩对
PDF9 months ago
ACL只需 5% 的注意力：高效的长距离文档级神经机器翻译
通过引入基于轻量级注意力的额外选择层，我们在保持翻译性能的同时加快了 20％的速度，能够实现将注意力仅集中在约 5％的令牌上，从而节省了 93％的计算成本。
PDF9 months ago
高效金字塔通道注意力网络用于病理性近视检测
我们提出了一个使用注意力模块的有效金字塔通道注意力（EPCA）网络，用于基于眼底图像自动检测病理性近视（PM）。在三个数据集上的实验表明，我们的 EPCA-Net 在检测 PM 方面优于现有方法。此外，我们尝试了将预训练的自然图像模型适应为
PDF10 months ago
DAT++：具有可变形注意力的空间动态视觉变换器
通过引入一种新的可变形多头注意力模块，Deformable Attention Transformer（DAT）有效地解决了 Transformer 模型中存在的注意力范围过大和过于手工化的问题，从而提高视觉识别任务的性能。实验证明，DAT
PDF10 months ago
RCMHA: 相对卷积多头注意力用于自然语言建模
在语言建模中，通过利用相对位置编码与深度卷积层架构相结合的改进 MHA 模块，提高准确性并减少内存使用，该模块在实证实验中展现了超越其他注意力模块的优势。
PDFa year ago
TopicFM +：提升主题辅助特征匹配的准确性和效率
本研究提出了一种基于主题建模策略来捕获图像高层次上下文信息的新型图像匹配方法，并使用池化和合并注意力模块来提高特征匹配的效率，能够在节约计算成本的同时，在具有挑战性的情况下，与最先进的方法相比保持更高的图像匹配精度。
PDFa year ago
基于特定于评分者的贝叶斯神经网络来量化医学图像分割中评定员不确定性
该研究旨在探索和分析医学成像中多位专家对同一图像进行解释和注释的情况下分割结果的可变性，引入了一种新颖的基于贝叶斯神经网络的架构来评估医学图像分割的标记者之间的不确定性，并使用一种包含关注模块的一编码器多解码器架构，该方法在七个不同的任务中
PDFa year ago
一种新的用于无人机车辆再识别的双池化注意力模块
本文提出了一种新的双池注意力模块（DpA），通过构建通道池注意力（CpA）和空间池注意力（SpA）的两个分支并采用多个池操作以提高对车辆的细节信息的关注度，将特征信息融合，并同时使用标签平滑交叉熵损失和难度挖掘三元损失进行训练，从而解决了由
PDFa year ago