attention modules | BriefGPT

关键词attention modules

搜索结果 - 33

RefDrop: 基于参考特征引导的图像或视频生成中的可控行一致性
通过操作注意力模块，而不需要微调，我们揭示了一种将图像自我注意力和合成内容和参考特征之间的交叉注意力进行线性插值的流行方法的机制，并提出了一种简化的可控生成机制，名为 RefDrop，它能够直接而精确地控制参考上下文的影响，提高图像生成和视
PDFa month ago
注意力增强网络与增强的泛化性能更好的 YOLO 算法在安全头盔检测中的应用
在这项研究中，我们利用基于 Yolo 的模型用于安全头盔检测，在减少参数和 Flops 计数超过 25% 的同时，实现了 2% 的 mAP 性能改进。我们采用了 GhostNetv2 作为轻量级特征提取网络骨干，并结合了空间通道注意力网络
PDF2 months ago
社会团体活动识别中高效注意力变换器的设计与分析
社会群体活动识别研究了使用注意力模块和变压器来生成社会群体特征，并通过优化设计特征聚合和自注意力模块的方法来提高活动识别效果。
PDF3 months ago
BurstAttention: 极长序列的高效分布式注意力框架
我们提出了一种名为 “BurstAttention” 的分布式注意力框架，通过在全局集群和本地设备级别上优化内存访问和通信操作，相比于竞争的基准线，在处理长序列时减少 40% 的通信开销，训练 32K 序列长度时实现 2 倍加速。
PDF4 months ago
基于协作模型的 MRI 重建网络
通过深度学习和模型驱动网络，使用注意力模块和修正模块来实现磁共振图像重建，并在多个序列上取得显著改善的结果，同时减少了计算复杂度。
PDF5 months ago
图像去噪的两阶段渐进式残差稠密注意力网络
设计了一种新的两阶段渐进残差密集注意力网络（TSP-RDANet）进行图像去噪，通过两个子任务逐步去除噪声，其中使用残差密集注意力模块（RDAM）和混合扩张残差密集注意力模块（HDRDAM）来设计两个基于注意力机制的去噪网络，以增强去噪效果
PDF6 months ago
MM通过持久局部同调层的代数拓扑网络
利用代数拓扑学，引入了一种新颖的方法来增强图卷积和注意力模块，通过结合数据的局部拓扑性质。
PDF8 months ago
跨变量线性集成增强变压器模型用于多元长期时间序列预测
本研究设计了一个掩模时间序列实验来验证注意力模块在捕捉跨时间依赖方面的有效性，并提出了一种名为 Client 的先进模型，它采用线性模块学习趋势信息和注意力模块捕捉跨变量依赖关系，并将位置和解码器模块进行了简化，Client 通过加入非线性
PDFa year ago
使用注意力模块和子像素卷积层进行车牌图像超分辨率
本研究旨在应用深度学习技术，结合关注机制和 Transformer，提高低分辨率监控图像的车牌识别精度，并通过基于光学字符识别的损失函数对图像特征进行抽取，证明我们的方法在定量和定性上都优于现有的方法。
PDFa year ago
级联自注意力和互注意力块的视觉问答
本文提出了一种通过视觉和文本模态的密集交互来学习改进的多模态表示的模型，其 attention block 包含自我注意力和共注意力，旨在提高视觉问题回答任务的性能。该模型在 VQA2.0 和 TDIUC 数据集上经过基准测试，并通过消融分
PDFa year ago
启用代码交替机器翻译的检查和策略
本研究探讨了多语言神经机器翻译模型处理语种混杂文本的能力，提出了一种检测方法和简单有效的数据增强方法，同时通过对注意力模块的分析证明了这些方法的有效性。
PDF2 years ago
ECCVLWA-HAND: 用于交互式手部重建的轻量级关注手模型
本文提出了一种名为 LWA-HAND 的方法，通过三个 mobile attention modules 解决有效 attention 架构中的遮挡和交互问题，使单个 RGB 图像中的手部重建具有低 flops，且相对于现有最先进的模型，其
PDF2 years ago
ACSGRegNet：基于深度学习的腰椎 CT 联合仿射和变形配准的无监督框架，通过交叉自注意融合实现
该研究提出了一种新的基于深度学习的框架 ——ACSGRegNet，该框架通过集成交叉关注模块和自关注模块来实现无监督的仿射和差分变形配准，通过在脊柱 CT 图像上进行广泛的实验，已经取得了比现有方法更好的结果。
PDF2 years ago
ECCV使用 Transformer 挖掘线索进行社交群体活动识别
本论文提出了一种基于注意力模块和 transformers 模型的社交群组活动识别新框架，该方法在 Volleyball 和 Collective Activity 数据集上表现优于现有技术。
PDF2 years ago
MALICE: 对学习的图像压缩算法的操纵攻击
本文通过白盒和黑盒攻击展示了当输入图像发生微小扰动时，现有的深度学习图像压缩系统容易受到攻击。为此，我们提出了一种新的压缩架构 factorAtn，它结合了注意力模型和因式熵模型，取得了更好的性能表现。
PDF2 years ago
CVPRMDAN：面向视觉情感分析的多层依赖注意力网络
本文提出了一个名为 “多层依赖注意力网络”（MDAN）的深度学习框架，通过融合全局学习和局部学习优化网络，采用底层朴素贝叶斯分类器、自底而上的分类器和自顶而下的情感语义映射分类器来消除视觉线索和图片表达情感之间的 “情感差距”，同时设计两种
PDF2 years ago
ACL神经机器翻译中集成向量化词汇约束
该研究提出了一种直接将词汇约束集成到神经机器翻译模型中的方法，通过将词汇约束向量化为连续的键和值，并利用 NMT 模型的注意力模块来表征词汇约束对，并在四种语言对上表明了该方法的优越性。
PDF2 years ago
ECCVTDAM: 基于上下文引导的 CNN 特征选择中的自顶向下注意力模块
该研究提出了一种轻量级的顶部注意力模块 (TDAM)，通过迭代生成一个 “视觉探照灯”，以更多上下文相关的特征图上执行通道和空间调制，从而增强 CNN 在多个目标识别基准测试上的性能，并且能够在不需要显式监督的情况下本地化单个对象或特征。
PDF3 years ago
CVPRBiCnet-TKS: 学习视频人物再识别的高效时空表示
本文提出了一种高效的时空表示方法 BiCnet-TKS，并通过在原始分辨率和下采样策略上处理连续帧以获取目标身份的全面特征；该模型包含多个并行的和多样化的注意力模块以发现连续帧的不同部位，在任何深度插入 TKS 模块以捕捉短期和长期的时间关
PDF3 years ago
CVPR弱监督时间动作定位的动作单元记忆网络
本文提出 Action Unit Memory Network (AUMN)，通过学习行动单元存储器解决仅具有视频级别标签的未修剪视频中行动的检测和定位问题。AUMN 具有两个注意模块和三种有效机制，能够适应地更新存储器网络和学习特定的行动
PDF3 years ago