multi-head self-attention | BriefGPT

关键词multi-head self-attention

搜索结果 - 37

从语义角度揭示视觉 Transformer 中的自注意力机制：分析与应用
本研究介绍了一个基于尺度不变特征转换的加权块间关系分析方法，并发现该定量分析不仅是 ViT 中 MSA 机制解释的有效补充，还可以应用于模型推断中的假相关性发现和提示，以及引导模型预训练加速。
PDF2 years ago
通过聚焦和校准关注机制改进语音情绪识别
本文提出了一种改进的注意力机制，结合了多头自我注意力、焦点注意力和校准注意力，来定位语音情感识别中信号幅度的重要部分，并调节注意力权值以提高周围内容的利用率，实验结果表明该方法在 IEMOCAP 和 RAVDESS 数据集上都优于现有最先进
PDF2 years ago
KDD通过柯西问题理解视觉 Transformers 的对抗稳健性
本文通过理论证明和实证分析，探讨了 Vision Transformers 模型的稳健性，证实其在抵抗自然干扰和强攻击方面优于卷积神经网络，并且证明了模型的 Lipschitz 连续性，进一步分析了模型的关键因素和结构，发现 Multi-h
PDF2 years ago
双任务交互变形器增强伪装目标检测
本文提出了一种双任务互动转换器来检测伪装对象，该转换器采用了多头自我关注并考虑了边界特征，同时利用变形器进行特征提取，从而取得了当前公共数据集中的最新成果。
PDF2 years ago
更加关注自注意力：通过关注引导改进预训练语言模型
本文介绍了如何通过引入注意力机制创新地优化了预训练语言模型在信息检索和自然语言处理任务中的表现，提出了两种有效的注意力指导方法，并在多个预训练模型和数据集上进行了广泛的实验，取得了稳定的性能提升。
PDF2 years ago
基于上下文和属性感知的交叉注意力下一项推荐模型
本文提出了使用多头自注意力块捕捉上下文和物品属性的上下文和属性感知推荐模型（CARCA），通过跨项目关注来预测它们的最终评分，实验证明该模型在评分预测中的表现优于当前最先进的模型，提高了 53％的归一化折扣累计增益（NDCG）和命中率。
PDF2 years ago
Delta Keyword Transformer: 通过动态裁剪的多头自注意力将 Transformer 移植到边缘
该研究提出了一种动态剪枝方法，通过利用数据在不同时间点的稳定性来降低推理成本，减少了 Transformer 网络中 self-attention 操作的次数，从而在维持高准确率的同时大幅度降低了模型复杂度。
PDF2 years ago
PU-Transformer: 点云上采样变形器
本论文介绍了一种基于 transformer 模型的多头自注意力结构和位置融合块的点云上采样方法，并通过定量和定性的对比实验证明了其优越性能。
PDF3 years ago
轻量级自注意力序列推荐
该论文介绍了一种新型轻量级自注意网络 LSAN，通过组成嵌入将原始嵌入矩阵进行压缩并提出了时态上下文感知的嵌入组合方案以解决目前序列推荐中所存在的大量参数嵌入矩阵对资源受限环境的开销过大的问题，并拥有更强的性能表现。
PDF3 years ago
P2T: 金字塔池化变换器用于场景理解
该研究旨在将金字塔池化方法应用于多头自注意力中，从而建立通用的金字塔池化变压器（P2T）骨干网络，在各种视觉任务中实现了较之前的卷积神经网络和变压器网络更优异的表现，同时降低了序列长度和捕捉了强大的上下文特征。
PDF3 years ago
EMNLPTransformer 的抽取式摘要真的需要那么多参数吗？语篇可以提供帮助！
该研究提出了一种基于文档级语篇信息的参数轻量级自我关注机制，相比原始转换器模型在参数数量上实现了显著减少，并在提取性摘要任务上实现了有竞争力的 ROUGE 分数。
PDF4 years ago
工作记忆图
本研究旨在研究如何使用基于 Transformer 的模型来提高序列决策智能体的性能，并提出了 Working Memory Graph（WMG）代理程序，评估其在三种环境中的作用，并发现基于观测空间的因数组合 WMG 的 Transfor
PDF5 years ago
SANVis：用于理解自注意力网络的视觉分析
本文介绍了一种名为 SANVis 的可视化分析系统，旨在帮助用户理解多头自我注意力网络的行为和特征，其中通过 Transformer 模型的使用展示了 SANVis 在机器翻译任务中的使用场景。
PDF5 years ago
CVPR跨模式检索的多义词视觉语义嵌入
本文介绍了多义实例嵌入网络（PIE-Nets），通过多头自注意力和残差学习，结合全局上下文和局部特征计算实例的多个不同表示形式，以解决当前方法无法有效处理多义实例的问题，并且将其应用于图像文本检索和更具挑战性的视频文本检索，同时发布了一个用
PDF5 years ago
SIGIR视频中基于查询的时刻检索的跨模态交互网络
本文提出一种新颖的交叉模态交互网络 (CMIN)，通过语法图卷积网络，多头自注意力和多阶段跨模态交互，综合考虑语言查询的句法结构、视频上下文语义依赖关系和跨模态交互，提高了视频检索准确性。
PDF5 years ago
从栏杆到皮埃尔・芬肯：在 Transformer 自注意力中寻找句法
本文探讨 Transformer NMT 编码器中的多头注意力，在三种源语言中寻找可解释为句法的模式，并针对自注意力中存在的类短语序列自动构建并评估短语结构树，将结果与已有的短语结构树库进行比较。
PDF5 years ago
ACL分析多头自注意力：专门的头部承担重任，其余部分可被剪枝
研究了 Transformer 模型中的多头自注意力和编码器在神经机器翻译中的贡献和作用，提出了一种基于随机门和可微松弛 L0 正则化的新型剪枝方法，在不严重影响性能的情况下，成功删除了大部分注意头。
PDF5 years ago