multi-head attention | BriefGPT

关键词multi-head attention

搜索结果 - 88

EMNLP多任务学习下多头注意力中的功能专业化解释与利用
通过对 Transformer 模型的多头注意力机制进行解释和多任务训练，提出功能专门化的方法来改善模型性能。实验证明多头注意力在多任务训练后会发展功能专门化现象，并且这种训练策略能够提高多任务学习和迁移学习的性能，而不增加任何参数。
PDF9 months ago
EMNLP对抗多头：利用注意力头嵌入实现高效参数的多头注意力
我们提出了一种使用单个共享投影矩阵和多个头嵌入（MHE）的替代模块，实验证明我们的 MHE 关注机制在多个下游任务上显著提高了内存效率，并且相对于 MHA 仅需要可忽略的附加参数。
PDF9 months ago
SPION: 基于卷积漫延的 Transformer 分层稀疏训练
我们提出了一种新颖的 Transformer 稀疏化方案，通过整合卷积滤波器和泛洪填充方法，高效捕捉自注意操作中的逐层稀疏模式，从而在 Transformer 的训练过程中降低计算复杂度和内存占用，实现了超过现有稀疏 Transformer
PDF9 months ago
MA-VAE：基于多头注意力的变分自编码器方法用于汽车耐久性动力系统测试中的异常检测
提出了一种使用变分自编码器和多头注意力机制进行自动异常检测的方法，可以有效地识别和检测出大部分异常情况，同时还解决了绕过现象并引入了一种新的窗口重映射方法。
PDF10 months ago
AST-MHSA：使用多头自注意力进行代码摘要
AST-MHSA 是一个使用多头注意力机制从抽象语法树中提取重要语义信息的模型，它包括编码器和解码器两个主要组件，编码器将代码的抽象语法树作为输入生成隐藏状态序列，解码器以这些隐藏状态为输入生成代码的自然语言摘要。
PDFa year ago
RCMHA: 相对卷积多头注意力用于自然语言建模
在语言建模中，通过利用相对位置编码与深度卷积层架构相结合的改进 MHA 模块，提高准确性并减少内存使用，该模块在实证实验中展现了超越其他注意力模块的优势。
PDFa year ago
Transformer 中多头注意力的记忆容量
本文探讨了 Transformers 中的 multi-head attention 的记忆能力，并通过理论分析和实验验证证明：在输入数据恒定的情况下，具有 H 个 attention 头部的层具有记忆容量为 O (Hn)，在图像分类任务中
PDFa year ago
多窗口关注遮蔽自编码器更好的音频学习者
本篇研究提出了一种使用多窗口的遮盖自编码器和多头注意力机制进行多领域音频数据建模的方法，并对比了标准遮盖自编码器的性能效果和特征获取能力。实验结果表明，多窗口的遮盖自编码器在处理多领域音频数据时具有更好的性能和特征提取能力，并且获得了更加独
PDFa year ago
利用概率形态剪枝进行预算感知的图卷积网络设计
本文介绍了一种新的轻量级 GCN 设计：概率幅值剪枝 (PMP)，该方法通过联合训练网络拓扑和权重，通过对齐已知先验分布的权重分布来实现任何固定剪枝率，以及增强设计的轻量级 GCN 的泛化性能。在处理基于骨骼的识别任务时，本文进行了大量的实
PDFa year ago
ICMLCOMCAT：注重效率的基于注意力机制的视觉模型压缩和定制化
本文提出了一种高效的 ViT 压缩解决方案，该方法基于多头注意力层的新见解开发，可用于获得紧凑的基于注意力的视觉模型，并在图像分类任务中取得比最先进的剪枝方法更高的准确性。
PDFa year ago
ACL多头注意力的支柱寻找
本文提出了使用最小冗余特征选择的思想，通过聚焦于最具代表性和独特性的特征，采用自监督群组约束进行训练的 Grouped Head Attention 模型，以及通过投票去除冗余头部来实现更有效和高效的多头自注意力模型。实验结果表明，该方法在
PDFa year ago
利用单元级注意状态表示增强协作多智能体强化学习的价值分解
该研究提出了一种名为 UNSR 的方法用于协作多智能体加强学习中通过局部观察产生紧凑的潜在表示进行协调和提高价值分解效率，结果表明该方法比基线算法在 StarCraft II 微观管理挑战中具有更好的性能和数据效率，并且额外的消融实验帮助确
PDFa year ago
ACL关于 LayerNorm 在 Transformer 注意力机制中表现力的作用
本文表明，LayerNorm 是 Transformer 模型中 multi-head attention 层表现力的重要组成部分，其投影和缩放两个步骤对于注意力机制的作用至关重要。
PDFa year ago
ACL将视觉场景图转换为图像说明
本论文提出了一种新的图像 / 视频描述方法，称之为 TSG，它使用多头注意力机制 (MHA) 和混合专家解码器，将场景图转换为更具描述性的字幕，并在 MS-COCO 数据集上取得了很好的效果。
PDFa year ago
面向百万级依赖建模的长序列模型的统一视图
本文探讨了 Transformers 在长序列建模中的应用，并提出了一种处理百万级依赖关系的机器学习系统，其中的分布式多头注意力机制可提高 40 倍的计算效率。
PDFa year ago
3D 点云地图中的 6DoF 定位：Slice Transformer 和自监督学习
自主车辆定位是十分必要的。本研究提出了一种自监督学习的方法，采用 Transformers 技术来进行使用 LiDAR 数据进行室外定位。我们提出了一种对 360 度 LiDAR 扫描进行切片分析的前置任务，并通过多头注意力机制系统地处理这
PDFa year ago
InferEM：推断说话人的意图用于共情对话生成
提出了一种名为 InferEM 的新型情感回应生成模型，其中通过利用多头注意力机制实现意图融合，并设计了一个多任务学习策略来平衡预测和响应生成的优化速率，通过实验表明 InferEM 可以有效地改进情感表达。
PDF2 years ago
Transformer 层的神经 ODE 解释
本文提出了一种修改 Transformer 层内部结构的方法，将多头注意力子层和 MLP 子层并行布置，并且结合使用神经 ODE 求解器的高级积分方案，提高了 Transformer 网络在多个任务中的性能。
PDF2 years ago
EMNLP基于注意力头的注意力混合模型：逐标记选择注意力头
本文提出了一种新的神经网络结构 MoA （即 Mixture of Attention Heads），它结合了 Mixture-of-Experts 和 Multi-head Attention 机制，通过动态地选择 Attention H
PDF2 years ago
基于 Transformer 的自适应稀疏和单调注意力自动语音识别
研究将稀疏和单调注意力引入基于 Transformer 的自动语音识别，以克服传统 Transformer 中针对流式识别的自我注意和多头注意的局限性，并在多项基准测试中取得了良好的效果。
PDF2 years ago