attention masks | BriefGPT - AI 论文速递

关键词attention masks

搜索结果 - 8

关注掩码和层归一化在 Transformer 中的作用
通过分析自我注意力机制和层标准化对秩崩溃的影响，本文发现层标准化在自我注意力的秩崩溃中起到了关键作用，为自我注意力提供了更富表现力、多功能的非线性动力系统。
PDFa month ago
ICLRVONet：使用并行的 U-Net 注意力与对象逐帧的序列 VAE 进行无监督视频对象学习
VONet 是一种无监督视频物体学习方法，通过采用 U-Net 架构和并行的注意力推理过程生成关注掩模，并利用物体级的顺序 VAE 框架增强每个掩模在连续视频帧上的时间一致性，结合表达丰富的基于变压器的解码器，成为跨五个 MOVI 数据集（
PDF5 months ago
Free-ATM：自由关注遮罩下基于扩散生成图像的无监督学习探索
通过利用扩散模型生成的人工图像中的自由注意力掩膜进行无监督学习，可以在图像分类、检测、分割和图像 - 文本检索等多个下游任务中实现基线模型的一致性改进，从而缩小无监督预训练在合成数据和现实场景之间的性能差距。
PDFa year ago
ACL通过结构标注提高分类任务中的组合泛化能力
本文研究了复合推理在分类任务中的应用，并提出结构提示（如句法树和实体链接）对于解决神经模型复合推理问题具有较好的效果。
PDF3 years ago
规范姿态下的自监督胶囊
本研究提出了一种自监督胶囊体系结构用于 3D 点云，其通过置换等变性注意力计算对象的胶囊分解，并通过随机旋转对象对进行训练。我们的关键思想是将注意力掩码聚合成语义关键点，并使用这些来监督满足胶囊不变性 / 等变性属性的分解，从而使训练具有语
PDF4 years ago
AAAI关注力掩码是否能提高对抗鲁棒性？
本文提出了一种使用前景注意力掩码增强深度神经网络对抗鲁棒性的方法，并在 GTSRB 和 MS-COCO 数据集上进行了实验，结果表明使用注意力掩码可提高对抗鲁棒性。
PDF5 years ago
AttentionGAN: 利用 Attention 引导的生成对抗网络实现非配对图像转换
本文提出了一种新的基于注意力向导的生成对抗网络 (AttentionGAN)，通过生成注意力掩码来识别最具区别性的前景物体，并将生成的输出融合到注意力掩码中，从而获得高质量的目标图像，实验表明，相较于现有的竞争模型，该方法能够生成更鲜明和更
PDF5 years ago
在神经网络内建模潜在注意力
本研究提出了一种可解释的方法，能够可视化神经网络中的内在机制和其对输出的影响，从而提高了深度神经网络的可解释性和决策过程，研究的主要贡献是提出了一种数据集中心的算法，适用于多个领域的深度神经网络结构。
PDF7 years ago