- 序列推荐中的位置注意力学习
自注意力机制网络在顺序推荐任务中取得了显著的性能表现。本研究探讨了学习到的位置编码，发现其通常捕捉到令牌之间的距离。基于这一发现，我们提出了直接学习位置关系的新型注意力模型。大量实验证明了我们提出的模型 PARec 和 FPARec 优于之 - 关于注意力网络学习动态
关注模型有三种不同的潜在变量边际可能性（LVML）：软关注、硬关注和软关注损失。我们观察到使用这些范例学到的模型具有独特的特征，并且提出了一种简单的混合方法，结合了不同损失函数的优点。
- ICML自适应上下文池化的高效表征学习
该研究提出了 ContextPool，一种自适应的注意力机制，用于增强在 transformer 模型中的自注意力机制，实现了更强的性能表现（在语言和图像基准测试中），达到了最新的研究结论，并适用于卷积神经网络进行高效的特征学习。
- CVPR利用偏序关系引导注意力进行图像字幕生成
本文提出了一种引导式的注意力网络机制，将图像的空间特征、主题的高级信息以及生成的字幕的时间上下文嵌入到一个有序的嵌入空间中进行训练，采用成对的排序目标函数，该模型在 MSCOCO 数据集上表现出与众多最先进模型相媲美的竞争力。
- AttendLight: 交通信号控制通用基于注意力的强化学习模型
提出了一个名为 AttendLight 的端到端强化学习算法，用于解决交通信号控制问题，该算法通过使用两个注意力模型训练单个通用模型来解决此问题，可以处理任何数量的路，车道，相位和交通流量。用全合成和实际标准基准数据集进行了实验，展示了在所 - ECCV学习视频修复的联合时空变换
本篇论文提出了一种基于自注意力机制和空间 - 时间转换网络的视频修复方法，通过对所有输入帧进行自注意力填充缺失区域，并提出利用空间 - 时间对抗损失进行优化的方法，从而在定量和定性方面证明了该模型的优越性。
- NestFuse: 一种基于嵌套连接和空间 / 通道注意力模型的红外和可见光图像融合架构
本文提出了一种多尺度的红外和可见光图像融合方法，其中采用了空间 / 通道注意力模型，实现了基于嵌套连接网络的图像融合。实验表明，所提出的方法比其他最先进的方法具有更好的融合性能。
- ICCV视觉对话的颗粒多模态注意力网络
本研究提出了一种新的方法，即颗粒多模态注意力，以解决视觉对话任务时需要关注的正确颗粒度的问题。该方法在图像和文本关注网络中得到了改进，并提出了一种粒度多模态注意力网络，可以同时关注图像和文本颗粒，并展现出最佳的性能。该研究发现，获得颗粒注意 - EMNLP探究神经机器翻译中注意力的解释能力
本文通过引入反事实的注意力模型，评估了注意力模型在神经机器翻译中的解释能力，结果表明注意力模型无法可靠地解释 NMT 模型的决策。
- SCAR：面向人群计数的空间 / 通道注意力回归网络
本文提出了一种名为 “SCAR” 的空间 / 通道注意力模型，将传统的回归 CNN 用于估计密度图，以解决只关注局部外观特征的问题，模型在四个数据集上取得了最新的成果。
- ICCV一种自适应注意力双通路车辆重识别模型
本论文提出了一种基于自适应注意力模型和关键点位置的车辆重新识别方法 AAVER，该方法在全局外观路径和方向条件下的局部外观路径上进行特征提取，能够在不受限制的场景中准确地识别车辆并预测车辆的关键点。
- 连续关注下理解和优化循环网络用于人类活动识别
本文提出了两种基于注意力机制的深度神经网络模型，并添加连续性约束条件来提高模型的可理解性和精度，最终在三个数据集上获得了最新的结果，详细定性分析表明这些注意力机制与人类直觉相吻合。
- 将自然语言导航指令翻译为行为机器人导航的高级计划
利用深度学习模型，结合自然语言处理和机器人导航，使用关注模型以及环境的拓扑表示，将自由形式的自然语言指令翻译成行为机器人高级计划，能够显著优化传统方法的表现，并且探讨了环境地图作为知识库来促进自由形式导航指令翻译的可能性。
- COLING具有任务特定注意力机制的多语言神经机器翻译
我们提出了针对多种源语言和目标语言翻译的任务特定的注意力模型，旨在改进序列到序列神经机器翻译的质量。我们在欧洲议会语料库的四种语言上进行的实验表明，使用目标语言特定的注意力模型相对于参数共享模型提供了一致的翻译质量的提升，甚至在低资源的零 - 人类活动识别的注意力模型
本文提出了一种基于注意力模型的数据驱动人体行为识别的方法，通过学习权重来对待处理的传感器读数进行建模，并在基准数据集上实现了显著的性能提升。
- ACLRETURNN 作为一种通用的灵活神经工具箱，应用于翻译和语音识别
我们比较了 RETURNN 的快速训练和解码速度以及它在翻译和语音识别领域中的表现，它的灵活性使得它可以广泛地应用于各种应用中，并且使用层次预训练方案可以显著提高 BLEU 的得分。
- NIPS基于深度注意力网络的电子医疗记录高风险预测
本研究提出了基于深度注意模型的高风险心血管疾病预测模型，对单纯的高血压患者病史序列进行预测，通过比较双向门控循环单元模型和一维卷积多层模型，实验结果表明该模型的分类精度优于传统模型，并且具有更好的性能表现。
- 基于显著性加权卷积特征的实例搜索
通过注意力模型对局部卷积特征进行加权，提出了一种基于局部卷积特征包（BLCF）的检索框架，该框架利用人类视觉注意模型（显着性）构建了高效的图像表示。该方法在实例搜索任务中取得了比先前状态的最优性能的显著提高，并在 Oxford 和 Pari - AAAI使用注意力模型进行临床时间序列分析
该论文针对临床时间序列数据，采用注意力机制代替循环神经网络，提出了一种新的架构 SAnD（Simply Attend and Diagnose），并证明该方法在多项诊断任务中表现优异，胜过 LSTM 模型和基于手工特征的经典基线模型。
- 多层注意力机制在机器阅读理解中的应用
本研究提出了一种名为 PhaseCond 的多层关键词模型，其中包含多个实现通道表示和信息流调节的关注层堆栈和内部或外部融合层堆栈，并通过同时对来自不同角度的多个问题和通道嵌入层进行编码来扩展和改进 PhaseCond 的点积关注函数，结果