本论文通过针对医疗应用的实验案例研究，对注意力机制在深度学习及医疗应用中的可行性进行了批判性分析，探讨了其在现有深度学习框架中的整合过程、预测能力和显著性图生成等方面，最终提出了未来医疗应用中注意力机制的潜在研究方向。

Apr, 2022

本篇论文探讨了深度学习模型预测过程黑盒化的问题，并以作者的博士论文为基础，重点讨论了近年来备受关注的注意力机制及其在提高预测性能和可解释性方面的潜力，以及关于在大数据集和实际应用中评估和推广的应用研究，最终总结了这些发现对未来研究和发展的启迪。

Mar, 2023

本文研究探讨了应用于对话行为检测和关键词提取的神经注意力模型在序列分类任务中的应用和作用，并通过实验结果和可视化分析验证了该模型在去除噪音和提取关键信息方面的表现。

Mar, 2016

本文提出了一种新颖的知识 - 注意力编码器，并介绍了三种将知识 - 注意力与自注意力相结合的有效方法。提出的关系提取系统是端到端和完全基于注意力的，实验证明知识 - 注意力机制与自注意力相互补充，在 TACRED 上实现了最先进的性能，并且胜过了现有的 CNN、RNN 和自注意力模型。

Oct, 2019

本文提出了一个新的深度学习框架，利用两级注意力体系结构来解决模型可解释性的问题，并在新闻文章分类任务中进行了实验，结果显示该模型在可解释性能力方面具有适当性并且与许多现有模型相比性能有竞争力。

Mar, 2022

本文将多模态注意力机制应用于图像字幕生成领域，通过在自然语言描述和图像上同时聚焦，实现了一种基于图像字幕的另一种语言描述生成方法，并在 Multi30k 数据集上取得了更好的效果。

Sep, 2016

本文提出了一种基于标签依赖的注意模型 LDAM 来提高疾病风险预测的可解释性，在利用 Clinical-BERT 编码生物医学有意义的特征和标签的同时，扩展联合嵌入的想法，开发了多模态学习框架，整合了来自医学记录和时间序列健康状态指标的异构信息，并在 MIMIC-III 测试集上进行了实验验证。

Jan, 2022

为了解决文本中的语义模糊问题，我们提出了一个模型，创新地将知识图谱与改进的注意机制结合起来。该模型在字符和词级别上运作，通过集成概念来加深对文本的理解。我们首先采用信息增益选择重要词，然后采用编码器 - 解码器框架对文本及相关概念进行编码。本地注意机制调整每个概念的权重，在分类过程中减少不相关或噪声概念的影响。我们改进了本地自注意机制中注意分数的计算公式，确保文本中不同频率出现的词语获得更高的注意分数。最后，该模型采用了双向门控循环单元（Bi-GRU），从文本中提取特征以提高分类准确性。该模型在 AGNews、Ohsumed 和 TagMyNews 等数据集上达到了 75.1%、58.7% 和 68.5% 的准确率，展示了其在分类任务中的有效性。

Jan, 2024

本研究使用两个电子病历文本库和四个预测任务，探索了注意机制在神经模型中的作用，发现注意机制的加入有望提高模型性能，但对预测的支持意义尚不明确。

Apr, 2019

本文系统地回顾了基于注意力机制的医学图像分割技术，总结了不同注意力机制（包括非 Transformer 和 Transformer 注意力）的原理、实现方法和应用任务，分析了它们的优点和局限性，归纳总结了当前研究进展和存在的不足，并探讨了未来的挑战。

May, 2023