Apr, 2022

深度学习中的视觉注意方法：深入调查

PDF
TL;DR本文阐述了注意力机制在深度学习的应用，提出缺乏对于注意力技术的综合研究和分类的问题，描述了 50 种注意力技术分类的细节，并建议未来深度学习对注意力机制的研究方向。
attention techniquesdeep learningcomprehensive surveycategorizingfuture research directions
发现论文，激发创造
  • 深度学习中神经注意力模型调查

    该综述旨在提供一种全面的神经注意力模型开发和应用的现状和趋势的分析，系统回顾了数百种注意力模型的体系结构和应用，特别关注于卷积网络、循环网络和生成模型，描述了其在不同应用领域和神经网络可解释性上的影响。

    Mar, 2021

  • 计算机视觉中的注意力机制：综述

    本文综述了在计算机视觉中引入的各种注意力机制的方法，着重介绍了通道注意力、空间注意力、时间注意力和分支注意力等方面，并提出了未来注意力机制研究的方向。

    Nov, 2021

  • 深度神经网络中人和机器关注的更多理解

    通过对机器注意力机制和人类视觉注意力关系的系统研究，本文发现人类关注可以作为注意驱动任务有意义的基准，并证明更接近人工注意力机制的性能更好，同时更好的注意力对于更高级别的计算机视觉任务的可解释性也有显著提升。

    Jun, 2019

  • 注意力模型概述

    本文系统总结了注意力模型在神经网络中的应用、发展及其影响。该文提出了一种分类系统，系统地讨论应用、体系结构和注意力在提高神经网络可解释性方面的作用，同时探讨未来关于注意力的研究方向。

    Apr, 2019

  • 医学应用的注意力机制调查：我们正在走向更好的算法吗？

    本论文通过针对医疗应用的实验案例研究，对注意力机制在深度学习及医疗应用中的可行性进行了批判性分析，探讨了其在现有深度学习框架中的整合过程、预测能力和显著性图生成等方面，最终提出了未来医疗应用中注意力机制的潜在研究方向。

    Apr, 2022

  • 人类注意力建模的趋势、应用与挑战

    人类注意力建模在近年来已被证明特别有用，不仅用于理解视觉探索的认知过程，还可以为旨在解决各个领域问题的人工智能模型提供支持。本综述对近期将人类注意机制整合到当代深度学习模型中的努力进行了理性概述，并讨论了未来的研究方向和挑战。

    Feb, 2024

  • 注意力的夸克

    本文研究了注意力机制的基本构建块及其计算性质，提出三种最重要的机制：加性激活注意力，乘性输出注意力（输出门控）和乘性突触注意力（突触门控），并证明加性激活注意是基本电路的下限证明中的重要角色。

    Feb, 2022

  • 在神经网络内建模潜在注意力

    本研究提出了一种可解释的方法，能够可视化神经网络中的内在机制和其对输出的影响，从而提高了深度神经网络的可解释性和决策过程，研究的主要贡献是提出了一种数据集中心的算法，适用于多个领域的深度神经网络结构。

    Jun, 2017

  • 视觉 Transformer 网络的效率提升：设计技术与洞见

    通过重新设计注意力机制，本研究对视觉变换网络（ViT）中的注意力机制进行了全面探索，以提高其性能。包括理论基础、基本概念、关注机制的系统分类以及性能评估等方面的综述。

    Mar, 2024

  • 医学图像分割中的注意力机制：综述

    本文系统地回顾了基于注意力机制的医学图像分割技术，总结了不同注意力机制（包括非 Transformer 和 Transformer 注意力）的原理、实现方法和应用任务，分析了它们的优点和局限性，归纳总结了当前研究进展和存在的不足，并探讨了未来的挑战。

    May, 2023