Oct, 2022

动力学视角下的分层共享注意力网络

PDF
TL;DR提出一种名为 DIA 的注意力网络单元，该单元在不同的神经网络层之间共享单个注意力模块，从而在各种视觉任务中提高了现有自我注意力模块的准确性，并且具有强大的正则化能力，能够通过增强层间信息交流和梯度值有效地恢复和提高其训练不稳定性。
attention networksself-attentionneural networksdynamical systemvision tasks
发现论文，激发创造
  • DIANet：密集和隐式注意力网络

    本文提出 Dense-and-Implicit-Attention (DIA) unit，其可通过共享单一的注意力模块，在网络不同层次间促进信息整合。实验表明，由 DIA-LSTM 组成的 DIA 单元能够强调层与层之间的特征相互关系，并可提高图像分类准确性；此外，还证明 DIA-LSTM 对于深度网络的训练具有强大的正则化能力。

    May, 2019

  • 通过动态层关注加强层之间的相互作用

    探讨了层次注意力与一般注意机制之间的区别，并提出了一种动态层次注意 (DLA) 结构，通过改进的循环神经网络块 (DSU) 实现上下文特征提取，并将注意机制应用于动态更新的特征图中，实验证明 DLA 结构在图像识别和目标检测任务中的有效性，并评估了 DSU 块作为 DLA 结构中的高效插件。

    Jun, 2024

  • 任务导向接地的动态注意力网络

    本文提出了一种新的动态注意力网络架构，用于文本和视觉表示的高效多模态融合，从而实现自然语言指令下机器人对环境的理解和控制，模型通过 LSTM 实现动态关注，基于任务的接地和增强学习控制中取得了良好效果。

    Oct, 2019

  • 残差注意力网络用于图像分类

    通过引入注意力机制，在端到端的训练过程中将其与最先进的前馈网络结构相结合，我们提出了一种卷积神经网络模型 “Residual Attention Network”，并在 CIFAR-10、CIFAR-100 和 ImageNet 三个基准数据集上实现了最佳的物体识别表现。

    Apr, 2017

  • 用于轻量级单图像超分辨率的动态残差自注意力网络

    本文提出了一种动态残差自注意力网络 (DRSAN) 用于轻量级单图像超分辨率，着重于建筑块之间的残差连接的自动设计，该网络通过动态残差关注 (DRA) 调整它的结构以适应输入统计数据，并进一步使用残差自注意力 (RSA) 模块提高性能。实验结果表明，DRSAN 在 SISR 的网络性能与计算复杂度之间提供了有效的权衡。

    Dec, 2021

  • 扩张邻域注意力变换器

    本文介绍了一种新型 Hierarchical Vision Transformer，Dilated Neighborhood Attention Transformer（DiNAT）及其基于 Dilated Neighborhood Attention（DiNA）的自注意力机制，使其具备全局关联建模和扩大感受野的能力，证明 DiNAT 对常规 Hierarchical Vision Transformer 具有显著的优势，从而实现了在一些特定领域中更好的 Panoptic 分割表现。

    Sep, 2022

  • 图像超分辨率中的注意力注意网络

    本研究提出了一种新的超分辨率模型 ——A^2N 模型，该模型中引入了注意力机制，并通过动态调整注意力机制使模型达到更高的性能。实验表明，该模型表现出优异的性能。

    Apr, 2021

  • 关注激活：用于细粒度图像识别的模块化注意机制

    本文提出利用注意力机制在卷积特征激活层面上进行细粒度图像识别，相对于传统方法，在不需要部分标注的情况下使用低层次特征进行输出概率分配，并在 CIFAR-10、Adience gender recognition task、Stanford Dogs 和 UEC-Food100 等数据集上取得了最先进的分类精度。

    Jul, 2019

  • 双边网络与残差 U 块和双向引导注意力的实时语义分割

    通过使用我们提出的双引导注意 (DGA) 模块对两个分支网络中的特征进行融合，我们在速度与准确性之间取得了良好的平衡，实现了与常用多层融合相当的性能。

    Oct, 2023

  • 学会关注

    通过加入可训练的注意力模块，使得卷积神经网络在进行图像分类时能够更好地聚焦于感兴趣的区域，进一步提高了模型的稳健性。

    Apr, 2018