DIANet：密集和隐式注意力网络

May, 2019

DIANet: Dense-and-Implicit Attention Network

Zhongzhan Huang, Senwei Liang, Mingfu Liang, Haizhao Yang

TL;DR本文提出 Dense-and-Implicit-Attention (DIA) unit，其可通过共享单一的注意力模块，在网络不同层次间促进信息整合。实验表明，由 DIA-LSTM 组成的 DIA 单元能够强调层与层之间的特征相互关系，并可提高图像分类准确性；此外，还证明 DIA-LSTM 对于深度网络的训练具有强大的正则化能力。

Abstract

attention networks have successfully boosted the performance in various vision problems. Previous works lay emphasis on designing a new attention module and individually plug them into the networks. Our paper proposes a novel-and-simple framework that shares an attention module through

attention networks dense-and-implicit-attention unit image classification long short term memory regularization

发现论文，激发创造

动力学视角下的分层共享注意力网络

提出一种名为 DIA 的注意力网络单元，该单元在不同的神经网络层之间共享单个注意力模块，从而在各种视觉任务中提高了现有自我注意力模块的准确性，并且具有强大的正则化能力，能够通过增强层间信息交流和梯度值有效地恢复和提高其训练不稳定性。

Oct, 2022

通过动态层关注加强层之间的相互作用

探讨了层次注意力与一般注意机制之间的区别，并提出了一种动态层次注意 (DLA) 结构，通过改进的循环神经网络块 (DSU) 实现上下文特征提取，并将注意机制应用于动态更新的特征图中，实验证明 DLA 结构在图像识别和目标检测任务中的有效性，并评估了 DSU 块作为 DLA 结构中的高效插件。

Jun, 2024

任务导向接地的动态注意力网络

本文提出了一种新的动态注意力网络架构，用于文本和视觉表示的高效多模态融合，从而实现自然语言指令下机器人对环境的理解和控制，模型通过 LSTM 实现动态关注，基于任务的接地和增强学习控制中取得了良好效果。

Oct, 2019

DiSAN: 面向无 RNN/CNN 的语言理解的定向自注意力网络

提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

Sep, 2017

单目深度估计的双向注意力网络

本文提出一种双向注意力网络（BANet）用于单目深度估计，通过利用神经机器翻译的概念基础和引入双向注意力模块，该方法能够高效地将局部和全局信息相融合，并在 KITTI 和 DIODE 数据集上显著优于传统的前馈模型以及其他现有的单目深度估计方法。

Sep, 2020

双重注意力网络用于场景分割

本文通过应用双重注意力网络 (DANet) 和自注意力机制来捕捉语境相关性，以实现更准确的场景分割，在 Cityscapes 数据集上取得了 81.5% 的平均 IoU 得分，并提供了相应的代码和训练模型。

Sep, 2018

扩张邻域注意力变换器

本文介绍了一种新型 Hierarchical Vision Transformer，Dilated Neighborhood Attention Transformer（DiNAT）及其基于 Dilated Neighborhood Attention（DiNA）的自注意力机制，使其具备全局关联建模和扩大感受野的能力，证明 DiNAT 对常规 Hierarchical Vision Transformer 具有显著的优势，从而实现了在一些特定领域中更好的 Panoptic 分割表现。

Sep, 2022

基于扩张 Inception 网络的视觉显著性预测

本文提出了一种基于 DCNN 网络的端到端扩张 Inception 网络（DINet）用于实现视觉显著性预测，并使用一系列线性归一化的概率分布距离度量作为损失函数来推断全局显著性信息，从而将显著性预测转化为概率分布任务。实验结果表明，该方法可以在短时间内实现最先进的性能。

Apr, 2019

TDAM: 基于上下文引导的 CNN 特征选择中的自顶向下注意力模块

该研究提出了一种轻量级的顶部注意力模块 (TDAM)，通过迭代生成一个 “视觉探照灯”，以更多上下文相关的特征图上执行通道和空间调制，从而增强 CNN 在多个目标识别基准测试上的性能，并且能够在不需要显式监督的情况下本地化单个对象或特征。

Nov, 2021

一种高效的编码器 - 解码器体系结构，具有自上而下的注意力，用于语音分离

本文提出了一种模拟大脑自上而下关注机制的、模型复杂度较低但表现优异的基于编码器 - 解码器的深度神经网络架构 TDANet，并在三个基准数据集上验证其高效性和有效性。

Sep, 2022