Sep, 2022

重建引导的注意力提高神经网络的鲁棒性和形状处理能力

PDF
TL;DR该研究建立了一种迭代编码器 - 解码器网络模型，利用重构上的反馈机制来加强前馈目标识别过程的重要信息，有效应对常见的图像扰动；研究还发现，该网络模型在对象识别方面，空间与特征化的注意力是相辅相成的，并可以解释人类的知觉误差。
发现论文，激发创造
  • 学习视觉注意力生成模型

    通过利用关注机制的生成学习框架，可以将图像中感兴趣的区域传递给生成建模的标准表征，并集中精力在感兴趣的对象上，从而建立新面孔的生成模型。

    Dec, 2013

  • 预训练注意力机制

    通过引导模型关注输入的显著区域，或经过无监督预训练，可以提高循环神经网络在分类任务中的性能，同时可以提高注意力机制本身的效率。

    Dec, 2017

  • 利用连续注意力模型实现鲁棒性图像分类

    本文提出了一种受人类感知启发的注意力模型，并将其融合到现代神经网络架构中。实验结果表明，引入注意力机制可以显著提高模型的对抗鲁棒性，在各种随机攻击强度下可以达到最先进的 ImageNet 准确度；通过控制注意力步骤的数量可以使模型的防御能力更强，并且可以对抗更强的攻击；攻击模型生成的对抗样本有着与传统对抗样本不同的全局、显著和空间一致的结构，这些结构来自目标类别并且甚至可以被人类识别，会使模型注意力从原始图像中的主要物体分散开来。

    Dec, 2019

  • 学习何时何地参加

    使用人类注意力地图强化深度卷积神经网络的监控信号，并将其应用于目标识别，大幅提高了准确性并生成更接近人类观察者的可解释性更强的视觉特征。

    May, 2018

  • 深度关注追踪：通过反馈学习实现

    该研究论文提出了一种基于视觉注意力的训练深度分类器的互补学习算法，利用正反馈操作生成注意力图来作为正则化项，该机制能够使分类器学习到关注具有外观变化鲁棒性的目标对象的区域，实验证明该注意力跟踪方法在大规模基准数据集上的性能表现优于现有的基于检测的跟踪算法。

    Oct, 2018

  • 自上而下的分析合成视觉注意力

    本文提出了一种从经典分析合成视觉的角度来考虑自下而上的视觉任务导向注意的方法，并构建了一种名为 AbSViT 的基于 Vision Transformer 的模型，该模型在视觉语言任务中有较好的表现，并可用作分类、语义分割和模型稳健性等各种应用的通用骨干网络。

    Mar, 2023

  • 通过学习人类关注特征图增强机器人学习

    本文提出一种新颖的方法来模拟和模拟人类注意力的近似预测模型，并将其作为结构化辅助特征图输入到下游学习任务中，通过在物体检测和模仿学习两个任务中的应用实验证明了人类注意力的预测可以提高训练模型的鲁棒性和在低数据情景下的快速学习。

    Aug, 2023

  • 基于自下而上和自上而下的注意力机制用于图像字幕生成与视觉问答

    本篇研究提出一种混合自下而上和自上而下视觉关注机制，能在对象和其他显著图像区域的水平上计算注意力权重，实现更深入图像理解，将其应用于图像字幕生成和视觉问答任务中，取得了优于现有技术的成绩。

    Jul, 2017

  • 视觉目标检测的注意力网络

    基于注意力机制的深度神经网络在物体检测任务中的应用

    Feb, 2017

  • TDAPNet：基于循环自上而下注意力的原型网络，用于部分遮挡下的稳健对象分类

    本文介绍了将原型学习、部分匹配和自上而下的注意力调节集成到深度学习神经网络中，以实现在遮挡情况下的稳健目标分类。实验结果表明，所提出的网络显著提高了当前深度神经网络在遮挡下的鲁棒性。

    Sep, 2019