Jan, 2023

ACQ: 通过关注力校正来提高生成式无数据量化

PDF
TL;DR该论文提出了 ACQ 方法，通过注意力中心位置条件发生器和对手损失等技术，解决了数据合成过程中 attention 分布不均和同一类别合成样本之间注意力过于相似的问题，以提升量化算法的性能。在对 Resnet18 和 Resnet50 进行 4 位量化时，ACQ 方法分别实现了 67.55% 和 72.23% 的准确率。
发现论文，激发创造
  • 深度强化注意力学习用于品质感知视觉识别

    通过在任何卷积神经网络的弱监督生成中间注意力图的机制上进行改进，揭示了注意力模块的有效性，提出了一种元质疑网络，并结合强化学习的方法进行优化，从而提高了注意力模块的表达能力，并在分类和实例识别基准测试上进行了广泛的实验验证。

    Jul, 2020

  • 条件图像生成的注意力归一化

    本研究提出了注意力归一化模块 (AN) 用于改进图像的长程关联性以及利用语义对分割特征图进行处理，相比于自注意力 GAN，AN 不需要测量所有位置之间的关联性，因此可以直接应用于大尺寸的特征图，本文通过对比实验证明了 AN 的有效性。

    Apr, 2020

  • GANs 的双对比损失和注意力

    本文提出了多项改进，包括新型的双重对比损失和重塑注意力机制，来加强生成对抗网络的无条件图像生成能力，在多个基准数据集上将最先进的状态压制得更为出色。

    Mar, 2021

  • ACNe: 用于健壮置换等变学习的注意力上下文归一化

    本文提出了注意力上下文归一化（ACN）技术，基于排列不变网络实现离群点鲁棒性的全局归一化方法，并利用本地和全局注意力找到高维空间中的关键数据点来解决特定任务，实验证明我们的方法在处理稀疏、无序数据的点云分类、抗噪点云拟合和相机姿态估计等方面性能较现有方法显著提升。

    Jul, 2019

  • Explanation vs Attention: 一种用于 VQA 注重力获取的双人博弈

    使用对抗训练作为监督学习来提高注意力映射，改善视觉问答任务的表现，同时与其他学习分布的方法相比，发现对抗损失函数表现更好。

    Nov, 2019

  • AttnGAN: 使用注意力生成对抗网络进行精细化文本到图像生成

    本文介绍了一种利用注意力机制生成对抗网络的方法，能够通过自然语言描述中的相关单词对图像的不同子区域进行精细的细节合成，并提出了一种深度的注意力多模式相似度模型，用于训练这个生成器。实验结果显示，在两个数据集上，这种注意力机制生成对抗网络都优于先前的最先进方法。

    Nov, 2017

  • 利用注意力叠加生成对抗网络 (AS-GAN) 强化传感器数据扩充用于制造系统在线监测

    本文通过引入注意力机制、提出了一种基于 AS-GAN 的传感器数据增强算法，可以生成高质量的传感器信号，可有效地监测并改善先进制造系统中在线感测的数据不平衡问题。

    Jun, 2023

  • 关注归一化

    本篇论文提出了一种轻量级的模式集成方案，称为 Attentive Normalization (AN)，将特征标准化和注意力机制相结合，实现了对实例的特征重新校准和调整，在 ImageNet 和 MS-COCO 的分类和检测任务中都获得了一致的性能提升。

    Aug, 2019

  • 视觉破坏中的注意一致性对于单源域泛化的影响

    通过使用图像数据的变形，以及同一样本不同视角间的一致性注意力以强化单一数据分布训练出来的视觉识别模型对不同数据分布（即域）的鲁棒性，并命名该模型为 ACVC。研究表明，ACVC 在 PACS、COCO 和 DomainNet 三个单源域泛化基准测试中均获得了最新的最佳效果。

    Apr, 2022

  • 正则化注意力网络在视觉问答异常检测中的应用

    本研究评估了最新的 VQA 模型对五种不同异常情况的稳健性，并通过注意力机制的最大熵正则化方法提出了一个模型无关的跨模态技术来提高对各种异常情况的检测能力。

    Sep, 2020