Nov, 2023

基于改进的自注意力机制的高分辨率电力设备识别

PDF
TL;DR通过基于深度自注意力网络的创新方法，在自动化电气设备巡检方面提供了突破性的新视角，通过使用高分辨率图像提高了识别精度，并通过引入图像的语义内容来进一步改善了预测效果。
automating inspectionstransformer image recognitiondeep self-attention networkshigh-resolution imageselectrical equipment inspections
发现论文，激发创造
  • 变电站目标检测算法

    检测高压电力设备是确保电力供应可靠的有效方法，该论文提出了一种结合物体关系建模和 Transformer 模型的关系 Transformer 模型，通过在变电站的物体识别中展现出更好的性能，显著促进了自动化电力设备检测的发展。

    Sep, 2023

  • 基于循环发现注意力区域的多标签图像识别

    本文提出了一种利用深度学习技术中的循环记忆 - 关注模块来实现图像多标签分类识别的新方法。通过不使用候选区域提取方法，从卷积特征图中定位注意区域，并使用 LSTM 子网络对这些区域进行语义标记和全局依赖性的序列预测。试验表明该方法在识别准确率和效率上均优于现有技术。

    Nov, 2017

  • 关于视觉 Transformer 的调查

    本文回顾了将 Transformer 应用于计算机视觉任务中的视觉 Transformer 模型，并分为不同任务类别，分析它们的优点和缺点，同时也介绍了将 Transformer 应用到实际设备应用的有效方法。最后，本文还探讨了计算机视觉中的自注意机制以及视觉 Transformer 面临的挑战及进一步研究方向。

    Dec, 2020

  • 用于像素级识别结构组件和损伤的高分辨率视觉变压器

    在本研究中，我们基于视觉变换器和拉普拉斯金字塔缩放网络开发了一个语义分割网络，用于高效解析高分辨率的视觉检测图像。通过在桥梁检测报告图像数据集上进行全面的实验评估，我们的提出的框架在像素级材料检测方面具有广泛的应用价值。

    Aug, 2023

  • 关注激活：用于细粒度图像识别的模块化注意机制

    本文提出利用注意力机制在卷积特征激活层面上进行细粒度图像识别，相对于传统方法，在不需要部分标注的情况下使用低层次特征进行输出概率分配，并在 CIFAR-10、Adience gender recognition task、Stanford Dogs 和 UEC-Food100 等数据集上取得了最先进的分类精度。

    Jul, 2019

  • 图像变换器

    在这项工作中，我们将基于自我关注机制的模型架构 ——Transformer 模型，泛化到图像生成的序列建模问题上，并通过限制自我关注机制只关注局部邻域，显著提高了模型能够实际处理的图像大小，同时在图像生成方面显著优于当前最优秀的状态，提高了 ImageNet 上最佳公布的负对数似然从 3.83 到 3.77，同时还针对大放大倍数进行了图像超分辨率实验。在人类评估研究中，我们发现，我们超分辨率模型生成的图像比先前的最优模型更能欺骗人类观察者。

    Feb, 2018

  • 高分辨率 GAN 的改进变压器

    本文介绍了将多维块自注意力与多层感知机结合的 Transformer 模型 HiT，该模型在高清图像生成领域的表现优于传统基于卷积的方法。

    Jun, 2021

  • RAMS-Trans: 基于循环注意力多尺度变换器进行细粒度图像识别

    通过使用注意力权重来测量原始图像对应的补丁符记的重要性，我们提出了递归注意力多尺度转换器 (RAMS-Trans)，它使用变压器的自我注意力以多尺度的方式递归地学习区分地区的注意力。

    Jul, 2021

  • 图像超分辨率变换器中激活更多像素

    为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

    May, 2022

  • 局部到全局的视觉 Transformer 自注意力

    本研究提出了多通路结构的 Transformer 模型，实现局部到全局的多粒度特征推理，相较于现有的分层设计模型，在增加了极小的计算量的同时，在图像分类和语义分割任务上取得了显著的提高。

    Jul, 2021