May, 2022

ASSET：使用 Transformer 进行高分辨率自回归语义场景编辑

PDF
TL;DR使用基于注意力机制的 transformer 神经网络架构 ASSET 对高清晰度图像进行语义分割地图的自动合成修正，并证明其在应对高清晰度图像的长距离互动和上下文处理能力方面优越于传统神经网络和 transformer 方法。
assetneural architecturesemantic segmentationattention mechanismhigh-resolution images
发现论文，激发创造
  • 使用 Transformer 进行高分辨率复杂场景合成

    该论文介绍了一种基于深生成模型的图像合成方法，通过压缩和离散表示学习高频细节和纹理信息，再结合自回归转换模型生成高质量的图像。

    May, 2021

  • 高分辨率稀疏注意力下的语义布局操作

    该研究提出了一种高分辨率稀疏注意力模块和一个生成器架构，可以在语义标签映射的基础上，有效地实现将输入图像的视觉细节转移至新布局。实验证明，该方法在图像修补和布局操作方面的性能得到了大幅提高。

    Dec, 2020

  • 基于 Transformer 的多分辨率和多模式语音识别

    本篇论文介绍了一个基于 Transformer 架构的音频视觉自动语音识别（AV-ASR）系统，特别关注视觉信息提供的场景背景，以支撑 ASR。我们从变换器的编码器层中提取音频特征的表示，并使用附加的跨模态多头注意层融合视频特征。此外，我们还采用多任务培训标准用于多分辨率 ASR，同时训练模型生成字符和子词级转录。实验结果表明，多分辨率训练可以加速收敛速度约 50％，并且相对于子词预测模型，单词错误率（WER）性能提高了高达 18％。此外，融合视觉信息可以改善表现，在仅使用音频模型的基础上，相对增益高达 3.76％。我们的结果可与最先进的 Listen, Attend and Spell 架构相媲美。

    Apr, 2020

  • 使用 Transformer 进行高分辨率图像分割的自适应修补

    使用自适应网格细化方法 (Adapative Mesh Refinement, AMR) 可以作为图像细分的预处理步骤，基于图像细节自适应地划分图像补丁，从而减少传给模型的补丁数量。该方法与任何基于注意力的模型无缝地配合使用，能够在实际病理数据集上展示出优于现有技术的分割质量，并在分辨率高达 64K²，最多 2048 个 GPU 的情况下获得 6.9 倍的几何平均加速。

    Apr, 2024

  • 注意力可收缩变换器用于精确图像恢复

    本文提出了 Attention Retractable Transformer (ART) 用于图像修复任务，通过在网络中使用稠密和稀疏注意力模块，实现更广泛的接受域并提高了 Transformer 的表征能力。大量实验结果验证了该方法在各种基准数据集上的优越性。

    Oct, 2022

  • 图像变换器

    在这项工作中，我们将基于自我关注机制的模型架构 ——Transformer 模型，泛化到图像生成的序列建模问题上，并通过限制自我关注机制只关注局部邻域，显著提高了模型能够实际处理的图像大小，同时在图像生成方面显著优于当前最优秀的状态，提高了 ImageNet 上最佳公布的负对数似然从 3.83 到 3.77，同时还针对大放大倍数进行了图像超分辨率实验。在人类评估研究中，我们发现，我们超分辨率模型生成的图像比先前的最优模型更能欺骗人类观察者。

    Feb, 2018

  • 基于混合卷积 - 变换器架构搜索的实时图像分割

    通过使用多头自注意力结构，结合架构搜索方法，本研究提出了一种高效且有效的高分辨率图像分割神经网络架构，名为 HyCTAS，通过在多个分辨率的分支之间融合轻量级卷积层和内存高效的自注意力层，提高了语义分割任务的性能。

    Mar, 2024

  • 多维 Transformer 中的轴向注意力

    Axial Transformers 是一种基于自注意力的自回归模型，可用于生成高维张量数据，具有全表达能力和易于实现的特点，并在标准生成建模基准测试中取得了最新的成果。

    Dec, 2019

  • 基于改进的自注意力机制的高分辨率电力设备识别

    通过基于深度自注意力网络的创新方法，在自动化电气设备巡检方面提供了突破性的新视角，通过使用高分辨率图像提高了识别精度，并通过引入图像的语义内容来进一步改善了预测效果。

    Nov, 2023

  • 驯服 Transformer 的高分辨率图像合成

    结合卷积神经网络与 transformers 模型的特点，实现了生成高分辨率图像的任务，并取得了 ImageNet 中类别有条件下的自回归模型的最优结果

    Dec, 2020