Feb, 2018

图像变换器

PDF
TL;DR在这项工作中，我们将基于自我关注机制的模型架构 ——Transformer 模型，泛化到图像生成的序列建模问题上，并通过限制自我关注机制只关注局部邻域，显著提高了模型能够实际处理的图像大小，同时在图像生成方面显著优于当前最优秀的状态，提高了 ImageNet 上最佳公布的负对数似然从 3.83 到 3.77，同时还针对大放大倍数进行了图像超分辨率实验。在人类评估研究中，我们发现，我们超分辨率模型生成的图像比先前的最优模型更能欺骗人类观察者。
image generationself-attentiontransformerlikelihoodsuper-resolution
发现论文，激发创造
  • 高分辨率 GAN 的改进变压器

    本文介绍了将多维块自注意力与多层感知机结合的 Transformer 模型 HiT，该模型在高清图像生成领域的表现优于传统基于卷积的方法。

    Jun, 2021

  • 循环线性变换

    通过引入循环替代方案以解决 transformer 自注意机制中的两个局限，本文提出了一种能够以较低成本进行推理并有效利用长程依赖的 transformer 自注意机制替代方法，在强化学习问题中实现了性能的提升。

    Oct, 2023

  • 基于图像 Transformer 的图像字幕生成

    本文介绍了一种基于 transformer 架构、包括编码和解码变换器的模型 —— 图片 transformer，它通过适应图片的结构提高了自动图像描述的性能，并在 MSCOCO 离线和在线测试基准中取得了新的最佳成绩。

    Apr, 2020

  • 图像局部自回归变压器

    通过 Local Autoregressive Transformer 模型生成可控制的局部图像区域，具有优异的效果。

    Jun, 2021

  • 多维 Transformer 中的轴向注意力

    Axial Transformers 是一种基于自注意力的自回归模型，可用于生成高维张量数据，具有全表达能力和易于实现的特点，并在标准生成建模基准测试中取得了最新的成果。

    Dec, 2019

  • 图像超分辨率变换器中激活更多像素

    为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

    May, 2022

  • 使用自我关注实现可解释的音乐标记

    提出了一种基于自注意力机制的深度序列模型，用于解决音乐信息检索问题，并且相比于传统的卷积和递归神经网络方法，该模型更具可解释性且具有竞争力的结果。

    Jun, 2019

  • Mansformer：用于图像去模糊及其它任务的高效混合注意力转换器

    我们提出了 Mansformer，它是一种结合了多种自注意力、门控和多层感知的混合加权 Transformer，通过对张量形状和维度进行精心调整，将典型的二次复杂度自注意力分解成四次线性复杂度操作，并利用类似 Squeeze-and-Excitation Networks 的架构实现了这些不同类型自注意力的自适应融合，通过提出的门控 - dconv MLP 将两阶段的 Transformer 设计合并为一阶段，主要用于图像去模糊，经过广泛的定量和定性评估，表明该方法在远远超过简单去模糊的最先进方法方面表现出色，源代码和训练模型将提供给公众。

    Apr, 2024

  • 医学变压器：门控轴向注意力在医学图像分割中的应用

    本文探讨了 Transformer 网络架构在医学图像分割任务中的可行性，并提出了一种 Gated Axial-Attention 模型和 Local-Global 训练策略以提高模型性能。实验表明，在三组不同的医学图像数据集上，该 Medical Transformer 模型优于卷积和其他相关的 Transformer-based 架构。

    Feb, 2021

  • 局部到全局的视觉 Transformer 自注意力

    本研究提出了多通路结构的 Transformer 模型，实现局部到全局的多粒度特征推理，相较于现有的分层设计模型，在增加了极小的计算量的同时，在图像分类和语义分割任务上取得了显著的提高。

    Jul, 2021