Feb, 2022

MaskGIT: 掩码生成式图像转换器

PDF
TL;DR本文提出了一种新的图像合成模型 ——MaskGIT，采用双向 transformer 解码器，通过学习预测随机遮罩的 tokens 并在推理时同时生成全部 tokens，迭代地改进图像以获得高保真度和高分辨率的生成图像，并在 ImageNet 数据集上优于现有模型，同时通过自回归解码加速达到 64 倍，还可轻松扩展到各种图像编辑任务中。
generative transformersimage synthesismaskgitautoregressive decodingimage editing
发现论文，激发创造
  • GIT: 用于视觉和语言的生成图像到文本的变压器

    本文设计和训练了一个生成式图像到文本的转换器 ——GIT，以统一图像 / 视频字幕和问答等视觉语言任务。使用简化的体系结构和扩大的预训练数据和模型规模，GIT 在 12 个具有挑战性的基准测试中都取得了新的最佳表现，这些基准测试中有 TextCaps、图像分类和场景文本识别等。

    May, 2022

  • 基于 Pytorch 的遮蔽式生成图像变换的再现

    通过使用 PyTorch 实现 MaskGIT: Masked Generative Image Transformer 模型，我们复现了原始论文中的结果，并在 ImageNet 数据集上使用类似的超参数达到 7.59 的 FID，同时通过微调超参数在官方实现的基础上取得 7.26 的 FID，验证了此模型在图像生成方面的效果及可复现性。

    Oct, 2023

  • MAGVIT: 掩码生成式视频变换器

    本研究提出了 MAgVIT，通过 3D 分词器对视频进行量化并通过视频掩码令牌建模进行多任务学习，展示了 MAgVIT 在视频生成任务中的质量、效率和灵活性，且支持多种生成任务。

    Dec, 2022

  • MaskINT：通过插值非自回归蒙版变换的视频编辑

    这项研究通过在文本为基础的视频编辑过程中分为两个阶段，利用现有的文本到图像扩散模型同时编辑一些关键帧，并引入了一种称为 MaskINT 的高效模型，该模型建立在非自回归的掩膜式生成变压器上，在关键帧之间进行帧插值，从中间帧提供的结构指导中受益。我们进行了一系列实验证明了 MaskINT 相对于其他基于扩散模型的方法的有效性和高效性。该研究为基于文本的视频编辑提供了实用的解决方案，并展示了非自回归的掩膜式生成变压器在该领域中的潜力。

    Dec, 2023

  • 学生不应看到的内容：基于注意力引导的遮蔽图像建模

    本文阐述了在计算机视觉领域中采用 Transformer 和掩蔽语言模型的新趋势，即视觉 Transformer 和掩蔽的图像建模 (MIM)。我们认为，在 MIM 中，图像记号掩蔽与文本中的掩蔽不同，因为它们之间的记号数量和相关性不同。为了为 MIM 生成一个具有挑战性的预文本任务，我们提出了一种从随机掩蔽到知情掩蔽的转变。我们在基于蒸馏的 MIM 的上下文中开发并展示了这个思想，其中教师 Transformer 编码器生成关注图，该图我们用于指导学生的掩蔽。因此，我们引入了一种新的掩蔽策略，称为注意力引导掩蔽 (AttMask)，并证明了它在密集的基于蒸馏的 MIM 以及分类记号的普通基于蒸馏的自监督学习上比随机掩蔽效果更好。我们确认，AttMask 加速了学习过程并在各种下游任务中提高了性能。我们在此 https URL 提供了实现代码。

    Mar, 2022

  • M2T：双重掩码变换加速解码

    本文演示了在神经图像压缩中应用面向遮蔽令牌预测训练的双向变压器以实现最先进的结果。通过使用预定义的、确定性调度，本文证明这些模型在图像压缩方面表现良好。同时在训练过程中使用面向遮蔽的关注力以及在推断过程中使用激活缓存，能够使我们的模型显著地加速（推理速度提高了 4 倍），同时只需轻微提高比特率。

    Apr, 2023

  • GIVT: 生成无限词汇的变形器

    我们引入了生成无限词汇的变换器（GIVT），其生成具有实值条目的向量序列，而不是来自有限词汇的离散标记。

    Dec, 2023

  • 视觉 Transformer 预训练中遮蔽和置换视觉令牌的学习

    本研究提出了一种名为 MaPeT 的新型自监督预训练方法，旨在提高基于视觉任务的性能并解决输入噪声和不一致性问题，实验结果表明其在 ImageNet 数据集上具有与竞争对手相媲美的性能。

    Jun, 2023

  • Muse: 通过 Masked 生成变压器实现文本到图像生成

    Muse 是一种基于遮蔽建模任务在离散令牌空间中训练的文本到图像 Transformer 模型，借助预训练的大型语言模型，实现了高度还原原始文本意图的图像生成能力，同时也能够直接应用于图像编辑等任务。

    Jan, 2023

  • 使用 Token-Critic 改进的遮蔽图像生成

    该论文介绍了 Token-Critic，一个辅助模型，用于指导非自回归生成变压器的采样，该模型可选择要接受和要拒绝和重新采样的 token，结合 Token-Critic，生成变压器在 ImageNet 生成方面优于最近的扩散模型和 GANs，可以在生成图像质量和多样性之间取得良好的平衡。

    Sep, 2022