Jun, 2022

草稿与修订：基于上下文 RQ-Transformer 的有效图像生成

PDF
TL;DR该研究提出了一种有效的基于文本上下文和全局语境的图像生成框架，名为 Draft-and-Revise with Contextual RQ-transformer，通过 Contextual RQ-transformer 考虑图像全局上下文信息以最大程度地反映全局语境。在实验中，我们的方法在条件图像生成上达到了最先进的效果。
autoregressive modelsimage generationglobal contextsrq-transformerdraft-and-revise
发现论文，激发创造
  • 朝向准确的图像编码：动态向量量化改进自回归图像生成

    提出了一种新的两阶段框架，它使用动态量化 VAE 将图像区域编码为基于其信息密度的可变长度代码，以实现更准确，更紧凑的代码表示，从而解决了现有 VQ 基于自回归模型的固定长度编码问题，该方法通过一种新的堆叠 Transformer 架构和共享内容、独立位置输入层设计，从粗粒度到细粒度生成图像。

    May, 2023

  • 使用残差量化的自回归图像生成

    本文提出了一种两阶段的框架，由残差量化 VAE（RQ-VAE）和 RQ-Transformer 组成，旨在有效地生成高分辨率图像，通过精确的逼近，我们可以将 256×256 像素的图像表示为 8×8 特征映射，并且 RQ-Transformer 可以在保证生成高品质图像的同时减少计算成本。

    Mar, 2022

  • ImageBART: 双向上下文与多项式扩散的自回归图像合成

    本文研究了基于自回归模型与多项式扩散过程结合的粗粒度到细粒度的图像语境建模方法，该方法应用于图像修改技术，较单一自回归模型在高保真度生成和图像修改能力方面有着显著提高。同时，该模型可以在压缩的潜在空间下进行高效训练，能够对于无限制的用户提供的掩模进行图像修改，可解决自由形式图像修补和本地、文本引导的图像修改问题，无需特定的训练。

    Aug, 2021

  • Efficient-VQGAN: 高分辨率图像生成的高效视觉 Transformer

    通过引入局部关注机制、融合全局关注和局部关注机制、以及自动编码训练和自回归生成策略，提出了一种高分辨率图像生成的高效两阶段框架，实现了更高效率、更好的重建质量和更高分辨率的图像合成。

    Oct, 2023

  • 自回归图像生成与集成量化

    本文提出了一个基于深度生成模型的图像生成网络，结合卷积神经网络的归纳偏置和自回归的序列建模，通过多重领域特征的变量规范，设计了分布估计的 Gumbel 采样策略来提高图像的生成质量并克服于训练和推理过程中所产生的偏差和误差，取得了当前同类算法中最优秀的生成表现。

    Jul, 2022

  • 不是所有的图像区域都很重要：用掩码向量量化进行自回归图像生成

    本研究提出了一种新的两阶段框架，包括掩蔽量化 VAE（MQ-VAE）和 Stackformer，在图像生成中减轻冗余感知信息的影响，实现了高效有效的图像生成。

    May, 2023

  • 利用语义耦合的 VQ 模型进行语义图像合成

    通过与向量量化模型预训练的条件式合成潜空间，联合学习条件潜空间和图像潜空间，进一步提高自回归模型的建模能力，并在多个图像数据集上验证其能有效改进语义图像合成性能。

    Sep, 2022

  • 利用 VQ-VAE-2 生成多样高保真度图像

    本文探讨矢量量化变分自编码器模型 (VQ-VAE) 进行大规模图像生成的应用，采用自回归先验信息，结合简单前馈编码器和解码器网络，以压缩的潜变量空间进行自动回归模型采样，同时使用多尺度层级 VQ-VAE 进行生成，取得比 Generative Adversarial Networks 更加优秀的样本生成品质。

    Jun, 2019

  • CCVS: 上下文感知可控视频合成

    本文提出了一种自监督学习方法，用于从旧视频剪辑中合成新视频剪辑，并介绍了多个新的关键元素，以改善其空间分辨率和逼真程度。通过对时间连续性的上下文信息和对精细控制的辅助信息进行综合利用，该方法的预测模型在自编码器的潜在空间和图像空间中进行双自回归，以提高其输出的逼真程度，并通过可学习的光流模块来实现时空一致性。同时，插入于编码器和潜在空间预测模块之间的量化器和插入于预测模块和解码器之间的其逆操作提供了额外的灵活性。实验结果表明，该方法在多个任务和标准基准测试上的定性和定量结果都非常好。

    Jul, 2021

  • 使用稀疏表示生成图像

    本文提出一种基于分块离散余弦变换（DCT）块的生成模型，使用 Transformer-based 自回归模型对块进行预测，以生成高质量、多样化的图像，并展示了对于简单的改进，该方法在图像着色和高精度图像放大方面也具有有效性。

    Mar, 2021