Apr, 2024

视觉自回归建模：通过下一尺度预测实现可扩展图像生成

PDF
TL;DRVisual AutoRegressive modeling (VAR) improves autoregressive image generation surpassing diffusion transformers, exhibiting power-law scaling laws and zero-shot task generalization.
visual autoregressive modelingnext-resolution predictiondiffusion transformersfrechet inception distancezero-shot generalization
发现论文，激发创造
  • ControlVAR：探索可控的视觉自回归建模

    控制可视生成的一个新框架 ControlVAR，通过像素级控制在视觉自回归建模中实现灵活高效的条件生成

    Jun, 2024

  • 使用残差量化的自回归图像生成

    本文提出了一种两阶段的框架，由残差量化 VAE（RQ-VAE）和 RQ-Transformer 组成，旨在有效地生成高分辨率图像，通过精确的逼近，我们可以将 256×256 像素的图像表示为 8×8 特征映射，并且 RQ-Transformer 可以在保证生成高品质图像的同时减少计算成本。

    Mar, 2022

  • 自回归模型胜过扩散模型: Llama 用于可扩展图像生成

    LlamaGen 是一种新型的图像生成模型家族，采用大型语言模型中的原始 “下一个标记预测” 范例应用于视觉生成领域，不附带对视觉信号的归纳偏见，可以在适当缩放的情况下实现最先进的图像生成性能。

    Jun, 2024

  • ARVideo：用于自监督视频表示学习的自回归预训练

    该论文介绍了一种新的自我监督视频表示学习框架 ARVideo，其中通过自回归方式预测下一个视频令牌，将自回归视频令牌按照时空间隔进行聚类，并采用随机化时空预测顺序来提高学习效果，实验证明 ARVideo 是一种有效的自我监督视频表示学习范式，具有更高的训练效率。

    May, 2024

  • 自回归视频模型的扩展

    通过在 Kinetics 数据集上训练基于三维自注意机制的自回归视频生成模型，我们展示了这种概念简单的方法在产生高保真、逼真度更高的视频方面具有竞争力。

    Jun, 2019

  • 通过顺序自回归打造数据高效的大型视觉模型

    该论文研究了一种高效的基于自回归的视觉模型，通过有限的数据集在测试阶段展示了其在高层次和低层次语义理解等各种视觉任务上的能力，减少了参数占用以及训练数据要求，为通用视觉模型领域的可持续性和可访问性提供了重要进展。

    Feb, 2024

  • 辅助导向自回归变分自动编码器

    本文提出了一种训练程序，它基于辅助损失函数来控制潜变量所捕获的信息以及留给自回归解码器的信息，该方法可以实现任意强大的自回归解码器，达到具有潜变量的模型中最先进的定量性能，并生成定性令人信服的样本。

    Nov, 2017

  • STAR：基于自回归表示的按尺度文本图像生成

    STAR 是一种文本到图像模型，通过采用自回归范式实现，并通过预训练文本编码器提取文本约束的表示，利用交叉注意力层提高生成图像与文本指导的交互作用，借助 2D RoPE 和归一化版本，确保不同尺度上的相对位置的一致解释，并通过超过现有基准的实验结果，展示其在高质量图像合成方面的潜力，为当前由扩散方法主导的 T2I 领域提供有希望的新方向。

    Jun, 2024

  • 在自回归图像生成中引入强化对抗学习

    使用基于策略梯度优化的强化对抗学习 (RAL)，结合 GAN 启发的对抗损失，实现了图像生成中自回归模型的敌对性学习，提高了生成图像的质量和多样性。该方法在合成和真实数据集上都取得了显著的改善，并在 64*64 图像分辨率上实现了 Celeba 数据集的最优结果。

    Jul, 2020

  • Emage: 非自回归式文本到图像生成

    非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。

    Dec, 2023