无向量量化的自回归图像生成

Jun, 2024

Autoregressive Image Generation without Vector Quantization

Tianhong Li, Yonglong Tian, He Li, Mingyang Deng, Kaiming He

TL;DR我们提出了使用扩散过程模型每个令牌的概率分布，从而可以将自回归模型应用于连续值空间的方法，并通过定义扩散损失函数来替代离散化的令牌化。通过消除向量量化，我们的图像生成器在享受序列建模的速度优势的同时取得了强大的结果，并希望该方法能促进在其他连续值领域和应用中使用自回归生成。

Abstract

Conventional wisdom holds that autoregressive models for image generation are typically accompanied by vector-quantized tokens. We observe that while a discrete-valued space can facilitate representing a categori

autoregressive models continuous-valued space diffusion procedure diffusion loss function image generation

发现论文，激发创造

Emage: 非自回归式文本到图像生成

非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。

Dec, 2023

利用离散吸收扩散实现并行令牌预测：从向量量化编码中快速生成高分辨率图像的 Transformer 解放

本文提出了一种新的离散扩散概率模型优先级，通过使用无约束的 Transformer 架构作为骨干结构实现了向量量化标记的并行预测，从而促进了图像生成的全局一致性和多样性。

Nov, 2021

文本到图像的向量量化扩散模型

本论文提出了基于矢量量化扩散模型的文本到图像生成方法，在扩散条件变量程序模型的潜在空间中建模基于矢量量化变分自编码器的方法，消除了现有方法中的单向偏差，并允许我们结合掩模和替换扩散策略以避免误差积累，其结果在生成复杂场景的图像方面得到了显着的改进。

Nov, 2021

自回归图像生成与集成量化

本文提出了一个基于深度生成模型的图像生成网络，结合卷积神经网络的归纳偏置和自回归的序列建模，通过多重领域特征的变量规范，设计了分布估计的 Gumbel 采样策略来提高图像的生成质量并克服于训练和推理过程中所产生的偏差和误差，取得了当前同类算法中最优秀的生成表现。

Jul, 2022

基于正则化向量量化的分词图像合成

本文提出一种正则化的向量量化框架，通过两种正则化方法有效缓解确定性量化和随机量化所存在的问题，并设计出一种概率对比损失作为更进一步缓解扰动重构目标的标准度量，实验表明该框架在不同的生成模型中表现都比现有的向量量化方法更优。

Mar, 2023

AR-Diffusion: 自回归扩散模型用于文本生成

介绍了一种新的生成文本的方法 - 自回归扩散 (AR-Diffusion)，它通过引入动态去噪步骤来解决自然语言中的顺序依赖问题，在各种文本生成任务中表现优异。

May, 2023

自回归模型胜过扩散模型: Llama 用于可扩展图像生成

LlamaGen 是一种新型的图像生成模型家族，采用大型语言模型中的原始 “下一个标记预测” 范例应用于视觉生成领域，不附带对视觉信号的归纳偏见，可以在适当缩放的情况下实现最先进的图像生成性能。

Jun, 2024

简单有效的遮掩扩散语言模型

简化的掩码离散扩散模型在语言建模方面的性能优于以往认为的水平，可以用于训练只有编码器的高效采样语言模型，并在语言建模基准测试中取得了最新的最佳结果。

Jun, 2024

分布平滑改进的自回归建模

通过将随机平滑引入自回归生成建模中，我们在多个数据集上显著改善了现有自回归模型的样本质量，同时在合成数据集上获得了具有竞争力的可能性。

Mar, 2021

使用扩散模型生成符号音乐

本文提出了一种基于预训练变分自编码器的离散领域参数化的扩散模型训练技术，用于离散和连续领域的生成导致更优结果，并在应用于符号音乐领域时表现出很强的无条件生成和条件填充结果，相比基于自回归语言模型的连续嵌入操作更具可行性。

Mar, 2021