Diffusion models have the potential for enhancing image-to-text generation and surpass Auto-Regressive models by introducing LaDiC, which incorporates context modeling, a dedicated latent space for captions, a regularization module, a diffuser for semantic conversion, and a Back&Refine technique, achieving state-of-the-art performance on the MS COCO dataset without pre-training or ancillary modules.

Apr, 2024

这篇论文介绍了一种领域通用的多对多图像生成框架，能够从给定的图像集合中生成相互关联的图像系列，并提供可扩展的解决方案，无需在不同的多图像场景中使用任务特定的解决方案。利用 MIS 数据集，该方法使用稳定扩散和不同的潜在噪声从单个标题生成一组相互关联的图像。通过在 MIS 数据集上进行训练，该模型能够捕捉到先前图像（合成或真实）的风格和内容，并生成遵循这些模式的新图像。此外，通过任务特定的微调，我们的模型展示了其适应各种多图像生成任务的能力，包括新视角合成和视觉流程生成。

Apr, 2024

非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。

Dec, 2023

BAT-Fill 提出了一种图像修复的新框架，使用了基于 transformers 的双向自回归模型，在考虑到上下文信息的基础上修复缺失或破损的区域，使得修缮后的图片具有更好的内容多样性和视觉效果。

Apr, 2021

该研究提出了一种有效的基于文本上下文和全局语境的图像生成框架，名为 Draft-and-Revise with Contextual RQ-transformer，通过 Contextual RQ-transformer 考虑图像全局上下文信息以最大程度地反映全局语境。在实验中，我们的方法在条件图像生成上达到了最先进的效果。

Jun, 2022

本文提出了一种端到端可训练的图像压缩框架，采用自回归和分层先验的组合估计每个潜在表示的分布，并使用一种方法将比特率分配到每个图像以最大化 MS-SSIM。

Oct, 2019

提出使用离散表示图像的方法，可以让基于自回归的生成模型输出具备更好的大规模连贯性，在 ImageNet 数据集上进行实验，证明了分层条件自回归模型可以在 128×128 和 256×256 的分辨率上生成逼真的图像。

Mar, 2019

本文提出了一个基于深度生成模型的图像生成网络，结合卷积神经网络的归纳偏置和自回归的序列建模，通过多重领域特征的变量规范，设计了分布估计的 Gumbel 采样策略来提高图像的生成质量并克服于训练和推理过程中所产生的偏差和误差，取得了当前同类算法中最优秀的生成表现。

Jul, 2022

我们提出了使用扩散过程模型每个令牌的概率分布，从而可以将自回归模型应用于连续值空间的方法，并通过定义扩散损失函数来替代离散化的令牌化。通过消除向量量化，我们的图像生成器在享受序列建模的速度优势的同时取得了强大的结果，并希望该方法能促进在其他连续值领域和应用中使用自回归生成。

Jun, 2024

本文针对自回归模型在计算机视觉领域无法与其他自监督学习方法相比的问题，通过引入随机排列策略和并行编码 - 解码训练过程，提出了一种名为 SAIM 的新型随机自回归图像建模方法，取得了极大的性能提升，特别是在基于 ImageNet-1K 数据的视觉变换任务方面达到最佳精度 83.9%。

Dec, 2022