自主训练自回归模型在计算机视觉中的发展滞后于自然语言处理，本研究提出了一种基于语义感知的自回归图像建模方法，通过对补丁的特征相似性进行排序，将自回归建模从语义补丁扩展到非语义补丁，并探索了使用补丁特征作为预测目标的方法，实验表明该方法在图像分类、目标检测和分割等多个任务中实现了卓越的性能表现。

Dec, 2023

这篇论文介绍了 AIM，一种根据自回归目标预训练的视觉模型集合。这些模型受到了文本模型的启发，并展现了类似的规模扩展性。重点提到两个关键发现：（1）视觉特征的性能随模型容量和数据量的增加而提高，（2）目标函数的价值与模型在下游任务上的性能相关。通过预先训练一架 70 亿参数、使用 20 亿图像的 AIM，在 ImageNet-1k 上使用冻结的主干获得了 84.0% 的准确率。有趣的是，即使在这样的规模下，我们观察不到性能饱和的迹象，这表明 AIM 可能代表了训练大规模视觉模型的一个新的前沿。AIM 的预训练类似于 LLM 的预训练，并不需要任何图像特定的策略来稳定规模化训练。

Jan, 2024

该论文研究了一种高效的基于自回归的视觉模型，通过有限的数据集在测试阶段展示了其在高层次和低层次语义理解等各种视觉任务上的能力，减少了参数占用以及训练数据要求，为通用视觉模型领域的可持续性和可访问性提供了重要进展。

Feb, 2024

该研究提出了一种新的两阶段模型，称为半自回归图像字幕生成模型，使用部分先验信息和图像特征，先以自回归方式生成一个间歇性序列，然后使用迭代的非自回归方式填充所有跳过的单词，可以更好地权衡性能和速度，并在 MS COCO 基准测试上得到更好的表现和竞争性推理加速。

Oct, 2021

提出使用离散表示图像的方法，可以让基于自回归的生成模型输出具备更好的大规模连贯性，在 ImageNet 数据集上进行实验，证明了分层条件自回归模型可以在 128×128 和 256×256 的分辨率上生成逼真的图像。

Mar, 2019

使用基于策略梯度优化的强化对抗学习 (RAL)，结合 GAN 启发的对抗损失，实现了图像生成中自回归模型的敌对性学习，提高了生成图像的质量和多样性。该方法在合成和真实数据集上都取得了显著的改善，并在 64*64 图像分辨率上实现了 Celeba 数据集的最优结果。

Jul, 2020

通过多路推断并使用 Query-CTC 损失函数训练的并行解码序列到序列视觉 - 语言模型（NARVL），不再限制为条件分布，能够建模多个推断路径的联合分布，从而在推断时减少了线性复杂度与顺序生成的常态联合推断模式相比达到了与最先进自回归模型相当的性能提升，并且速度更快。

Mar, 2024

Visual AutoRegressive modeling (VAR) improves autoregressive image generation surpassing diffusion transformers, exhibiting power-law scaling laws and zero-shot task generalization.

Apr, 2024

本文研究了基于自回归模型与多项式扩散过程结合的粗粒度到细粒度的图像语境建模方法，该方法应用于图像修改技术，较单一自回归模型在高保真度生成和图像修改能力方面有着显著提高。同时，该模型可以在压缩的潜在空间下进行高效训练，能够对于无限制的用户提供的掩模进行图像修改，可解决自由形式图像修补和本地、文本引导的图像修改问题，无需特定的训练。

Aug, 2021

该论文介绍了一种新的自我监督视频表示学习框架 ARVideo，其中通过自回归方式预测下一个视频令牌，将自回归视频令牌按照时空间隔进行聚类，并采用随机化时空预测顺序来提高学习效果，实验证明 ARVideo 是一种有效的自我监督视频表示学习范式，具有更高的训练效率。

May, 2024