本文提出了一种名为 N'UWA 的统一的多模态预训练模型，可以生成新的或调节现有的视觉数据（即图像和视频）以进行各种视觉合成任务。N'UWA 在 8 个下游任务上的表现超过了强基准，并且在文本到图像生成，文本到视频生成，视频预测等任务上实现了最先进的结果。此外，它还表现出惊人的零成本能力，用于文本引导的图像和视频操作任务。

Nov, 2021

我们提出了一种新颖的框架 InfinityGAN，用于与任意大小的图像生成相关的任务，它在资源和真实性方面具有优越性能，并可应用于空间风格融合、多模式外油漆和图像中间。

Apr, 2021

提出了 NUWA-XL—— 一种采用 “粗略到精细” 生成过程的视频生成模型，其中采用全局扩散模型生成整个时间范围内的关键帧，然后采用本地扩散模型递归地填充附近帧之间的内容，可以直接训练长视频（3376 帧），降低了训练和推理之间的差距，并且能够并行生成所有的片段。在 FlintstonesHD 数据集上的实验证明了该模型可以以 94.26％的硬件设置，将 1024 帧的推理时间从 7.55 分钟降低到 26 秒，并能够生成具有全局和局部一致性的高质量长视频。

Mar, 2023

360 度图像合成的研究中提出了自回归全方位感知生成网络（AOG-Net），通过在不完整的 360 度图像中使用不完全视野和文本指导逐步完成生成，以获取细粒度且与文本一致的模式，实现了更大的编辑灵活性。实验表明，该方法在室内和室外环境下的两个常用数据集上取得了最先进的性能。

Sep, 2023

Visual AutoRegressive modeling (VAR) improves autoregressive image generation surpassing diffusion transformers, exhibiting power-law scaling laws and zero-shot task generalization.

Apr, 2024

本文提出了一种自监督学习方法，用于从旧视频剪辑中合成新视频剪辑，并介绍了多个新的关键元素，以改善其空间分辨率和逼真程度。通过对时间连续性的上下文信息和对精细控制的辅助信息进行综合利用，该方法的预测模型在自编码器的潜在空间和图像空间中进行双自回归，以提高其输出的逼真程度，并通过可学习的光流模块来实现时空一致性。同时，插入于编码器和潜在空间预测模块之间的量化器和插入于预测模块和解码器之间的其逆操作提供了额外的灵活性。实验结果表明，该方法在多个任务和标准基准测试上的定性和定量结果都非常好。

Jul, 2021

本文提出了一个基于深度生成模型的图像生成网络，结合卷积神经网络的归纳偏置和自回归的序列建模，通过多重领域特征的变量规范，设计了分布估计的 Gumbel 采样策略来提高图像的生成质量并克服于训练和推理过程中所产生的偏差和误差，取得了当前同类算法中最优秀的生成表现。

Jul, 2022

本文提出了一种名为 InfiniCity 的新颖框架，该框架利用 2D 和 3D 数据分为三个可行的模块，可以构建和渲染出具有任意规模和可穿行性的 3D 城市环境，并允许用户进行灵活交互式编辑。

Jan, 2023

本研究提出了一种基于 WaveNet 风格自编码器的新型音频模型，进一步介绍了一个规模较大质量较高的音乐数据集 NSynth。使用 NSynth 数据集，我们证明 WaveNet 自编码器比使用频谱自编码器基线的性能有显著提高，同时演示了该模型学习嵌入的能力，实现了在音色上的差值并创造了新类型的逼真和有表现力的声音。

Apr, 2017

本研究提出了一种新的音频合成模型 Chunked Autoregressive GAN (CARGAN)，它能够在保持较快的生成速度的同时减少漏洞，并且利用自回归的方法来学习瞬时频率和相位之间的关系，使其在有条件的生成音频方面有更好的表现，同时适合于实时或交互式应用。

Oct, 2021