图像合成中的计算权衡：扩散，掩码令牌和下一个令牌预测

May, 2024

图像合成中的计算权衡：扩散，掩码令牌和下一个令牌预测

Computational Tradeoffs in Image Synthesis: Diffusion, Masked-Token, and Next-Token Prediction

Maciej Kilian, Varun Japan, Luke Zettlemoyer

TL;DR最近的图像合成方法主要使用 Transformer 网络架构，本研究通过计算预算的可扩展性对这些方法进行比较，发现基于标记预测的方法在提示后续上明显优于扩散，但在图像质量上，扩散表现与扩大趋势相匹配。论文还比较了每种方法的推理计算效率，发现基于标记预测的方法是最高效的。根据研究发现，建议在追随提示或吞吐量更重要时使用标记预测，而在追求图像质量和低延迟的应用场景中使用扩散。

Abstract

Nearly every recent image synthesis approach, including diffusion, masked-token prediction, and next-token prediction, uses a Transformer

image synthesis transformer network architecture compute budget token prediction image quality

发现论文，激发创造

可扩展的 Transformer 扩散模型

本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

Dec, 2022

利用离散吸收扩散实现并行令牌预测：从向量量化编码中快速生成高分辨率图像的 Transformer 解放

本文提出了一种新的离散扩散概率模型优先级，通过使用无约束的 Transformer 架构作为骨干结构实现了向量量化标记的并行预测，从而促进了图像生成的全局一致性和多样性。

Nov, 2021

掩蔽变换器应用于扩散模型快速训练

本论文提出了一种使用掩码 Transformer 训练大型扩散模型的高效方法，实现了在不牺牲生成性能的情况下，仅使用 31％的训练时间达到与最先进的扩散变压器模型相同性能的效果。

Jun, 2023

MaskDiffusion：使用条件掩蔽提升文本与图像的一致性

优化了扩散模型中文本和图像的一致性，通过引入自适应掩码调整文本令牌对图像特征的贡献，提高了合成图像的质量。

Sep, 2023

TokenCompose: 基于令牌级监督的语义扩散

TokenCompose 是一种用于文本到图像生成的潜在扩散模型，通过在微调阶段引入图像内容和对象分割映射之间的标记一致性项，改善多类别实例组合，并提高生成图像的逼真度。

Dec, 2023

通过掩码微调来弥合标记剪枝和完全预训练之间的差距

采用蒙版微调为动态视觉转换器的静态预训练基础模型提供更好的初始化，以提高准确性并增强其对遮挡的鲁棒性和对信息丢失的抵抗能力。

Oct, 2023

一幅图像对于重建与生成而言价值 32 个令牌

这篇研究论文介绍了一种基于 Transformer 的一维令牌化方法（TiTok），其将图像令牌化为一维潜在序列，通过提供更紧凑的潜在表示形式，实现了比传统技术更高效和更有效的图像合成。

Jun, 2024

M2T：双重掩码变换加速解码

本文演示了在神经图像压缩中应用面向遮蔽令牌预测训练的双向变压器以实现最先进的结果。通过使用预定义的、确定性调度，本文证明这些模型在图像压缩方面表现良好。同时在训练过程中使用面向遮蔽的关注力以及在推断过程中使用激活缓存，能够使我们的模型显著地加速（推理速度提高了 4 倍），同时只需轻微提高比特率。

Apr, 2023

DiffSpeaker：基于扩散变换的语音驱动 3D 人脸动画

使用 DiffSpeaker 网络，该网络具备新颖的有偏条件注意力模块，用于聚焦任务相关和扩散相关的条件，从而解决传统的 Diffusion 模型和 Transformer 架构在语音驱动的 3D 面部动画生成中性能提升有限的问题。我们的模型在现有基准测试中不仅达到了最先进的性能，而且由于能够并行生成面部动作，具备快速推理的速度。

Feb, 2024

改善基于扩散的图像合成

Diffusion models for image synthesis are improved using ConPreDiff, a method that incorporates context prediction, achieving superior results in unconditional image generation, text-to-image generation, and image inpainting.

Jan, 2024