一项关于使用自监督方法改进泛化性能、处理图形对称注意力及展示改进结果的研究，使用 Symmetry-Invariant Transformer (SiT) 扩展 Vision Transformer (ViT) 的方法在 MiniGrid、Procgen RL 基准测试上展示了优于 ViTs 的泛化能力，并在 Atari 100k 和 CIFAR10 上体现了更高的样本效率。

Jun, 2024

本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

Dec, 2022

我们提出了 TerDiT，一种针对具有 transformer 的三态扩散模型的量化感知训练（QAT）和有效部署方案，致力于探索大规模 DiT 模型的高效部署策略，展示了从头开始训练极低比特扩散变压器模型的可行性，同时保持与全精度模型相比有竞争力的图像生成能力。

May, 2024

提出了一种简单而通用的图像到图像翻译框架，利用归一化层和新提出的特征变换，实现了多模态图像合成并具备任意风格控制的能力，进行了与多个先进方法的比较，证明了其在感知质量和定量评估方面的有效性。

Jul, 2020

本文研究了视觉 transformer 在基于扩散的生成学习中的有效性，并提出了一种新的模型 Diffusion Vision Transformers（DiffiT），该模型在多个条件和无条件综合任务中取得了最新的基准成绩，生成了高保真度图片。

Dec, 2023

本研究提出了一种名为 SDIT 的可扩展和多样化图像翻译方法，通过将多样性和可扩展性合并到一个生成器中，利用从正态分布中随机抽样的潜在变量来确定多样性，通过在网络中设置领域属性来获得可扩展性，并利用注意机制使生成器能够专注于领域特定的属性。该方法已在脸部映射和其他数据集上得到了验证和实际应用。

Aug, 2019

我们研究了在低维线性潜空间假设下， extbf {DiT} 的统计和计算极限。根据渐进的潜空间维度，我们推导了 extbf {DiT} 潜空间网络的逼近误差界，并给出了相应的样本复杂度界限。同时，我们表明从估计的得分函数生成的数据分布收敛于原始数据分布的某个临近区域。我们还对潜空间 extbf {DiT} 的前向推断和反向计算进行了研究，证明了在强指数时间假设下，前向推断可以在接近线性时间内实现效率提升，而通过利用 extbf {DiT} 训练中的梯度计算中的低秩结构，反向计算可以实现几乎线性时间的训练加速。在低维空间假设下，我们发现收敛速度和计算效率都受到子空间维度的支配，表明潜空间 extbf {DiT} 有潜力克服初始数据的高维挑战。

Jul, 2024

提出了一种数据相关的令牌路由策略用于图像令牌的动态视觉转换器 (DiT)，以适应对象尺度和视觉识别的变化，并通过选择多路径特征传播来精心调整图像表达的对象尺度和视觉识别的影响，从而实现更好的性能和良好的复杂度 / 准确度平衡。

Aug, 2023

通过引入自监督区分知识来增强扩散变压器 (Diffusion Transformer, DiT) 的训练效果，并在 ImageNet 数据集上进行了广泛实验，实现了训练成本和生成能力之间的竞争平衡。

Mar, 2024

通过沙漏扩散变压器（HDiT），我们提出了一种图像生成模型，在像素空间中支持直接高分辨率（例如 $1024 imes 1024$）训练，具有与像素数量线性扩展的特点。利用已能够扩展到数十亿参数的 Transformer 架构，它在卷积 U-Net 的效率和 Transformer 的可扩展性之间建立了桥梁。HDiT 成功进行训练，无需典型的高分辨率训练技术，如多尺度架构、潜变量自编码器或自条件方法。我们证明 HDiT 在 ImageNet $256^2$ 上与现有模型竞争力相当，并在 FFHQ-$1024^2$ 上创造了扩散模型的最新技术水平。

Jan, 2024