Mar, 2024

开关扩散变压器：用稀疏专家混合协同降噪任务

PDF
TL;DR通过引入 Switch Diffusion Transformer (Switch-DiT) 模型，建立冲突任务之间的相互关系，保留语义信息，同时通过稀疏专家集合在每个转换器块中的参数隔离，实现了改进扩散模型架构的目标。通过实验证实了该方法在提高图像质量和收敛速度方面的有效性，并进一步分析表明 Switch-DiT 模型可以根据不同的生成场景构建定制的降噪路径。
diffusion modelsmulti-task learningswitch diffusion transformersemantic informationdenoising tasks
发现论文，激发创造
  • 扩散模型的降噪任务路由

    通过学习多步去噪过程生成高度逼真的图像的扩散模型，自然地融合了多任务学习（MTL）的原则。本文提出了 Denoising Task Routing（DTR），它是现有扩散模型体系结构的简单附加策略，通过选择性地激活模型中的通道子集，在单个体系结构中为各个任务建立不同的信息路径。

    Oct, 2023

  • DiffiT：用于图像生成的扩散视觉 Transformer

    本文研究了视觉 transformer 在基于扩散的生成学习中的有效性，并提出了一种新的模型 Diffusion Vision Transformers（DiffiT），该模型在多个条件和无条件综合任务中取得了最新的基准成绩，生成了高保真度图片。

    Dec, 2023

  • SD-DiT：释放扩散变换器中自监督辨别的力量

    通过引入自监督区分知识来增强扩散变压器 (Diffusion Transformer, DiT) 的训练效果，并在 ImageNet 数据集上进行了广泛实验，实现了训练成本和生成能力之间的竞争平衡。

    Mar, 2024

  • 一种适用于音视频生成的多功能扩散变压器

    通过使用新的训练方法和变量扩散时间步长，我们提出了一种基于转换器的音视频潜在扩散模型，可在任务不可知的情况下进行训练，并在推理过程中实现各种音视频生成任务，克服基线模型在生成条件输入上的时间和感知上的不连贯样本的局限性。

    May, 2024

  • 利用共享表示优化去噪扩散概率模型

    本研究提出一种名为 SR-DDPM 的新方法，通过利用少样本表示学习技术，解决面临有限数据的多任务图像生成挑战，以提高图像质量，并在标准图像数据集上对其进行评估，发现其在 FID 和 SSIM 指标上优于无条件和有条件的 DDPM。

    Nov, 2023

  • 掩蔽变换器应用于扩散模型快速训练

    本论文提出了一种使用掩码 Transformer 训练大型扩散模型的高效方法，实现了在不牺牲生成性能的情况下，仅使用 31％的训练时间达到与最先进的扩散变压器模型相同性能的效果。

    Jun, 2023

  • Diffscaler：增强扩散变压器的生成能力

    通过使用 DiffScaler，这篇论文提出了一种有效的扩展策略，使得单一预训练的扩散变压器模型能够快速适应不同的数据集，从而完成多样化的生成任务。

    Apr, 2024

  • 基于去噪任务难度的浸润模型训练的课程学习

    通过对任务困难度、收敛行为和概率分布间相对熵的变化进行综合观察，我们发现较早的时间步骤的去噪任务存在收敛缓慢和相对熵高的挑战，因此我们提出了一个易难混合的学习方案，借鉴了课程学习的思想，在训练过程中将时间步骤或噪声水平划分为难度递减的簇，并按顺序进行模型训练，以从易到难进行去噪任务，从而改变了同时跨越所有时间步骤训练扩散模型的传统方法。我们的方法通过利用课程学习的好处，提高了性能和收敛速度，并与扩散训练技术的现有改进保持正交性。我们通过在无条件生成、类条件生成和文本转图像生成等图像生成任务上的全面实验证实了这些优势。

    Mar, 2024

  • 并非所有步骤相等：高效生成与渐进传播模型

    提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

    Dec, 2023

  • 扩散模型中负迁移问题的解决

    本研究旨在从多任务学习 (MTL) 的角度分析扩散训练，提出了两个观察结果和应对负迁移的方法。我们通过对噪声去除任务进行训练，借助区间聚类将大量任务分为小块，并利用 MTL 方法提高样本质量。

    Jun, 2023