Oct, 2023

扩散模型的降噪任务路由

PDF
TL;DR通过学习多步去噪过程生成高度逼真的图像的扩散模型，自然地融合了多任务学习（MTL）的原则。本文提出了 Denoising Task Routing（DTR），它是现有扩散模型体系结构的简单附加策略，通过选择性地激活模型中的通道子集，在单个体系结构中为各个任务建立不同的信息路径。
diffusion modelsmulti-task learningdenoising task routingneural architecturesmtl optimization techniques
发现论文，激发创造
  • 扩散模型中负迁移问题的解决

    本研究旨在从多任务学习 (MTL) 的角度分析扩散训练，提出了两个观察结果和应对负迁移的方法。我们通过对噪声去除任务进行训练，借助区间聚类将大量任务分为小块，并利用 MTL 方法提高样本质量。

    Jun, 2023

  • 开关扩散变压器：用稀疏专家混合协同降噪任务

    通过引入 Switch Diffusion Transformer (Switch-DiT) 模型，建立冲突任务之间的相互关系，保留语义信息，同时通过稀疏专家集合在每个转换器块中的参数隔离，实现了改进扩散模型架构的目标。通过实验证实了该方法在提高图像质量和收敛速度方面的有效性，并进一步分析表明 Switch-DiT 模型可以根据不同的生成场景构建定制的降噪路径。

    Mar, 2024

  • DiffusionMTL: 从部分注释数据中学习多任务去噪扩散模型

    多任务去噪扩散模型可显著提高多任务预测地图的性能，在两种不同的部分标记评估设置下，胜过现有的先进方法。

    Mar, 2024

  • 基于去噪任务难度的浸润模型训练的课程学习

    通过对任务困难度、收敛行为和概率分布间相对熵的变化进行综合观察，我们发现较早的时间步骤的去噪任务存在收敛缓慢和相对熵高的挑战，因此我们提出了一个易难混合的学习方案，借鉴了课程学习的思想，在训练过程中将时间步骤或噪声水平划分为难度递减的簇，并按顺序进行模型训练，以从易到难进行去噪任务，从而改变了同时跨越所有时间步骤训练扩散模型的传统方法。我们的方法通过利用课程学习的好处，提高了性能和收敛速度，并与扩散训练技术的现有改进保持正交性。我们通过在无条件生成、类条件生成和文本转图像生成等图像生成任务上的全面实验证实了这些优势。

    Mar, 2024

  • 降噪扩散桥模型

    通过扩展扩散模型，使用扩散桥模型作为一种自然替代方法，该模型通过从数据中学习扩散桥分数并解决基于这些分数的（随机）微分方程，将一种分布映射到另一种分布，从而实现图像编辑等应用中纳入非随机噪声信息的目标。

    Sep, 2023

  • 扩散模型是多任务强化学习中有效的规划器和数据生成器

    本文提出了一种基于 Transformers 和 prompt 学习的多任务扩散模型 MTDiff，利用扩散模型生成计划和数据合成，实现了跨不同多任务数据之间的隐式知识共享，并在 Meta-World 和 Maze2D 上的 50 个任务和 8 个地图中，达到了比现有算法更好的生成计划效果。

    May, 2023

  • 并非所有步骤相等：高效生成与渐进传播模型

    提出了一种名为 Step-Adaptive Training 的创新训练策略，通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长，然后将时间步长分成不同的组，在每个组内进行微调以实现专门的去噪能力，这种方法不仅提高了模型性能，还显著降低了计算成本。

    Dec, 2023

  • D3AD：动态去噪扩散概率模型用于异常检测

    扩展前述的隐式条件方法，我们提出了一种新的框架，通过动态步长计算、无噪声缩放输入和潜在空间投影的方式增强了扩散模型的能力，有效地定位异常并在两个著名异常检测数据集上取得了最先进的性能。

    Jan, 2024

  • 使用扩散去噪模型的医学图像分割回收训练策略

    通过改进训练策略和提出一种新的回收方法，本文旨在解决现有扩散模型在图像分割中的性能问题，实验证明该方法在多个医学影像数据集上显著优于标准扩散训练，改善了性能并与非扩散型监督训练相媲美。

    Aug, 2023

  • DDMT: 去噪扩散蒙版变换模型用于多元时间序列异常检测

    基于重建模型的适应动态邻居蒙版及 Transformer 和 Denoising Diffusion Model 的相结合的新框架 DDMT，在多元时间序列异常检测方面取得了具有先进性的结果。

    Oct, 2023