少样本学习者参数化的扩散时间步
我们提出了一种统一的框架来在扩散模型中实现有效的图像生成,其中搜索最佳时间步骤序列和压缩模型架构,无需进一步的训练。通过引入两阶段进化算法和使用生成和真实样本之间的 FID 评分来加速搜索过程,该方法在仅使用几个时间步骤时实现了出色的性能。
Sep, 2023
通过将极大化模型的学习能力赋予于少样本学习,即仅通过少量样本快速学习,是人工智能的一个核心挑战。本文提出了一种基于扩散模型的元学习算法 MetaDiff,通过将渐变下降优化器建模为扩散模型,并以去噪的方式对模型权重的优化过程进行建模,从而实现了高效的训练,大大减轻了内部路径的内存负担和梯度消失的风险,在少样本学习任务中优于现有的基于渐变的元学习算法家族。
Jul, 2023
提出了一种名为 Step-Adaptive Training 的创新训练策略,通过在初始阶段训练一个基础去噪模型来涵盖所有时间步长,然后将时间步长分成不同的组,在每个组内进行微调以实现专门的去噪能力,这种方法不仅提高了模型性能,还显著降低了计算成本。
Dec, 2023
本文研究了扩散模型中存在的曝光偏差,并提出了一种名为 Time-Shift Sampler 的推理方法,该方法可以在不重新训练模型的情况下缓解曝光偏差,并通过实验结果证明了其有效性。
May, 2023
该论文提出了一种名为 DSD 的创新方法,它利用预训练的 text-to-image 扩散模型进行少样本判别性学习,并使用交叉注意力分数捕捉视觉和文本信息之间的相互影响,并通过基于注意力的提示学习对模型进行微调,实现图文匹配,并在几个基准数据集上展示利用预训练扩散模型在少样本图文匹配上具有非凡的结果。
May, 2023
通过对扩散时间步骤进行区分处理,提出了 Diffusion Time-step Curriculum one-image-to-3D(DTC123)的一种单图到三维管道,以实现 score distillation sampling(SDS)方法在重建三维物体时的更好效果。
Apr, 2024
我们提出了一种时间步齐器方法,用于改善扩散模型的图像生成质量和推理速度,通过在每个去噪步骤中替换原始参数化,将网络调整到准确的时间步骤上,从而提高各种最先进加速方法的性能。
Oct, 2023
扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果,提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果,提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。
May, 2024