DreamSampler:融合扩散采样和得分蒸馏的图像编辑方法
通过修改 DDIM,我们的方法在 3D 生成中消除了过度平滑,保留了高频细节,并使生成质量接近于 2D 采样器,从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量,而无需训练额外的神经网络或多视图监督,并为扩散模型中 2D 和 3D 资源生成之间的关系提供有用的见解。
May, 2024
通过基于梯度流解释的评分蒸馏,引入斥力评分蒸馏 (RSD) 变分框架,以促进多样性和质量的平衡,对无限制和有约束的采样场景进行了设计和实验证明 RSD 在多样性和质量之间取得了卓越的平衡。
Jun, 2024
本研究针对生成扩散模型,发现攻击点在于编码器模块,并提出了 Score Distillation Sampling (SDS) 策略来保护图像并减少内存占用,同时通过最小化语义损失生成更自然的扰动,希望能够为恶意扩散模仿的防御做出贡献。
Oct, 2023
我们提出了一种结合潜在空间扩散模型和数据集精炼的潜在数据集精炼方法(LD3M),旨在解决机器学习面临的大型数据集和高分辨率图像生成的挑战,并在多个 ImageNet 子集和高分辨率图像上实验表明,LD3M 在 1 个和 10 个图像每类的情况下,相比最先进的精炼技术,提高了最高 4.8 个百分点和 4.2 个百分点的性能。
Mar, 2024
本研究提出了一种名为 DreamPortrait 的算法,它可以在一个前向传递中生成文本引导下的 3D 感知画像,通过 Score Distillation Sampling 和 GAN 损失正则化方法来优化分布,进一步设计了 3D 感知门控交叉关注机制,生成高效且具有鲁棒的多视图语义一致性的人像。
Jun, 2023
本研究提出了一种算法框架,用于在一般非线性逆问题中将基于分数的扩散模型作为表达性数据先验。通过引入扩散插入和播放方法 (DPnP),交替调用两个采样器,一个仅基于前向模型的似然函数的邻近一致性采样器,另一个仅基于图像先验的分数函数的降噪扩散采样器。首次建立了 DPnP 在解决线性和非线性图像重建任务中的渐近性和非渐近性性能保证,并通过数值实验证明了其潜力。
Mar, 2024
Score Distillation Sampling 方法使用图像扩散模型解决优化问题,我们分析了其损失函数并提出有效修复方案,通过定量和定性实验验证了新的损失公式的多样性和有效性。
Jan, 2024
通过最优成本传输路径的观点,我们提出了一种新的方法,通过校准源分布的文本条件,可以在许多领域中产生高质量的生成和翻译结果,并击败专用方法的性能。
Jun, 2024
通过实施分布匹配蒸馏 (Distribution Matching Distillation) 以及多步扩散输出的大规模结构简单回归损失相匹配的方法,我们将扩散模型转化为一步图像生成器,以显著降低对图像质量的影响,使其在 ImageNet 64x64 上达到 2.62 FID,在无监督 COCO-30k 上达到 11.49 FID,并可通过 FP16 推理在现代硬件上以 20 FPS 生成图像。
Nov, 2023
利用预训练扩散模型的一种新型学习方法,直接在对抗性的方式下对多视图渲染与扩散先验之间的分布差异进行建模,从而实现了高保真度和逼真度的三维内容生成,条件为单张图像和提示。通过利用生成对抗网络(GANs)的潜在空间和表达力丰富的扩散模型先验,我们的方法促进了各种三维应用,包括单视图重建、高多样性生成和开放域中的连续三维插值。实验结果表明,与以往的工作相比,我们的流程在生成质量和多样性方面表现出更强的优势。
Dec, 2023