自然图像抠图的扩散
本文介绍了一种名为 DiffusionMat 的新型图像抠像框架,它采用扩散模型从粗糙到精细的透明度图过渡。通过将噪声添加到阈值图并使用预训练的扩散模型迭代去噪,我们的方法将图像抠像视为一种顺序细化学习过程,并通过校正模块确保最终输出与输入图像的结构一致。此外,我们引入了 Alpha 可靠性传播技术,该技术通过选择性增强自信透明度信息的阈值区域来简化校正任务。通过使用专门针对透明度图边缘准确性和不透明与透明区域一致性的损失函数训练校正模块,我们评估了我们的模型,并结果表明 DiffusionMat 始终优于现有方法。
Nov, 2023
通过引入 DiffuMatting 算法和基于绿屏的颜色控制,实现了高准确度的标注生成、社区友好的艺术设计和可控的生成,从而使得 DiffuMatting 成为一种综合导向的绿屏抠图工具。
Mar, 2024
本文提出一种基于深度学习的图像抠图算法,使用深度卷积编码器 - 解码器网络和卷积网络相结合,提高了前景和背景颜色相似或纹理复杂的图像抠图效果,并生成了一个大规模的图像抠图数据集,实验结果表明该算法优于之前的方法。
Mar, 2017
本文介绍了一种建立在现有扩散模型之上的算法 ——Diffusers 混合器,它能够在不同区域之间协调多个扩散过程来控制图像组合,从而提供更细致的组合控制方式。
Feb, 2023
提出了 DiffMatch 框架,使用基于扩散的条件去噪模型显式地建模了两个术语:数据项和先验项,以解决匹配模糊性问题,实验证明其优于现有技术。
May, 2023
使用内在图像扩散,我们提出了一种室内场景外观分解的生成模型。通过给定单个输入视图,我们对多个可能的材质解释进行采样,这些解释由反照率、粗糙度和金属性地图表示。通过引入概率形式来处理外观分解的挑战,我们利用了最近在大规模真实世界图像上训练的强大学习预测器,将其应用于材料估计,并在 PSNR 上超过了现有方法 1.5dB,在反照率预测上 FID 分数提高了 45%。通过在合成和真实世界数据集上进行实验证明了我们方法的有效性。
Dec, 2023
引入了 Matryoshka Diffusion Models(MDM),这是一种用于高分辨率图像和视频合成的端到端框架。通过在多个分辨率上联合去噪输入,使用嵌套 UNet 架构和从低到高分辨率的渐进式训练安排,实现了高分辨率生成的显著优化改进。在各种基准测试中展示了该方法的有效性,包括类别条件图像生成、高分辨率文本到图像以及文本到视频应用。在仅包含 1200 万张图像的 CC12M 数据集上,我们可以训练一个单一像素空间模型,分辨率达到 1024x1024 像素,并展现了强大的零样本泛化能力。
Oct, 2023
使用预训练的冻结稳定扩散的 MaskDiffusion 方法实现了开放词汇的语义分割,在没有额外训练或注释的情况下取得了较其他可比的无监督分割方法显著的定性和定量改善。
Mar, 2024
本文提出了一个名为 AdaMatting 的新的端到端抠图框架,该框架将传统的抠图过程分解为两个子任务:Trimap 适应和 Alpha 估计,通过单个深度卷积神经网络 (CNN) 分别处理这两个子任务,实现了更好的性能表现。
Sep, 2019