将确定性融入随机性:重新思考用于深度图像抠图的组合样式
本研究旨在提出一种上下文感知的自然图像抠图方法,通过使用两个编码器网络来提取本地特征和全局上下文信息,以同时估计前景和 alpha 遮罩。
Sep, 2019
本文提出了一个名为MSIA-matte的多尺度信息组装框架,旨在从单个RGB图像中提取高质量的alpha mattes。通过提取高级语义作为主题内容和保留初始CNN特征来编码不同级别的前景表达,然后通过设计良好的信息组装策略将它们组合在一起。实验表明,所提出的方法可以达到最先进的性能水平,与大多数现有的抠除网络相比,取得了很好的效果。
Jan, 2021
本文提出了一种交互式的框架,称为smart scribbles,以指导用户在输入图像上绘制少量的scribbles,从而生成高质量的alpha mattes,它可以在没有大规模matting数据集的情况下进行优化,并在实际情况下显示出更多的普适性。
Mar, 2021
本文提出了一种新的任务——引用图像抠图(RIM),旨在从给定的自然语言描述中提取最匹配的特定对象的细致Alpha通道,从而实现更自然和简单的图像抠图指令。我们设计了一个大规模具有挑战性的数据集RefMatte,并提出了一种新的基线方法CLIPMat,包括上下文嵌入提示,文本驱动语义弹出和多级详细信息提取。在RefMatte数据集上进行的实验验证了CLIPMat方法在关键字和表达式设置方面的优越性。
Jun, 2022
本论文综述了深度学习时代中图像抠图的最新进展及其在自动和人工辅助下的任务和网络结构,评估了代表性抠图方法的性能,并讨论了应用和挑战,同时维护了一个公共资源库来跟踪深度图像抠图的快速发展。
Apr, 2023
通过使用编码解码网络和transformer网络,本文介绍了一个名为AdaM的自适应合成框架,用于动态视频中的前景和背景分割及alpha通道遮罩;在多数据集测试中,AdaM显示出较高的适应性和合成实况,同时取得新的最佳通用性。
Apr, 2023
图像合成的目标是将前景对象与背景图像合并以获取逼真的合成图像。最近,基于大型预训练扩散模型的生成式合成方法由于其前所未有的图像生成能力而得到发展。然而,生成的结果往往会丢失前景细节并出现明显的伪影。在本文中,我们提出了一种名为DreamCom的尴尬简单方法,灵感来自DreamBooth。具体来说,给定一个主题的几个参考图像,我们通过微调文本导向修复扩散模型来将该主题与特殊标记相关联,并在指定的边界框内修复该主题。我们还构建了一个专门为此任务设计的新数据集MureCom。
Sep, 2023
本研究针对深度图像抠图中的标签困难问题,提出使用粗略标注(如前景/背景的修整图)作为指导。通过引入方向距离一致性损失(DDC损失),促进已知区域的语义信息与假设抠图规则的合作,从而有效推断过渡区域的alpha值。实验结果表明,该方法在使用粗略标注的情况下,训练出的模型在性能上与细标签监督的基线相当,甚至在某些情况下超越了人类标注的真实值。
Aug, 2024