一步式三分图视频抠像
该论文提出了一种基于深度学习的新型视频对象抠图方法,能够实现时间上连贯的抠图效果,并使用注意力机制的时间聚合模块在特征空间中计算相邻像素沿时间轴的时序相关性,同时利用带有稀疏用户注释关键帧的先进视频对象分割网络进行细调以解决抠图问题。实验结果表明,该方法能够生成适用于各种视频的高质量阿尔法抠图。
May, 2021
本文介绍了一个深度学习的视频抠图框架,使用了一种新颖和有效的时空特征聚合模块 (ST-FAM),同时引入了一种轻量级的交互式 trimap 传播网络,配合一个大规模的视频抠图数据集进行评估,实验结果表明,该框架在具有多帧时间信息的视频中,在定量和定性实验中均显著优于传统视频抠图和应用于视频的深度图像抠图方法。
Apr, 2021
通过使用编码解码网络和 transformer 网络,本文介绍了一个名为 AdaM 的自适应合成框架,用于动态视频中的前景和背景分割及 alpha 通道遮罩;在多数据集测试中,AdaM 显示出较高的适应性和合成实况,同时取得新的最佳通用性。
Apr, 2023
视频实例抠图领域研究近期的课题主要集中在视频序列中每个实例的阿尔法抠图的精准性和时间一致性,提出了 Mask Sequence Guided Video Instance Matting(MSG-VIM)作为视频实例抠图的基线模型,通过混合掩膜增强方法和时间特征引导提升了抠图预测的准确性和一致性,新建了包含多个人实例的 VIM50 数据集用于评估模型性能,采用 Video Instance-aware Matting Quality(VIMQ)作为评价指标,MSG-VIM 在 VIM50 数据集上表现出色并大幅超越现有方法。
Nov, 2023
本文提出了一种基于深度学习的图像抠图方法,不需要传统的 trimap,只需少量用户交互即可消除模糊性,同时引入了不确定性估计模块和本地细化模块,能够精确地预测需要进一步调整的区域,取得了与传统抠图方法相当的效果。
Dec, 2020
深度卷积神经网络在视频抠像中取得了很好的性能。该研究介绍了一种基于卷积神经网络的模块来分别优化抠像目标主体和边缘,以及一种实时、无参考标定的视频抠像方法,通过逐步优化抠像目标主体和边缘实现了显著的边缘优化,同时提出一种能够强化网络在抠像目标边缘上的损失函数。实验结果表明本方法在 Distinctions-646(D646)和 VideoMatte240K(VM)数据集上的性能优于现有的无参考标定抠像方法,尤其是在边缘优化方面。
Feb, 2024
本文提出了一个名为 AdaMatting 的新的端到端抠图框架,该框架将传统的抠图过程分解为两个子任务:Trimap 适应和 Alpha 估计,通过单个深度卷积神经网络 (CNN) 分别处理这两个子任务,实现了更好的性能表现。
Sep, 2019
在本文中,我们定义显著对象为前景,并提出了一个名为 MFC-Net 的多特征融合的粗到精的网络,它完全整合了多个特征以获得准确完整的 alpha 遮罩。此外,我们引入图像协调方法来填补合成图像和真实图像之间的差距。最重要的是,我们建立了迄今为止最大的通用抠图数据集(Real-19k)。实验证明,我们的方法在合成图像和真实世界图像上都显著有效,并且在真实世界数据集上的性能远远优于现有的无抠图方法。我们的代码和数据将很快发布。
May, 2024
提出了一种针对视觉效果制作的、基于深度图先验的、免训练高质量的神经抠图方法,利用深度神经网络的表示来插值不完整的约束,处理视频时具有时间上的一致性且相当简单和有效。
Jun, 2023
本文提出了一种名为 PP-Matting 的无 TriMap 自然图像抠图架构,可以实现高精度的自然图像抠图,利用高清分支和语义上下文分支防止前景背景歧义和局部不确定性,与现有方法相比表现优异。
Apr, 2022