TOM-Net: 从单张图片学习透明物体抠图
这篇文章提出了一种基于 Transformer 的网络 ——TransMatting,能够模拟具有大感受野的透明对象。文章重新设计了 trimap,使用三个可学习的三元标记,以引入高级语义特征到自注意机制中。作者还使用一个小型卷积网络来利用全局特征和非背景掩模,指导从编码器到解码器的多尺度特征传播,以维护透明对象的纹理结构。此外,作者还创建了一个高分辨率的透明对象抠图数据集。实验表明,与当前最先进的方法相比,作者提出的方法具有显著的优越性。
Aug, 2022
通过神经网络学习适当估计透明或镜面表面的深度,无需任何真实标注,通过图像修复和处理得到可靠的伪标签,用于微调现有的单目或双目网络以学习处理透明或镜面表面,实验证实了我们提出的简单方法带来的显著改进。
Jul, 2023
该论文提出了一种低成本的改进方法,以预测前景和背景的颜色,进而实现图像抠图和透明区域补色,并通过多种方法对深度学习网络进行了训练,实现在 Adobe Composition-1k 数据集和 alphamatting.com 的在线评估中达到了最佳性能。
Mar, 2020
该论文提出了一种基于深度学习的新型视频对象抠图方法,能够实现时间上连贯的抠图效果,并使用注意力机制的时间聚合模块在特征空间中计算相邻像素沿时间轴的时序相关性,同时利用带有稀疏用户注释关键帧的先进视频对象分割网络进行细调以解决抠图问题。实验结果表明,该方法能够生成适用于各种视频的高质量阿尔法抠图。
May, 2021
TransNet 是一种使用局部深度补全和表面法向量估计技术来实现透明物体类别级位姿估计的两阶段管道,能够比同类别级位姿估计方法更好的提高位姿估计的准确性。
Aug, 2022
本文提出一种基于深度学习的图像抠图算法,使用深度卷积编码器 - 解码器网络和卷积网络相结合,提高了前景和背景颜色相似或纹理复杂的图像抠图效果,并生成了一个大规模的图像抠图数据集,实验结果表明该算法优于之前的方法。
Mar, 2017
本论文利用基于深度学习的方法,通过估计光流场并使用卷积神经网络,从短序列图像中去除窗户反射、栅栏遮挡和雨滴等干扰因素。该方法能够处理一些错误和脆弱假设,并在多个具有挑战性的场景中表现出不错的效果。
Apr, 2020
通过使用局部深度完成和表面法线估计,本文提出了一种名为 TransNet 的两阶段管道,用于估计透明物体的类别级姿势,该方法在大规模透明物体数据集上进行了评估,并与现有的类别级姿势估计方法进行了比较。比较结果表明,TransNet 在透明物体的姿势估计准确度方面取得了改进,并且我们利用 TransNet 构建了一个用于机器人抓取、放置和倒液的自主透明物体操作系统。
Jul, 2023
利用仅需数张自然图像和已知任意环境映射,基于物理原理的网络,可恢复透明物体的 3D 形状,包括复杂折射和反射,其成功复原了高质量透明物体的 3D 几何形状,最少仅需五到十二张图片。
Apr, 2020
本文介绍了一种新型的动态关注转换网络(MATNet),应用于零样本视频物体分割,它提供了一种利用运动信息加强时空物体表示的新方法。与典型的双流体系结构相比,该模型设计了一种称为动态注意转换(MAT)的不对称注意块,并提出了桥接网络来获得用于多级编码器特征的压缩、具有区分性和尺度敏感的表示,最终通过解码器实现物体的分割。通过对三个具有挑战性的公共基准数据集(DAVIS-16、FBMS 和 Youtube-Objects)进行了广泛的实验,发现该模型在性能上击败了现有技术。
Mar, 2020