MMMay, 2021

基于注意力引导的时间连续视频对象抠图

PDF
TL;DR该论文提出了一种基于深度学习的新型视频对象抠图方法，能够实现时间上连贯的抠图效果，并使用注意力机制的时间聚合模块在特征空间中计算相邻像素沿时间轴的时序相关性，同时利用带有稀疏用户注释关键帧的先进视频对象分割网络进行细调以解决抠图问题。实验结果表明，该方法能够生成适用于各种视频的高质量阿尔法抠图。
deep learningvideo object mattingtemporally coherentattention-based temporal aggregationtrimap generation
发现论文，激发创造
  • 通过时空对齐和聚合的深度视频抠图

    本文介绍了一个深度学习的视频抠图框架，使用了一种新颖和有效的时空特征聚合模块 (ST-FAM)，同时引入了一种轻量级的交互式 trimap 传播网络，配合一个大规模的视频抠图数据集进行评估，实验结果表明，该框架在具有多帧时间信息的视频中，在定量和定性实验中均显著优于传统视频抠图和应用于视频的深度图像抠图方法。

    Apr, 2021

  • 一步式三分图视频抠像

    本文提出了一种 One-Trimap 视频抠图网络 (OTVM)，该网络能够在只使用一个用户注释的 trimap 的情况下，鲁棒地执行视频抠图，并通过联合建模 trimap 传播和 alpha 预测来实现。其中，alpha 预测与 trimap 传播网络以及 alpha-trimap 细化模块的结合，极大地提高了模型的时序稳定性，而采用的端到端训练策略，则能充分发挥联合模型的优势，创造出了在两个最新视频抠图基准上的最佳表现。

    Jul, 2022

  • 带有时间指导的稳健高分辨率视频抠像

    提出了一种实时、高分辨率、具有鲁棒性的人体视频抠像方法，该方法采用循环神经网络架构来利用视频的时间信息，提高了时间相干性和抠像质量，并采用了训练策略来增强网络的鲁棒性，不需要任何辅助输入，可广泛应用于现有人体抠像应用。

    Aug, 2021

  • 动态视频的自适应人像抠图

    通过使用编码解码网络和 transformer 网络，本文介绍了一个名为 AdaM 的自适应合成框架，用于动态视频中的前景和背景分割及 alpha 通道遮罩；在多数据集测试中，AdaM 显示出较高的适应性和合成实况，同时取得新的最佳通用性。

    Apr, 2023

  • 分层与渐进式图像抠像

    本文提出了一种层级与渐进式的注重力抠图网络（HAttMatting++）以更好地从单个 RGB 图像预测前景的不透明度，同时介绍了一个具有挑战性的图像抠图数据集并采用多种损失函数引导网络进行训练，此网络可以捕捉复杂的前景结构并实现单个 RGB 图像作为输入的最佳性能。

    Oct, 2022

  • 基于引导上下文注意力的自然图像抠图

    使用指导上下文关注模块的全新的端到端方法，以解决通过利用周围信息来估计本地不透明度的问题，并利用深度神经网络学习的丰富特征，成功地优于自然图像抠图中最先进的方法。

    Jan, 2020

  • 通过联合重新识别和关注力感知掩模传播实现视频对象分割

    本研究提出了一种使用深度循环网络实现同时分割和追踪视频中物体的方法，结合了时间传播和重新识别模块，以及基于注意力的循环蒙版传播方法，取得了在 DAVIS 2017 基准测试（test-dev 集合）上最高的分割和边缘测量平均值（68.2），优于同一分区上获胜解决方案的全球平均值（66.1）

    Mar, 2018

  • 通过帧间关注力实现物体传播的时间稳定视频实例分割

    该论文提出了一种通过利用邻帧预测的空间信息并结合时间域中的帧间注意力机制来提高视频实体分割质量的方法，其在 YouTube-VIS 数据集上取得 36.0% 的 mAP，且该方法是完全在线的，不需要使用未来的视频帧。

    Nov, 2021

  • 通用图像抠图的双重上下文聚合

    提出了一种名为 Dual-Context Aggregation Matting (DCAM) 的简单且通用的抠图框架，它能够在任意引导或无引导的情况下实现稳健的图像抠图。通过全局轮廓分割和局部边界细化，DCAM 对各种类型的引导和对象都表现出较强的鲁棒性。在五个抠图数据集上的实验结果表明，所提出的 DCAM 在自动抠图和交互式抠图任务中优于现有的抠图方法，突显了 DCAM 的强大普适性和高性能。

    Feb, 2024

  • 零样本视频物体分割的运动关注转换

    本文介绍了一种新型的动态关注转换网络（MATNet），应用于零样本视频物体分割，它提供了一种利用运动信息加强时空物体表示的新方法。与典型的双流体系结构相比，该模型设计了一种称为动态注意转换（MAT）的不对称注意块，并提出了桥接网络来获得用于多级编码器特征的压缩、具有区分性和尺度敏感的表示，最终通过解码器实现物体的分割。通过对三个具有挑战性的公共基准数据集（DAVIS-16、FBMS 和 Youtube-Objects）进行了广泛的实验，发现该模型在性能上击败了现有技术。

    Mar, 2020