视频传播网络
本文提出了一个可学习的统一框架,用于传播视频图像的各种视觉属性,包括但不限于颜色、高动态范围(HDR)和分割信息,应用于视频处理中的三个任务:基于几个彩色关键帧进行灰度视频的上色、从低动态范围(LDR)视频和几个 HDR 帧生成 HDR 视频,以及从第一个帧传播分割掩码。我们的方法相对于现有技术方法,能够更准确和高效地完成这三个任务。
Apr, 2018
本文提出了一种基于深度学习的实例级对象分割框架,其中包括使用 ResNet-101 进行前景 / 背景分割的通用模型训练,基于该通用模型接受带标注对象的训练数据,通过迭代学习实例级模型的方法以及使用空间传播网络和滤波器对分割结果进行进一步优化,以实现不同视频中的实例级对象分割。
Sep, 2017
本文提出了一种基于深度学习的交互式视频对象分割方法,通过卷积神经网络进行交互和传播两个核心操作,并通过新的多轮训练方案,使网络能够学习如何理解用户的意图和更新不正确的估计,实现高质量和快速的分割,并在 DAVIS 挑战赛上跑得更快、更准确,实现了真实用户交互。
Apr, 2019
本文提出了一种用于盲视频时间一致性的方法,该方法旨在解决仅在每个视频帧上独立应用图像处理算法导致的时间不一致问题。我们展示了通过在 Deep Video Prior(DVP)视频上训练卷积神经网络实现时间一致性的方法,并针对挑战性的多模态不一致性问题提出了一种经过精心设计的迭代加权训练策略。我们通过 7 个计算机视觉任务的广泛定量和感知实验展示了我们的方法的有效性,并证明了我们的方法在盲视频时间一致性方面优于现有技术水平。
Jan, 2022
本篇论文提出了一种名为 QueryProp 的视频物体检测特征传播框架,通过对象级特征传播策略和自适应传播门进行关键帧选择,实现了高准确率和高速度的检测。
Jul, 2022
本文提出了一种利用未标记数据改进的视频语义分割训练模型,该模型结合了卷积架构和时空转换器循环层,并能够通过光流适应性地门控使时间上的标记信息传递,模型通过未标记帧来改善视频分割准确性,并在基于多个深度架构中进行了广泛实验。
Dec, 2016
通过视频预测方法合成新的训练样本并引入边界标签松弛技术,使模型对标注噪声和传播伪影更加鲁棒,实现在 Cityscapes 数据集上 83.5%、CamVid 上 82.9% 的 mIoUs 并在 KITTI 语义分割测试集上取得 72.8% 的 mIoU,超过 ROB 挑战 2018 年的获奖模型。
Dec, 2018
本文通过对传输提取方法的实证研究,设计了端到端的记忆网络,对核心方法、输入线索、多物体组合和训练策略等方面进行了详细的剖析研究,在 DAVIS 2017 数据集上取得了 76.1 的显著性能提升。
Jul, 2019
本研究提出了一种空间传播网络,用于学习视觉任务的亲和矩阵。通过构建行 / 列线性传播模型,可以精确构建空间变化的转换矩阵,作为精确构建全局对偶关系的亲和矩阵,从而建模图像的密集、全局对偶关系。此网络是一个通用框架,可以应用于包括图像抠图、分割和上色等多个领域。实验证明空间传播网络提供了一种生成高质量分割结果的通用、有效和高效的解决方案。
Oct, 2017