每一帧都很重要:视频分割和光流联合学习
本文提出了一种同时估计光流和时间连续的语义分割的方法,将这两个问题领域紧密相连并相互利用,从而使场景理解的重要性和需求与自主系统的积极发展不断增加,并对 KITTI 基准测试中的性能进行了演示。
Jul, 2016
本文提出了一种端到端可训练网络 SegFlow,用于同时预测视频中逐像素对象分割和光流,并通过统一框架双向传播对象分割和光流的有用信息。实验证明,引入光流可提高分割性能,同时改善了最先进算法的结果。
Sep, 2017
本研究提出了一种基于深度学习的深度估计方法,通过将光流信息与深度估计相结合,在预测不同运动情况下的深度时减小像素包裹误差和光学向量,利用自我监督深度估计方法对不同运动区域进行独立估计并组合为完整的深度,能够比 KITTI Depth 数据集上的现有深度估计器表现更好,同时在 KITTI Flow 2015 数据集上也达到了竞争性的光流性能。
Sep, 2023
本文提出了一种基于时空动态模型的无监督光流估计方法,使用视图合成的自我监督学习来提供可靠的运动先验信息,利用邻帧的运动先验来改善光流估计中遮挡区域的监督,采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式,实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。
Apr, 2023
利用静态语义场景分割技术提高光流方法中对于不同物体运动的预测准确度,并通过引入局部化分层模型来解决在复杂场景中估算光流的问题,达到了 KITTI-2015 流量基准测试中最低误差和更好的分割效果及流畅度。
Mar, 2016
本研究提出了一种基于任务的流程(TOFlow),该方法采用自我监督的方式以任务特定的方式学习运动表示,并在视频插值、视频去噪 / 去块以及视频超分辨率等三个视频处理任务上超越了传统的光流方法。
Nov, 2017
本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架,该框架利用单目深度估计网络构建可能的点云,通过虚拟相机运动合成新视角和对应的光流场,实现对现有数据的有效利用,并提高了视觉光流网络在真实场景中的泛化和特化性能。
Apr, 2021
无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力,本研究提出了一种新的损失函数,利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化,实现了无标注语义分割的优于现有技术的性能。
Jul, 2023
本文提出了一种端到端可训练的深度学习模型,利用时间信息来利用易于获取的未标记数据,从而解决了视频分割中标签稀缺的问题。实验结果表明,该模型能够显著优于基线方法和逐帧图像分割。
Aug, 2019