SegFlow: 视频目标分割和光流联合学习
提出一种新的框架以实现视频语义分割和光流估计的联合训练,通过联合训练利用视频中已标记和未标记的帧,使视频语义分割和光流估计更加稳健并在相应任务中表现优异。
Nov, 2019
本文提出了一种同时估计光流和时间连续的语义分割的方法,将这两个问题领域紧密相连并相互利用,从而使场景理解的重要性和需求与自主系统的积极发展不断增加,并对 KITTI 基准测试中的性能进行了演示。
Jul, 2016
本研究提出了一种先进的神经网络结构,通过训练无监督的卷积神经网络对光流进行估计,然后将光流网络的输出渲染到完全卷积 SegNet 模型中,从而准确高效地获取运动目标提案。
Feb, 2024
本研究提出了一种基于深度学习的深度估计方法,通过将光流信息与深度估计相结合,在预测不同运动情况下的深度时减小像素包裹误差和光学向量,利用自我监督深度估计方法对不同运动区域进行独立估计并组合为完整的深度,能够比 KITTI Depth 数据集上的现有深度估计器表现更好,同时在 KITTI Flow 2015 数据集上也达到了竞争性的光流性能。
Sep, 2023
无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力,本研究提出了一种新的损失函数,利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化,实现了无标注语义分割的优于现有技术的性能。
Jul, 2023
利用静态语义场景分割技术提高光流方法中对于不同物体运动的预测准确度,并通过引入局部化分层模型来解决在复杂场景中估算光流的问题,达到了 KITTI-2015 流量基准测试中最低误差和更好的分割效果及流畅度。
Mar, 2016
本文提出一个结合了外观和动态信息的端到端学习框架,通过两流卷积神经网络,将动态和外观相结合,针对视频中的所有突出物体生成像素级别的分割掩码,并说明了如何通过弱注释视频的引导,以及与现有的图像识别数据集一起训练,提高了分割效果。
Jan, 2017
本研究提出了一种自监督学习的方法,通过利用非遮挡像素估计可靠的光流,用于学习虚假的遮挡。同时,通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能,并且该自监督预训练模型为监督微调提供了极好的初始化,其微调后的模型在三个数据集上均取得了最先进的结果。
Apr, 2019
本研究提出了一种基于任务的流程(TOFlow),该方法采用自我监督的方式以任务特定的方式学习运动表示,并在视频插值、视频去噪 / 去块以及视频超分辨率等三个视频处理任务上超越了传统的光流方法。
Nov, 2017
本文提出了一种基于卷积神经网络 (CNN) 的完全无监督的运动分割方法,借鉴了期望最大化算法 (EM) 框架用于设计不需要地面真值或手动标注的运动分割神经网络的损失函数和训练过程,能够通过单一推断步骤为任何看不见的光流场提供分割,并能有效地处理多个运动。
Jan, 2022