从未标注的立体视频中学习独立的物体运动

Jan, 2019

从未标注的立体视频中学习独立的物体运动

Learning Independent Object Motion from Unlabelled Stereoscopic Videos

Zhe Cao, Abhishek Kar, Christian Haene, Jitendra Malik

TL;DR该论文提出了一个从立体视频中学习独立移动物体动作的系统，该系统使用的唯一人工注释是 2D 物体边界框，并从中引入了对象的概念。与以前的基于学习的工作不同，该工作集中于预测每个图像的密集像素光流场和 / 或深度图，我们提出了从物体实例特定的 3D 场景流图和实例掩模预测来推断每个物体实例的运动方向和速度的方法，并且我们的网络考虑了问题的 3D 几何，允许它相关输入图像。我们进行了实验，评估了我们的 3D 流向量、深度图和投影的 2D 光流的精度，在这些实验中，我们联合学习的系统优于先前独立训练每个任务的方法。

Abstract

We present a system for learning motion of independently moving objects from stereo videos. The only human annotation used in our system are 2D object bounding boxes which introduce the notion of objects to our system. Unlike prior learning based work which has focused on predicting de

motion learning stereo videos object instance 3d scene flow maps neural network

发现论文，激发创造

视频中的自监督物体运动和深度估计

本文提出了一种自监督学习框架，从视频中估算单个对象的运动和单眼深度，并将对象运动建模为六个自由度刚体变换；此外，该方法还使用实例分割掩码引入对象信息，并通过引入新的几何约束损失项消除运动预测的尺度歧义，实验结果表明，该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动，与自监督研究方法相比，在 3D 场景流预测方面有更好的表现，对动态区域的视差预测也有所贡献。

Dec, 2019

从立体视频中学习残差流作为动态运动

通过无监督学习框架，我们提出了一种将运动立体相机观察到的 3D 场景流分解为静止场景元素和动态物体运动的方法。我们利用三个协同工作的网络来预测立体匹配、相机运动和残留流，并明确估计基于残留流和场景深度的动态物体的 3D 场景流。在 KITTI 数据集上的实验表明，我们的方法在光流和视觉里程计任务上优于其他现有算法。

Sep, 2019

利用运动物理定律从 2D 标签学习单目三维物体定位

使用 2D 标签和对象运动的物理知识，我们提出了一种新颖的方法，可以从单个校准摄像机的单个图像中精确地定位 3D 对象的位置，而无需昂贵的 3D 标签，即使在训练期间从未见过这些信息，我们的模型也能推断出潜在的第三维度。通过在合成和真实数据集上评估，我们的方法在真实数据实验中能够达到均方误差仅为 6 厘米，结果表明这种方法在无法收集 3D 数据进行训练的情况下学习 3D 对象定位估计的潜力。

Oct, 2023

每个像素都很重要：利用整体三维运动理解进行无监督几何学习

本文通过在未标记视频上观看，利用深度卷积神经网络来学习单张图像的三维几何估计，通过将像素水平的三维物体运动加入到学习框架中，提供了整体的三维场景流理解并有助于单张图像的几何估计。

Jun, 2018

低维物体运动多目标发现

本文提出一种基于像素几何和物体运动模型的运动预测方法，通过将图像分为运动一致的区域并利用深度构建最佳匹配的流场基础来减少从单个图像重建流场的不确定性，并在场景结构和物体运动建模方面取得了最新的结果，同时对预测深度图的评估显示出可靠的单眼深度估计性能。

Jul, 2023

单目视频的逐帧深度与运动学习

我们提出了一种全面的联合训练框架，该框架在单目相机设置中明确建模多个动态对象、自我运动和深度而不需要监督，并且具有高效的深度和运动估算，并通过实验证明了其优于现有深度和运动估算方法。

Dec, 2019

从相机运动和视频对象分割学习物体深度

本论文致力于解决如何从摄像机测量的数据中，使用视频目标分割技术学习估计物体深度的问题，为此我们首先引入了一个多样化的，可扩展的数据集，其次设计了一种新颖的深度学习网络，该网络仅使用分割掩模和不合格的摄像机运动即可估计物体深度，我们的方法可以通过机器人和车载摄像头，在不同领域进行定位目标和避开障碍物的实验。

Jul, 2020

学习移动物体的分割

本文提出了一种基于神经网络的视频分割方法，用于区分视频帧中独立运动的物体，并利用对象运动、外观和时间一致性等多个信息源，通过对数据进行训练得到模型，经过评估表明该模型在 DAVIS、Freiburg-Berkeley 运动分割数据集和 SegTrack 等数据集上表现良好。

Dec, 2017

视频中深度和自运动的无监督学习

本文提出了一种无监督学习框架，通过使用视图合成作为监督信号，同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明，我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力，并且在相似的输入设置下，姿态估计表现良好。

Apr, 2017

通过观察物体运动学习特征

本文介绍了一种基于无监督学习的视觉特征提取方法，采用运动分割技术自动从视频中得到图像分割信息进行卷积神经网络训练，结果在涉及少量目标训练样本的场景下显著优于现有无监督学习方法。

Dec, 2016