采用动态光流来监督静态图像的表示,通过学习嵌入像素以达到其光流向量之间的相似性,我们设计了一种无需手工标注的学习卷积神经图像表示的新方法,这个新方法优于以往的运用动态光流学习卷积神经网络的方法,并在语义分割等领域首屈一指。
Jul, 2018
本文介绍了一种通过自监督学习获得单目序列深度和姿态的方法,该方法不需要基础数据的支持,增加了更强的几何量和时间图像序列内部一致性的约束条件,能够显著提高单目图像序列深度和相对姿态估计的性能。
Sep, 2019
该论文提出了一种利用几何结构作为自我监督信号的无监督深度视觉里程计学习范例,并表明这种方法与监督学习方法在性能上的竞争力相当。
Apr, 2018
无需辅助信息,我们提出了一种使用纯 RGB 图像进行训练的 6D 物体姿态估计方法,通过利用来自多个不同视角的合成至实图像对中的几何约束(以像素级流一致性的形式表示)进行精化策略,从合成图像中获得初始姿态估计,并使用动态生成的伪标签。在三个具有挑战性的数据集上进行评估,结果表明我们的方法明显优于最先进的自监督方法,无需 2D 注释或额外的深度图像。
Aug, 2023
这篇论文提出了一种利用几何一致性作为监督信号的无监督学习框架,可以同时训练单视角深度预测和光流估计模型,在训练过程中,所有网络均进行联合优化,在测试时可以单独应用,实验证明该方法与现有的无监督方法相比具有竞争优势。
Sep, 2018
本文提出的单目场景流(Scene Flow)估计方法基于一个卷积神经网络(CNN),通过充分考虑光流代价体积,成功估算出深度和三维运动。我们采用了自监督学习方法,利用三维损失函数和遮挡推理来提高估计精度。实验结果表明,该方法在单目场景流估计领域取得了最佳性能,同时在光流和单目深度估计子任务上也获得了很好的结果。
Apr, 2020
本研究提出了一种自监督学习的方法,通过利用非遮挡像素估计可靠的光流,用于学习虚假的遮挡。同时,通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能,并且该自监督预训练模型为监督微调提供了极好的初始化,其微调后的模型在三个数据集上均取得了最先进的结果。
Apr, 2019
通过构建任意任务图的推理路径不变性以及利用跨任务一致性进行学习,可以更准确地预测和更好地泛化到分布之外的输入,并获得称为一致性能量的无监督度量,可作为无监督的置信度量和检测分布之外的输入的指标。
Jun, 2020
我们提出了一种统一的方法来共同学习光流和立体匹配。我们的第一条直觉是,立体匹配可以被建模为光流的一种特殊情况,我们可以利用立体视频背后的三维几何来指导这两种形式的对应关系的学习。然后,我们将这个知识纳入到最先进的自我监督学习框架中,并训练一个单一的网络来估计流和立体。其次,我们揭示了先前自我监督学习方法中的瓶颈,并提出了创建一组新的具有挑战性的代理任务来提高性能的方法。这两个洞察力产生了一个单一的模型,在 KITTI 2012 和 2015 基准测试中,这些模型的准确性甚至超过了包括 PWC-Net 和 FlowNet2 在内的几种最先进的全监督方法。
本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架,该框架利用单目深度估计网络构建可能的点云,通过虚拟相机运动合成新视角和对应的光流场,实现对现有数据的有效利用,并提高了视觉光流网络在真实场景中的泛化和特化性能。
Apr, 2021