匹配函数学习
本研究基于深度立体匹配中使用的 3D 卷积学习 3D 成本体积和流形成本之间的映射关系,旨在提出一种新的算法,该算法绕过了需要构建 5D 特征体积的要求。具体而言,本研究提出解耦 2D 位移之间的关系,并在每个 2D 位移假设上独立地应用 2D 卷积匹配网络来学习 4D 成本体积,从而实现了独立于位移的成本学习。最后,我们采用 2D soft-argmin 层将成本体积投影到光流估计中。
Oct, 2020
本文提出一种单一和原则性网络,用于联合学习立体匹配和流估计的时空对应关系,通过设计的几何连接作为临近时间内的立体对的无监督信号。结果表明,我们的方法对于 KITTI 基准数据集上的无监督深度和流估计都优于几种最先进的基线方法。
May, 2019
本研究提出了一种基于深度学习和几何图像匹配的光学流估计方法 MatchFlow,通过先使用几何图像匹配(GIM)作为预训练任务,再进行光流估计,从而提高了图像特征的匹配性能,实验结果表明该模型性能优异,相较于已发表的方法,拥有最优的表现。
Mar, 2023
我们提出了一种统一的方法来共同学习光流和立体匹配。我们的第一条直觉是,立体匹配可以被建模为光流的一种特殊情况,我们可以利用立体视频背后的三维几何来指导这两种形式的对应关系的学习。然后,我们将这个知识纳入到最先进的自我监督学习框架中,并训练一个单一的网络来估计流和立体。其次,我们揭示了先前自我监督学习方法中的瓶颈,并提出了创建一组新的具有挑战性的代理任务来提高性能的方法。这两个洞察力产生了一个单一的模型,在 KITTI 2012 和 2015 基准测试中,这些模型的准确性甚至超过了包括 PWC-Net 和 FlowNet2 在内的几种最先进的全监督方法。
Apr, 2020
通过无监督学习从大量未标记图像路径中学习特征,对像素进行编码,并进行空间池化以获得补丁层特征,然后将学习到的特征顺畅地嵌入到多层匹配框架中,得到了与最先进的方法相比在准确性和计算效率方面均优于 SIFT flow 等的匹配模型,并分析了字典学习和特征编码对最终匹配性能的影响。
Jan, 2015
采用动态光流来监督静态图像的表示,通过学习嵌入像素以达到其光流向量之间的相似性,我们设计了一种无需手工标注的学习卷积神经图像表示的新方法,这个新方法优于以往的运用动态光流学习卷积神经网络的方法,并在语义分割等领域首屈一指。
Jul, 2018
通过无监督学习框架,我们提出了一种将运动立体相机观察到的 3D 场景流分解为静止场景元素和动态物体运动的方法。我们利用三个协同工作的网络来预测立体匹配、相机运动和残留流,并明确估计基于残留流和场景深度的动态物体的 3D 场景流。在 KITTI 数据集上的实验表明,我们的方法在光流和视觉里程计任务上优于其他现有算法。
Sep, 2019
本论文提出了一种基于卷积神经网络的方法,能够从立体输入中学习计算密集的视差图,使用图像变形误差作为损失函数,无需地面真实的视差图。该方法经过在 KITTI 和 Middlebury 立体基准数据集上的实验,证明优于许多现有技术并且速度更快。
Sep, 2017
本文提出了一种简单的改变现有图像相似度度量标准的方法,通过使用光流匹配图像并测量对应像素的视觉相似度来使其更加鲁棒性地处理对象位置误差,并应用于各种视频预测任务和视频内插任务中,实现了简单的网络结构,取得了强大的表现。
Apr, 2021
本文提出了一种新的方法,通过从图像提取特征直接预测光流,同时考虑到光流估计的运动学视角和外观视角,采用可微分的变形操作解决了由于运动不准确造成的误差及遮挡问题,并通过自监督损失函数将运动特征与外观特征相结合,实验证明该方法在光流预测上表现优于现有方法,尤其在包含遮挡和快速运动的情况下效果更好。
May, 2024