May, 2024

重新思考以动力学视角预测光流

PDF
TL;DR本文提出了一种新的方法，通过从图像提取特征直接预测光流，同时考虑到光流估计的运动学视角和外观视角，采用可微分的变形操作解决了由于运动不准确造成的误差及遮挡问题，并通过自监督损失函数将运动特征与外观特征相结合，实验证明该方法在光流预测上表现优于现有方法，尤其在包含遮挡和快速运动的情况下效果更好。
optical flow estimationcorrelation volumekinetics viewpointdifferentiable warp operationself-supervised loss function
发现论文，激发创造
  • 学习利用物理动力学估计和优化流体运动

    本文提出一种基于无监督学习的预测 - 校正方案，通过 PDE 约束的光学流预测器给出速度场的估计，并通过基于物理的校正器进行精细化处理，取得了比光学流方法更好的效果，在基准数据集上表现出与现有监督学习方法具有竞争力的结果。

    Jun, 2022

  • 自我监督学习的跨像素光流相似度

    采用动态光流来监督静态图像的表示，通过学习嵌入像素以达到其光流向量之间的相似性，我们设计了一种无需手工标注的学习卷积神经图像表示的新方法，这个新方法优于以往的运用动态光流学习卷积神经网络的方法，并在语义分割等领域首屈一指。

    Jul, 2018

  • 利用时间动态建模在多帧动态环境中进行无监督光流学习

    本文提出了一种基于时空动态模型的无监督光流估计方法，使用视图合成的自我监督学习来提供可靠的运动先验信息，利用邻帧的运动先验来改善光流估计中遮挡区域的监督，采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式，实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。

    Apr, 2023

  • 通过单个运动模糊图像的光流估计

    该研究提出了一种新的框架，利用 Transformer 网络从单个运动模糊图像中端到端地估计光流，并通过粗到细的方式评估了该模型的性能和应用。

    Mar, 2021

  • 大部分为刚体场景下的光流

    文章提出了一种综合了静态和非约束场景下光流方法的算法，可以同时估计运动物体的分割和相机运动的 3D 结构，具有更高的精度。

    May, 2017

  • 使用超级核函数学习光流

    本文提出了基于 CNN 的 Super Kernel Flow Network (SKFlow) 算法估计局部模糊区域中的光流，通过超级核心理论解决匹配信息缺失的问题，在 Sintel 基准测试中表现优秀。

    May, 2022

  • 传感器引导的光流

    本文提出了一种框架，该框架可以使用外部提示来引导光流网络，从而在已知或未知领域中实现更高的准确性。实验结果表明，我们的框架在模拟和实际条件下都具有很好的效果。

    Sep, 2021

  • 从静止图像中学习光流

    本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架，该框架利用单目深度估计网络构建可能的点云，通过虚拟相机运动合成新视角和对应的光流场，实现对现有数据的有效利用，并提高了视觉光流网络在真实场景中的泛化和特化性能。

    Apr, 2021

  • 基础回归：通过亮度恒定和运动平滑无监督学习光流

    本文提出了一种无监督的方法，使用组合数据项和空间项的损失函数训练 convnets 来预测两幅图像之间的光流，并在 KITTI 数据集上的实验证明了该方法的有效性。

    Aug, 2016

  • MirrorFlow: 利用对称性进行光流和遮挡估计

    本文提出了一种对称的光流方法，通过充分利用光流和遮挡的对称性来解决光流和遮挡之间的鸡生蛋问题，结果显示我们的模型在标准基准测试中具有显着的性能优势，尤其是对于具有挑战性的 KITTI 数据集，我们报告了至今最准确的两帧光流结果。

    Aug, 2017