Feb, 2024

基于 3D 可变形网格模型和光流的结构密集位移网络

PDF
TL;DR本研究提出了一个网络，通过单目摄像头识别 RC 框架结构的位移。该网络由 FlowNet2 和 POFRN-Net 两个模块组成，FlowNet2 用于生成稠密光流，POFRN-Net 用于提取姿态参数 H。该研究展示了对第一视频的真实位移进行的对比，并展示了给定三个视频中 RC 框架结构的四个楼层的预测位移。
发现论文，激发创造
  • E-RAFT: 来自事件相机的稠密光流

    本文提出了一种针对事件相机的全新稠密光流计算方法，通过引入特征相关性与顺序处理的设计思路，相比于现有方案在数据集 MVSEC 上将终点误差降低了 23％，并提出一种新的数据集，更能反映现实场景中物体的运动情况，最终结果的终点误差比之前的方案减少了 66%。

    Aug, 2021

  • FlowNet 2.0: 使用深度网络演化的光流估计

    本文提出了一种基于端到端学习的光流估计方法，该方法通过数据给特定学习任务提供重要信息，并且采用了堆叠式架构及对小运动专门优化的子网络，使得计算速度得到了提升，同时精度与业界领先的方法相当；相比于原始的 FlowNet，FlowNet 2.0 计算速度基本不降反升，估计误差降低了超过 50%。

    Dec, 2016

  • 3D-FlowNet：使用三维表示的事件驱动光流估计

    本文提出了一种改进的 2D 编码事件数据的 3D 表达方法，并介绍了 3D-FlowNet 网络体系结构以进行光流估计，并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明，我们的 3D-FlowNet 具有更好的性能。

    Jan, 2022

  • FastFlowNet：一种轻量级网络用于快速光流估计

    本文提出了一种基于深度学习的快速且精确的光流预测方法：FastFlowNet，其参数较少，适用于低功耗设备，且在合成和真实数据集上的实验证明了其有效性。

    Mar, 2021

  • DGC-Net：密集几何对应网络

    本研究针对两幅图像之间密集像素对应估计的挑战进行探讨，提出了一种基于粗到细的 CNN 框架，能够扩展光流方法的优势，解决大范围变换并提供密集和亚像素准确估计的问题，并在相对摄像机姿态估计问题上表现优异。

    Oct, 2018

  • 从单目视频中无监督学习深度、相机姿态和光流

    DFPNet 是一种联合学习系统，通过单眼图像序列估计单眼景深、光流和自身运动（相机姿态），使用单一的复合损失函数进行训练，并使用超参数调整来使模型的大小小于目前市场上同类模型的 5％以下。在 KITTI 和 Cityscapes 驾驶数据集上进行评估，结果表明我们的模型在所有三个任务上的表现都可以媲美目前市场上同类模型的表现，即使模型大小明显更小。

    May, 2022

  • ParticleSfM：利用稠密点轨迹定位野外运动相机

    提出了一种基于密集间接结构运动方法的鲁棒性摄像机姿态估计方法，利用密集对应初始化并优化长程视频对应关系作为密集点轨迹并用于学习运动分割的鲁棒估计；实验表明我们的系统相对于现有最先进方法在 MPI Sintel 数据集上产生了更准确的摄像机轨迹，并在全静态场景上保持合理的摄像机姿态准确度，这也印证了基于光流和点轨迹的密集间接方法的潜力。

    Jul, 2022

  • DiffPoseNet: 直接可微相机位姿估计

    本文提出了一种基于深度学习的方法 NFlowNet，通过直接法而非经典的视觉 SLAM 方法，通过图像梯度来估算相机的位姿，实现了对于姿态的倒易约束，经实验证明该方法的泛化性能较好并优于其他已有方法。

    Mar, 2022

  • 快速神经场景流

    本文提出了一种名为 “快速神经场景流”（FNSF）的方法，通过使用距离变换（DT）作为损失函数，使运行时间大大缩短，使其无需训练和偏见，从而实现了与当前最先进的学习方法相当的实时性能并成功在两个最大的自主驾驶（AV）激光雷达数据集 Waymo Open 和 Argoverse 上运行。

    Apr, 2023

  • 深度脸部流：野外稠密三维面部运动估计

    DeepFaceFlow 是一种基于 3D 的深度学习框架，用于快速准确地从单目图像中捕捉面部运动，并且可以应用于面部表情识别等领域，同时结合了 occlusion-aware 和 3D-based 损失函数进行训练和测试，方法优于现有的流和 3D 方法，还能作为完整的头部面部视频合成中的一部分。

    May, 2020