从普通视频学习非刚性 SfM 的先验知识
提出了一种基于密集间接结构运动方法的鲁棒性摄像机姿态估计方法，利用密集对应初始化并优化长程视频对应关系作为密集点轨迹并用于学习运动分割的鲁棒估计；实验表明我们的系统相对于现有最先进方法在 MPI Sintel 数据集上产生了更准确的摄像机轨迹，并在全静态场景上保持合理的摄像机姿态准确度，这也印证了基于光流和点轨迹的密集间接方法的潜力。
Jul, 2022
本文提出一种新的方法，在视觉目标追踪方面通过 3D 形态和位姿表达，结合可微分渲染技术优化一个新型的损失函数，取得了在三个数据集上追踪刚性物体方面的最新进展。
Apr, 2023
提出了一种新的神经网络训练框架，可以在只有 2D 注释的情况下学习非刚性物体的 3D 信息，该框架通过自动确定适当的旋转解决了非刚性结构运动估计中同时估计旋转和变形的难点，使用损失函数进行训练后，网络可以学习人类骨架和面孔等对象的 3D 结构，在测试过程中可以处理带有丢失入口的输入，实验证明该框架表现优异，即使底层网络结构非常简单，在 Human 3.6M、300-VW 和 SURREAL 数据集上均优于现有最先进的方法。
Jul, 2020
本文提出了一种基于深度神经网络的非刚性运动结构恢复方法，该方法在订单级别上表现出比所有现有技术更出色的精度和鲁棒性，能够处理规模和形状复杂度前所未有的问题，并提出了一种基于网络权重的质量度量来评估重建可信度。
Jul, 2019
该研究提出了一种基于深度学习的方法来将视频分解为三维几何（摄像机和深度）、运动物体和它们的运动，其中没有监督。通过最小化合成图像和对应真实图像之间的误差，可以完全无监督地训练预测姿态和深度的深度网络，同时在图像的小区域内预测不同的姿态，实现 6D 物体运动的丰富模型，实现了在 KITTI 上无监督里程计和深度预测的非常有竞争力的性能，同时在 EPIC-Kitchens 上实现了自动恢复深度、里程、对象分割或运动的新能力。
May, 2021
提出了一种高效的视频到 4D 对象生成框架 Efficient4D，能够在连续的摄像机轨迹下实时渲染高质量的时空一致图像，通过直接训练具有明确点云几何结构的新颖 4D 高斯涂层模型，大大提升了速度，同时保持创新视角合成质量。
Jan, 2024
我们提出了一种新的深度管道 VGGSfM，其中每个组件都是完全可微的，因此可以进行端到端的训练，通过引入新的机制和简化，我们在三个流行的数据集 CO3D，IMC Phototourism 和 ETH3D 上实现了最先进的性能。
Dec, 2023
利用数据驱动的方法进行三维重建非常困难，本文通过引入新的半监督策略，成功建立了一个拥有 400 个场景、超过 390,000 个 RGB-D 帧和 5,533 个面对面对齐帧对的数据集，然后利用这个数据集，提出了一个能够应对非常大的非刚性形变的深度学习方法，对比于其他方法，我们的结果优于现有的方法。
Dec, 2019
本研究提出了一种近实时的方法，可以从单目 RGBD 视频序列中对未知物体进行 6 自由度跟踪，并同时进行神经 3D 重建。该方法适用于任意刚体对象，即使视觉纹理基本不存在。该方法的关键在于同时学习神经对象场和姿态图优化过程，以稳健地累积信息以捕捉物体的几何和外观，而不需要其他信息和假设。本方法可以处理具有大的位姿变化，部分遮挡，无纹理表面和高光反射等挑战性序列，而且通过在 HO3D，YCBInEOAT 和 BEHAVE 数据集上的测试，证明本研究方法显著优于现有方法。
Mar, 2023