通过观看视频学习可变形三维物体的 DOVE 模型
本文提出一种新的方法，在视觉目标追踪方面通过 3D 形态和位姿表达，结合可微分渲染技术优化一个新型的损失函数，取得了在三个数据集上追踪刚性物体方面的最新进展。
Apr, 2023
本篇论文旨在通过两种创新，基于从运动视角观察物体的方式，不需要手动注释，实现学习 3D 物体类别的传统方法。我们的系统基于两种创新：一种是具有鲁棒性的 Siamese 视点因子分解网络，可以对不同的视频进行对齐；另一种是可以从部分观测中提取对象的完整形状的 3D 形状完成网络。我们还演示了配置网络以执行概率预测和几何感知数据增强方案的好处。在公开可用的基准测试中，我们获得了最先进的结果。
May, 2017
本文介绍了一种通过采用从野外视频数据中提取的三维监督来重建手持物体的方法，并使用数据驱动的三维形状先验进行训练，结果表明这种间接的三维监督信号可以在没有直接现实世界三维监督的情况下有效地预测真实世界中的手持物体的三维形状。
May, 2023
本文提出了一种算法，用于从野外视频中重建变形对象实例的时间一致 3D 网格，不需要每个视频帧的 3D 网格注释，2D 关键点或相机姿态，而是将基于视频的重建构建为适用于任何传入测试视频的自监督在线适应问题。
Dec, 2020
提出了一种自监督方法，可以从单目视频中联合学习 3D 运动和深度。通过利用深度和运动网络相互协作来准确建模现实场景的几何和动态，进而改进了深度估计和 3D 动作估计的性能。
Mar, 2024
本篇论文针对计算机视觉中难以标注真实数据的实际场景，提出一种基于多视角的物体三维重建模型，利用自主采集的物体图像视频数据集作为训练样本，创新地提出使用神经网络设计进行后续重构，并在多项基准数据集上验证了该模型的优越性。
Mar, 2021
本文提出了一种无需外部监督学习从单视角图像中学习三维可变形物体类别的方法，该方法基于自编码器，将每个输入图像分解为深度、漫反射、观察角度和光照，通过利用物体对称结构来分解这些组件，推理光照使我们能够利用底层的物体对称性，即使外观不对称，而是由于阴影造成的。此外，我们通过预测对称概率地图来建模可能但不一定对称的对象，该地图与模型的其他组件一起端到端地学习。我们的实验表明，这种方法可以从单视角图像中非常准确地恢复人类脸部、猫脸和汽车的三维形状，而不需要任何监督或先前的形状模型。与使用 2D 图像对应的监督方法相比，在基准测试中，我们表现出优越的准确性。
Nov, 2019
该论文提出了一个从立体视频中学习独立移动物体动作的系统，该系统使用的唯一人工注释是 2D 物体边界框，并从中引入了对象的概念。与以前的基于学习的工作不同，该工作集中于预测每个图像的密集像素光流场和 / 或深度图，我们提出了从物体实例特定的 3D 场景流图和实例掩模预测来推断每个物体实例的运动方向和速度的方法，并且我们的网络考虑了问题的 3D 几何，允许它相关输入图像。我们进行了实验，评估了我们的 3D 流向量、深度图和投影的 2D 光流的精度，在这些实验中，我们联合学习的系统优于先前独立训练每个任务的方法。
Jan, 2019
本研究提出了 DreaMo，一种从单个且视角覆盖不完整的网络视频中重建关节 3D 形状的方法，通过使用条件视图扩散先验和一些定制的正则化方法解决了低视角覆盖区域带来的挑战，并引入了骨架生成策略生成可解释的人体骨架。对自行收集的视角覆盖不完整的网络视频进行了广泛的定性和定量研究，结果表明 DreaMo 在新视角渲染、详细关节形状重建和骨架生成方面具有良好的质量，并且现有的方法由于视角覆盖不完整而无法解决正确的几何问题。
Dec, 2023