开发一个统一的多任务基础模型已经成为计算机视觉研究中的一个关键挑战。本论文介绍了 VEnvision3D，一个用于多任务学习的大型 3D 合成感知数据集，包括深度补全、分割、上采样、场景识别和 3D 重建。对于每个任务的数据在相同场景下收集，使得任务在所使用的数据上本质上具有对齐的特点，从而可以探索多任务模型甚至基础模型的潜力。基于所提出数据集的特点，提出了几个新的基准测试，对端到端模型进行了广泛研究，揭示了未来研究的新观察、挑战和机会。此外，设计了一个简单的多任务网络，以展示 VEnvision3D 对基础模型可以提供的能力。我们的数据集和代码将在接受后开源。

Feb, 2024

使用 Deep 3D Mask Volume 算法，基于自定义的 10 相机固定拍摄装置拍摄的 96 个高质量场景的多视角视频数据集，解决了动态场景视频视野合成中存在的一些挑战，实现了从静态相机拍摄的双目视频中的视角扩展，具有比逐帧静态视点合成方法或使用 2D 遮罩的方法更好的时间稳定性和较少的闪烁伪影，且允许更大的平移运动。

Aug, 2021

提出了 NAVI 数据集，包括高质量 3D 扫描的对象的类别无关图像集和每个图像的 2D-3D 对齐，旨在促进基于随意图像采集的 3D 重建和对应估计的系统性研究进展。

Jun, 2023

该研究论文提出了一种基于深度学习和递归神经网络的方法，采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势，并在定量和定性分析中证明了该方法的有效性。

Jun, 2019

本研究提出了一种新的训练 3D 手势估计模型的框架，使用自监督学习模型（TASSN）从仅具有 2D 信息的视频中学习，通过强制时间一致性约束，TASSN 可以学习从视频中推断 3D 手势和网格的技能，并且实验证明了该模型的 3D 估计精度与目前最先进的基于 3D 注释的模型在同等级别上，强调了时间一致性在限制 3D 预测模型方面的优点。

Dec, 2020

本文提出了一种算法，用于从野外视频中重建变形对象实例的时间一致 3D 网格，不需要每个视频帧的 3D 网格注释，2D 关键点或相机姿态，而是将基于视频的重建构建为适用于任何传入测试视频的自监督在线适应问题。

Dec, 2020

该研究介绍了一个由 NVIDIA 深度学习数据合成器生成的新的、可公开获取的图像数据集，用于目标检测、姿势估计和跟踪应用。该数据集包含 144k 个立体图像对，将三个真实环境中的 18 个相机视角合成，其中实验对象包括最多 10 个随机选择的物体和飞行干扰器。

Aug, 2020

使用视频自监督和模板形变技术来实现单目 3D 重建并且进行数值优化，以便使计算得出的模型更加准确和具有解释性。

Mar, 2021

本文介绍了一种包含近千个三维对象模型及超过 84 万个现实世界的 RGB 和深度图像数据集，旨在填补现有研究中缺乏的三维多视图重建的真实数据基准。该数据集通过半自动方式实现相机位置与物体姿态的精准标注，为形状重建、物体姿态估计、形状检索等 3D 应用提供了可能。数据集已开放，包含注释工具和评估基准源代码。

Mar, 2022

提出了一种名为 VisFusion 的可见性感知在线 3D 场景重建方法，通过对单目视频进行姿态估计来恢复场景的体量特征，并提出了细节保留的局部稀疏化方法和分层预测 TSDF 的方法，实验结果表明我们的方法能够获得卓越的性能。

Apr, 2023