LASR: 从单目视频学习关节形状重建
基于预训练神经替代模型的快速和稳定的织物三维重建算法,可精确、稳定、平滑地重建几何体,与物理基础的 SfT 方法相比,运行时间减少了 400-500 倍。
Nov, 2023
本文提出了一种基于学习的模型,利用少量单目视频帧 (1-8 帧) 从移动的人中推断出其个性化的 3D 形状,可在不到 10 秒内达到 5mm 的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量,同时加入衣服和头发的形状,具有快速和准确的预测,这得益于其对 T-pose 空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的 3D 数据进行学习,可将可变数量的帧作为输入,即使仅有一张图像,也能以 6mm 的精度重建形状。3 个不同数据集的结果表明了本方法的有效性和准确性。
Mar, 2019
通过扩展 Laplacian formalism,我们可以将单目 3D 形状重建转化为更好处理的问题,通过简单地解决线性最小二乘问题可以快速可靠地消除异常值。这使我们能够实时地降低表面重建问题的维度而不会损失准确性。
Mar, 2015
本文提出一种学习框架,可以从单个图像中恢复物体的 3D 形状、相机、和纹理,使用一个可变形的 3D 网格模型来表示形状,在不依赖于地面真值 3D 或多视图监督的情况下,利用注释的图像集进行训练并学习 3D 预测机制与可变形模型。作者还展示了可以轻松将语义关键点与预测的形状相关联,并在 CUB 和 PASCAL3D 数据集上展示了我们的方法的定性和定量结果。
Mar, 2018
本文旨在从单目视频中获取手部和操纵对象的三维重构,提出了一种学习免费的拟合方法以应用于无法获取训练数据且具有不同难度等级的数据集,并量化评估了该方法。
Aug, 2021
研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态,通过系统性实验验证了五种方法的可行性,结果显示这一任务具有很大挑战性并提出了未来工作方向。
Sep, 2022
本文介绍了一种基于像素输入和 3D 刚性类别的输出的自动化流程,通过从现有物体检测数据集中学习可变形的 3D 模型并结合底层模块进行高频率形状细节恢复,实现了在单幅图像中获取真实场景下物体的三维表面重建,通过在最近引入的 PASCAL 3D + 数据集上的全面定量分析和消融研究展示了非常令人鼓舞的自动重建效果。
Nov, 2014
提出了一种基于几何感知的深度学习方法,能够在没有预先注册表面模板的情况下,通过单一视角的输入图像,精确预测可变形表面的 3D 形状, 并采用合成数据集和真实基准数据集的实验证明其在 3D 形状预测上超越同类算法,且计算时间明显减少。
Sep, 2018
该论文介绍了如何从单目视频中获取任意人物的准确三维身体模型和纹理,该方法仅需使用智能手机或网络摄像头,使每个人都能创建自己的全可动数字双胞胎,如社交 VR 应用或在线时尚购物的虚拟试穿。
Mar, 2018