Dec, 2023

DreaMo: 从单个非正式视频进行关节 3D 重建

PDF
TL;DR本研究提出了 DreaMo，一种从单个且视角覆盖不完整的网络视频中重建关节 3D 形状的方法，通过使用条件视图扩散先验和一些定制的正则化方法解决了低视角覆盖区域带来的挑战，并引入了骨架生成策略生成可解释的人体骨架。对自行收集的视角覆盖不完整的网络视频进行了广泛的定性和定量研究，结果表明 DreaMo 在新视角渲染、详细关节形状重建和骨架生成方面具有良好的质量，并且现有的方法由于视角覆盖不完整而无法解决正确的几何问题。
articulated 3d reconstructiontemplate-free learning methodssingle internet videoview-conditioned diffusion priorskeleton generation
发现论文，激发创造
  • 从众多日常视频中构建可动画的 3D 神经模型的 BANMo

    BANMo 是一种无需使用专门的传感器或预定义的模板形状就能从许多单目视频中建立高保真、关节式 3D 模型的方法，并将三种思想融合在一起，包括使用关节骨骼和混合皮肤的经典可变形形状模型、梯度优化的体积神经辐射场（NeRFs）和生成像素和关节模型之间对应的规范嵌入。

    Dec, 2021

  • REACTO：从单个视频中重建关节化物体

    从单一视频中重构一般关节式 3D 物体的挑战已被克服，引入了新的变形模型，通过优化部件建模、加强刚性以及精确运动和无缝变形，提高了一般关节式物体的 3D 重建质量。

    Apr, 2024

  • 单目视频中全三维网格人体姿态的时间连续恢复

    该研究论文提出了一种基于深度学习和递归神经网络的方法，采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势，并在定量和定性分析中证明了该方法的有效性。

    Jun, 2019

  • REC-MV: 从单目视频中重建 3D 动态布料

    本文提出了一种名为 REC-MV 的新方法，可以通过优化 3D 服装特征曲线和表面重建来从单目视频中提取出开放式服装网格，结果显示该方法在多个数据集上表现优于现有方法并且能够产生高质量的动态服装表面。

    May, 2023

  • 从运动学习骨骼类目的单目三维重建

    使用视频自监督和模板形变技术来实现单目 3D 重建并且进行数值优化，以便使计算得出的模型更加准确和具有解释性。

    Mar, 2021

  • 从视频中学习三维人体动力学

    通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

    Dec, 2018

  • 从 RGB-D 视频中重建带骨骼的关节式模型

    该研究提出了一种使用深度数据构建可追踪的关节对象完整绑定形式建模的方法，该方法包括 deformable mesh tracking，motion segmentation，spectral clustering，嵌入式骨架和蒙皮权重。

    Sep, 2016

  • 从单目视频中高质量可动画的动态服装重构

    首次提出从单目视频中恢复高质量可动态调整的服装的方法，通过可学习的服装变形网络和多假设变形模块实现，实验结果表明可生成具有连贯表面细节的高质量动态服装，并可在未见过的姿势下轻松实现动画效果。

    Nov, 2023

  • ARTIC3D：从嘈杂的网络图片集中学习鲁棒的关节式 3D 模型

    ARTIC3D 是一种自监督框架，通过 2D 扩散先后提取骨架表面表示和指导 3D 优化，估算高保真度的图形和纹理，且可产生更真实的动画效果。

    Jun, 2023

  • LASR: 从单目视频学习关节形状重建

    本文提出了一种无模板的分析合成策略的方法，可以从单个视频中学习三维形状，有效地重建了人、动物和未知类别对象的非刚性三维结构。

    May, 2021