CVPRJun, 2024

自由度重要：从点轨迹推断动力学

PDF
TL;DR通过神经网络学习隐式运动场，预测 3D 场景中新点的运动，以改善场景重建、运动跟踪和角色创建等应用。
3d scenesmotion trackingneural networkmotion fieldtemporal mesh alignment
发现论文，激发创造
  • ParticleSfM：利用稠密点轨迹定位野外运动相机

    提出了一种基于密集间接结构运动方法的鲁棒性摄像机姿态估计方法，利用密集对应初始化并优化长程视频对应关系作为密集点轨迹并用于学习运动分割的鲁棒估计；实验表明我们的系统相对于现有最先进方法在 MPI Sintel 数据集上产生了更准确的摄像机轨迹，并在全静态场景上保持合理的摄像机姿态准确度，这也印证了基于光流和点轨迹的密集间接方法的潜力。

    Jul, 2022

  • 动态 3D 高斯：通过持久动态视图合成进行跟踪

    同时解决动态场景新视角合成和六自由度跟踪所有密集场景元素的方法，通过分析合成框架，模型化动态场景，并用于各种后续应用。

    Aug, 2023

  • DynMF：用于实时动态视图合成的神经运动分解与三维高斯投射

    通过将动态场景分解为少数神经轨迹，我们提出了 DynMF 模型，该模型以高效紧凑的方式准确地建模动态场景和运动，具有实时视图合成能力。

    Nov, 2023

  • 高自由度动态神经场用于机器人自建模和运动规划

    使用神经场将机器人的运动学作为神经隐式查询模型来自建模，能够实现比现有方法更广泛的应用，从而为自主代理提供必要的自我建模功能，并在运动规划任务中展示该模型的能力。

    Oct, 2023

  • 面向快速稀疏输入动态视图合成的分解运动场

    为快速优化和渲染设计动态场景的三维表示是一项具有挑战性的任务，本文旨在使用稀疏的输入视点学习快速的动态辐射场表示，并引入可靠的流先验来限制运动模型，从而实现对稀疏输入视点的优化。

    Apr, 2024

  • 动态点场

    本文提出了一种动态点场模型，它将显式点图形的表现优势与隐式形变网络相结合，以便有效地建模非刚性 3D 表面，并演示了该模型在创建表情逼真的可动人体形象方面的优势。

    Apr, 2023

  • 通过扩散模型获取六自由度稳定场

    核心能力是机器人操控对于在杂乱环境中进行物体的稳定放置的推理，6-DoFusion 是一个生成模型，能够生成给定场景的稳定配置的物体的 3D 姿势，并在不同的物体放置和堆叠任务上进行了评估。

    Oct, 2023

  • 从自由旋转的三维刚体的图像中学习可解释的动态学

    本文提出一种物理知识指导的神经网络模型，能够从图像序列中估算预测旋转刚体的 3D 动力学，多阶段预测管道映射图像到与 SO (3) 同胚的潜在表示，通过学习得到的哈密顿表示，利用哈密顿运动方程预测未来的潜在状态。

    Sep, 2022

  • 多视角多类别物体姿态估计的统一框架

    本文介绍了一种基于深度卷积神经网络的方法，能够通过对特定对象类的分类和姿态回归，从单个或多视图中准确地推断大量对象类的六自由度姿态，并通过 SE（3）的均匀镶嵌提高了鲁棒性。作者还提出了一种适用于单视角存在歧义的高效多视图框架，并在 YCB-Video、JHUScene-50 和 ObjectNet-3D 三个大规模基准测试中取得了优异的表现，与目前现有技术相比表现优秀。

    Mar, 2018

  • DivaTrack: 从加速度增强的三点追踪器获取多样的身体和动作

    基于深度学习框架的 DivaTrack 能够通过增加稀疏三点输入与输入的线性加速度来改善脚接触预测，利用两阶段模型将不明确的下半身姿势与脚接触和上半身姿势的预测相结合，通过在不同类型运动的两个参考坐标系中学习预测进行平滑，能够在真实时间内精确追踪用户在多种动作中的运动。

    Feb, 2024