Sep, 2023

不考虑实例的几何和接触动力学学习

PDF
TL;DR通过使用几何作为共享表示，本研究提出了一种实例不可知的学习框架，融合了视觉与动力学，以同时学习形状、姿态轨迹和物理属性。通过使用 RGBD 视频，无需先验知识和已知形状，该框架能够学习对象的几何和动力学特性。实验证明了该框架在学习刚性和凸物体的几何和动力学方面的能力，并且改进了当前的跟踪框架。
instance-agnostic learningvisiondynamicsgeometryrgbd video
发现论文，激发创造
  • 单目视频中的接触与人类动力学

    本文介绍了一种基于物理模型的方法，用于从视频中推断 3D 人体运动，该方法利用初始的 2D 和 3D 姿态估计作为输入，并通过物理轨迹优化得出一个符合物理规律的运动。实验结果显示，相较于纯运动学方法，该方法能够显著地提高动作的真实性和准确性。

    Jul, 2020

  • 从动态摄像头中学习人类动态学

    本研究提出了一种利用 D&D 学习人体动力学的方法来实现从非惯性的本地帧考虑动态摄像机的惯性力控制来重构 3D 人体运动，并通过概率接触扭矩和基于注意力的 PD 控制来实现弱监督的接触状态，从而在大规模 3D 人体运动基准测试中表现出优越的性能。

    Sep, 2022

  • BundleSDF：未知物体的 6 自由度神经跟踪和 3D 重建

    本研究提出了一种近实时的方法，可以从单目 RGBD 视频序列中对未知物体进行 6 自由度跟踪，并同时进行神经 3D 重建。该方法适用于任意刚体对象，即使视觉纹理基本不存在。该方法的关键在于同时学习神经对象场和姿态图优化过程，以稳健地累积信息以捕捉物体的几何和外观，而不需要其他信息和假设。本方法可以处理具有大的位姿变化，部分遮挡，无纹理表面和高光反射等挑战性序列，而且通过在 HO3D，YCBInEOAT 和 BEHAVE 数据集上的测试，证明本研究方法显著优于现有方法。

    Mar, 2023

  • 实例自适应和几何感知关键点学习用于类别级 6D 物体姿态估计

    提出了一种新颖的 Instance-Adaptive 和 Geometric-Aware Keypoint Learning 方法，用于类别级别的 6D 物体位姿估计。实验结果表明，该方法在没有类别特定形状先验知识的情况下，明显优于现有的方法。

    Mar, 2024

  • GeoNet: 密集深度、光流和相机位姿的无监督学习

    本文提出了 GeoNet，这是一个基于联合无监督学习的框架，可用于从视频中估计单眼深度、光流和 Ego-motion。基于 3D 场景几何关系，由我们的框架以端到端的方式联合学习。实验结果表明，在 KITTI 驾驶数据集中，我们的方法在三个任务中均取得了最先进的成果，优于以前的无监督方法，并与受监督方法相当。

    Mar, 2018

  • 单视角非刚性形状预测的几何感知网络

    提出了一种基于几何感知的深度学习方法，能够在没有预先注册表面模板的情况下，通过单一视角的输入图像，精确预测可变形表面的 3D 形状， 并采用合成数据集和真实基准数据集的实验证明其在 3D 形状预测上超越同类算法，且计算时间明显减少。

    Sep, 2018

  • Sync4D: 基于视频引导的可控物理动力学的 4D 生成

    通过从参考视频中提取对象形状和运动的新型非参数形状重建方法，结合物理模拟和匹配运动进行驱动，实现将参考视频中的对象运动转移到各种不同类别的生成的 3D 高斯函数，确保精确且可定制的运动转换。

    May, 2024

  • 自监督神经骨骼形态和外貌模型

    本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。

    May, 2022

  • 面向活动视觉识别的几何感知循环神经网络

    该研究介绍了使用递归的几何感知神经网络，将一个场景的多个视图中的视觉信息整合到 3D 潜在特征张量中，并直接使用构建的 3D 特征存储器进行物体检测、物体分割和 3D 重建。

    Nov, 2018

  • 一次性几何驱动的交互张量用于自我中心作用感知检测

    利用几何信息推断三维场景中的互动信息和可能性，并在机器人和增强现实场景中进行实验，结果表明可以在新颖信搏的环境下以快速率进行预测。

    Jun, 2019