Aug, 2023

学习从刚体的图像预测未知质量分布的 3D 旋转动力学

PDF
TL;DR使用多级预测管道，通过图像序列估计和预测三维旋转动力学，采用物理信息神经网络模型，并在旋转对象的合成图像序列数据集上展示了其有效性，包括正方体、棱柱和卫星等物体的未知均匀和非均匀质量分布。
image observations3d rigid bodiesphysics-informed neural networkrotational dynamicssynthetic images
发现论文，激发创造
  • 从自由旋转的三维刚体的图像中学习可解释的动态学

    本文提出一种物理知识指导的神经网络模型，能够从图像序列中估算预测旋转刚体的 3D 动力学，多阶段预测管道映射图像到与 SO (3) 同胚的潜在表示，通过学习得到的哈密顿表示，利用哈密顿运动方程预测未来的潜在状态。

    Sep, 2022

  • 基于层级运动学概率分布的野外图像 3D 人体形状和姿态估计

    通过训练深度神经网络，使用人体运动树结构来估计相对 3D 关节旋转矩阵的分层矩阵费舍尔分布（即身体姿态）和 SMPL 身体形状参数的高斯分布，实现了对 3D 人体形状和姿态的分布性预测，能够有效地量化预测不确定性并从中采样出多种可能的 3D 重建形式，从而解释给定的输入图像。

    Oct, 2021

  • 从视频中学习三维人体动力学

    通过观察人类运动的视觉序列，我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架，通过简单而有效的图像特征时间编码。在测试过程中，学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动，同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练，通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态，证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。

    Dec, 2018

  • 从图像中无监督学习拉格朗日动力学以实现预测和控制

    该研究论文介绍了一种新的无监督神经网络模型，利用可解释的广义坐标学习图像中的拉格朗日力学，以及物理系统性质的预测和控制。

    Jul, 2020

  • SE3-Nets: 使用深度神经网络学习刚体运动

    SE3- Nets 是深度神经网络，旨在通过原始点云数据来建模和学习刚体运动。它学习分割影响物体部分并预测由应用力导致的运动的 SE3 变换，相较于传统的基于流的神经网络，它能够产生更加一致的运动预测结果。

    Jun, 2016

  • 3D-PhysNet: 学习非刚性对象变形的直观物理

    本文提出了基于 3D-PhysNet 框架的物理建模方法，可以对三维物体在外力作用下的变形进行快速预测，并具有材料属性的泛化性，并且通过深度变分自编码器结合敌对训练的方式进行了材料属性的编码，以及通过级联结构对部分视图下的物体变形进行预测。

    Apr, 2018

  • 牛顿式图像理解：展开静态图片中物体的动态

    该研究介绍了一种名为 Newtonian Neural Network 的中间物理抽象概念，可以从静态图像中学习物体的动态运动以及感受上的力。通过新构建的 Visual Newtonian Dynamics 数据集测试，显示该方法能够可靠地从单个图像中预测查询物体的动态，并支持以速度和力向量的方式进行预测的物理推理。

    Nov, 2015

  • 刚体动力学的结构化学习：从机器人学角度的调查和统一视角

    本文综述了一些通过将数据驱动建模与先前的解析知识相结合的监督回归模型，以在具有刚体力学描述的系统动力学建模中提高数据的效率和物理完整性，并分析了刚体力学的各种潜在函数和算子。

    Dec, 2020

  • 从视频中无监督学习物体结构和动力学

    本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

    Jun, 2019

  • 物体中心视觉预测的物理动态学习

    本研究提出了一种无监督的物体中心预测模型，通过学习物体之间的视觉动态来进行未来预测，实验结果表明该模型在生成视觉质量和物理可靠性方面优于现有技术。

    Mar, 2024