从自由旋转的三维刚体的图像中学习可解释的动态学
使用多级预测管道,通过图像序列估计和预测三维旋转动力学,采用物理信息神经网络模型,并在旋转对象的合成图像序列数据集上展示了其有效性,包括正方体、棱柱和卫星等物体的未知均匀和非均匀质量分布。
Aug, 2023
该研究介绍了一种名为 Newtonian Neural Network 的中间物理抽象概念,可以从静态图像中学习物体的动态运动以及感受上的力。通过新构建的 Visual Newtonian Dynamics 数据集测试,显示该方法能够可靠地从单个图像中预测查询物体的动态,并支持以速度和力向量的方式进行预测的物理推理。
Nov, 2015
本研究针对无监督的视频对象结构和动态提取及预测的挑战,采用基于关键点的图像表示方法,并在关键点的动力学模型上进行学习,以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示,并在多个数据集和任务中进行了评估和验证。
Jun, 2019
通过观察人类运动的视觉序列,我们可以轻松猜测人在过去和未来的 3D 运动。我们提出了一个可以学习人类 3D 动力学表示的框架,通过简单而有效的图像特征时间编码。在测试过程中,学习到的时空表示能够预测具有平稳性的 3D 网格。我们的模型可以从单个图像中恢复当前的 3D 网格以及它未来和过去的 3D 运动,同时也可以通过半监督学习从带有 2D 姿态标注的自然视频中学习。我们通过对来自互联网海量未标记数据的模型训练,通过已有的 2D 姿态检测器得到伪基础真值 2D 姿态,证明了我们的模型可以自举学习并在三维动作预测任务中获得最新的性能。
Dec, 2018
我们提出了一个框架,旨在学习两个连续时间步骤中观察到的图像之间的基本动态。通过估计图像演化的中间阶段,我们的方法关注在保持图像的空间相关性的同时提供可解释性,并通过偏微分方程中表示的物理模型引入潜在动态学变量,确保了所学模型的可解释性并提供了相应图像动态的洞察力。通过对地球科学图像数据进行一系列数值测试,我们证明了我们学习框架的鲁棒性和有效性。
Oct, 2023
SE3- Nets 是深度神经网络,旨在通过原始点云数据来建模和学习刚体运动。它学习分割影响物体部分并预测由应用力导致的运动的 SE3 变换,相较于传统的基于流的神经网络,它能够产生更加一致的运动预测结果。
Jun, 2016
本文综述了一些通过将数据驱动建模与先前的解析知识相结合的监督回归模型,以在具有刚体力学描述的系统动力学建模中提高数据的效率和物理完整性,并分析了刚体力学的各种潜在函数和算子。
Dec, 2020
该论文提出了一种使用深度神经网络从非结构化点云中估计三维运动的方法,同时也能预测场景中物体的三维边界框和刚体运动。作者还采用虚拟物体增强真实扫描数据来训练网络,并与传统技术和基于学习的技术进行了全面比较。
Jun, 2018
本文提出了基于 3D-PhysNet 框架的物理建模方法,可以对三维物体在外力作用下的变形进行快速预测,并具有材料属性的泛化性,并且通过深度变分自编码器结合敌对训练的方式进行了材料属性的编码,以及通过级联结构对部分视图下的物体变形进行预测。
Apr, 2018