SE3-Nets: 使用深度神经网络学习刚体运动
本文介绍一种使用结构化的深度动态模型的方法实现深度视觉运动控制,使用一个低维度姿态嵌入来学习姿态嵌入为控制目标,使用点云数据实现监督训练,该模型能够实现实时、高效地控制机器人动作。
Oct, 2017
该论文提出了一种使用深度神经网络从非结构化点云中估计三维运动的方法,同时也能预测场景中物体的三维边界框和刚体运动。作者还采用虚拟物体增强真实扫描数据来训练网络,并与传统技术和基于学习的技术进行了全面比较。
Jun, 2018
本研究提出了一种新颖的神经网络模型 FlowNet3D,该模型旨在从点云数据中学习场景流,该模型可以通过扫描定位和运动分割等多种应用,对 Lidar 扫描等多种实际场景进行高效准确的场景流处理。
Jun, 2018
本文提出了基于 3D-PhysNet 框架的物理建模方法,可以对三维物体在外力作用下的变形进行快速预测,并具有材料属性的泛化性,并且通过深度变分自编码器结合敌对训练的方式进行了材料属性的编码,以及通过级联结构对部分视图下的物体变形进行预测。
Apr, 2018
本文提出了一种几何感知的神经网络 SfM-Net,可用于视频中的运动估计,通过分解场景和物体深度、相机运动、3D 物体旋转和平移来处理像素运动,该模型可通过不同程度的监督训练,包括自监督、相机运动监督和深度监督,成功地估计出帧间相机旋转和平移,并对运动物体进行了有效地分割。
Apr, 2017
使用多级预测管道,通过图像序列估计和预测三维旋转动力学,采用物理信息神经网络模型,并在旋转对象的合成图像序列数据集上展示了其有效性,包括正方体、棱柱和卫星等物体的未知均匀和非均匀质量分布。
Aug, 2023
该研究提出了一种使用 SE (3) 等变特征进行刚体分割和运动估计的无监督学习方法,大大提高了模型效率和性能,并在四个数据集上进行实验证明了其有效性。
Jun, 2023
该研究提出了一种基于深度学习的方法来将视频分解为三维几何(摄像机和深度)、运动物体和它们的运动,其中没有监督。通过最小化合成图像和对应真实图像之间的误差,可以完全无监督地训练预测姿态和深度的深度网络,同时在图像的小区域内预测不同的姿态,实现 6D 物体运动的丰富模型,实现了在 KITTI 上无监督里程计和深度预测的非常有竞争力的性能,同时在 EPIC-Kitchens 上实现了自动恢复深度、里程、对象分割或运动的新能力。
May, 2021
提出了一种新的神经网络训练框架,可以在只有 2D 注释的情况下学习非刚性物体的 3D 信息,该框架通过自动确定适当的旋转解决了非刚性结构运动估计中同时估计旋转和变形的难点,使用损失函数进行训练后,网络可以学习人类骨架和面孔等对象的 3D 结构,在测试过程中可以处理带有丢失入口的输入,实验证明该框架表现优异,即使底层网络结构非常简单,在 Human 3.6M、300-VW 和 SURREAL 数据集上均优于现有最先进的方法。
Jul, 2020
本文提出一种物理知识指导的神经网络模型,能够从图像序列中估算预测旋转刚体的 3D 动力学,多阶段预测管道映射图像到与 SO (3) 同胚的潜在表示,通过学习得到的哈密顿表示,利用哈密顿运动方程预测未来的潜在状态。
Sep, 2022