DensePhysNet: 通过多步动态交互学习密集物理物体表示
本文提出了基于 3D-PhysNet 框架的物理建模方法,可以对三维物体在外力作用下的变形进行快速预测,并具有材料属性的泛化性,并且通过深度变分自编码器结合敌对训练的方式进行了材料属性的编码,以及通过级联结构对部分视图下的物体变形进行预测。
Apr, 2018
本文提出一种基于无监督学习的密集物体描述学习方法:Dense Object Nets,可用于视觉理解和操作,适用于针对刚性和非刚性物体的各种操作任务,并能够为多个物体类别提供通用描述。
Jun, 2018
本研究提出一种采用动态分辨率粒子表示方法,利用图神经网络(GNNs)学习统一的动力学模型,在不同的抽象级别上动态学习和适应表示,以实现效率和效果的最佳平衡,经过模拟和实际场景的综合评估,我们证明了该方法在搜集、分类、重新分配各种实例制成的颗粒物体堆方面的性能明显优于现有的固定分辨率基线。
Jun, 2023
本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络,并确定物理属性。实验中,我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性,我们还比较了我们的受监督和自我监督方法的准确性,并展示了我们的方法预测未来视频帧的能力。
Sep, 2020
提出了一种分层粒子物体表示和基于分层图卷积的神经网络 HRN,可以准确预测和生成复杂碰撞和非刚性变形的物理动力学,具有潜在的在计算机视觉、机器人和计算认知科学领域中使用的下一代物理学预测模型的潜力。
Jun, 2018
本研究提出了一种名为 Sim-to-Real Dense Object Nets (SRDONs) 的密集对象描述符,可实现从虚拟到真实环境的机器人物体识别一致性,并能够映射到一个统一的特征空间。在实验中,我们证明预训练的 SRDONs 可大幅提高各种机器人任务中对未知物体和未知视觉环境的性能表现。
Apr, 2023
本文介绍了一种基于视觉的元学习算法 DexNet-CNP,通过条件神经过程来学习不同物理特性进行抓取,模型在各种物体上的测试结果优于 DexNet-2.0。
May, 2022
利用视触知觉感知和深度学习的方法来进行机器人操作,其中结合了视触反馈,通过学习神经网络模型进行物体状态估计和未来状态预测。通过使用真实世界的数据进行训练,该模型可以在在线适应中进行触觉信息驱动的预测,具有较强的有效性。
Jul, 2024
本文提出了神经物理引擎(NPE),它是一个学习具有直觉物理的模拟器的框架,并自然地推广到可变对象计数和不同场景配置。作者将物理场景分解为可组合的基于对象的表示,并使用神经网络架构对对象动态进行分解。通过与非结构化架构进行比较,作者表明,NPE 对物理交互中的结构表示改善了其预测运动能力,能够在不同场景中进行推广,并推断出物体的潜在属性。
Dec, 2016