Jun, 2023

物体堆叠操作的动态分辨率模型学习

PDF
TL;DR本研究提出一种采用动态分辨率粒子表示方法，利用图神经网络（GNNs）学习统一的动力学模型，在不同的抽象级别上动态学习和适应表示，以实现效率和效果的最佳平衡，经过模拟和实际场景的综合评估，我们证明了该方法在搜集、分类、重新分配各种实例制成的颗粒物体堆方面的性能明显优于现有的固定分辨率基线。
发现论文，激发创造
  • 颗粒物堆积操纵的神经场动力学模型

    基于学习的动力学模型用于颗粒材料操纵，通过卷积神经网络实现了对物体堆和推动者的密度场表示，结合可微分的操作渲染模块，与基于梯度的轨迹优化算法进行直接集成，通过在模拟和实验中验证表明其在准确性和计算效率方面明显超越现有的基于潜变量或基于粒子的方法，并在各种环境和任务中展示了零样本泛化能力。

    Nov, 2023

  • DensePhysNet: 通过多步动态交互学习密集物理物体表示

    本文提出 DensePhysNet 对于机器人物体操纵的物理表示的学习方法，通过动态交互序列和深度预测模型学习密集的像素表示，可以直接解码物理物体属性，并在下游任务中实现更精确和更有效的操纵。

    Jun, 2019

  • 利用 Contrastive Estimation 学习变形物体的预测表示

    本研究提出了一种新的学习框架，使用对比估计来同时优化可视化表达模型和动态模型，在随机扰动变形对象并收集了模拟数据后，离线学习这些对象的潜在动态模型，随后使用简单的模型规划来解决具有挑战性的变形对象操纵任务，实验结果表明其性能优于传统模型学习技术，并通过域随机化将其可视化操纵策略从模拟数据成功地迁移到现实中的 PR2 机器人中。

    Mar, 2020

  • 学习用于机器人操作的 3D 动态场景表达

    介绍了一种通过同时发现、跟踪、重构对象及预测其动态来捕获三个关键对象属性的三维动态场景表示方法 DSR，基于此提出了 DS 核网络 DSR-Net 模型，在建立和优化 DSR 模型的过程中逐渐聚合视觉观测，并在仿真和实际数据上实现了 3D 场景动力学建模的最新性能，结合模型预测控制，也为下游机器人操作任务如平面推动提供了准确规划的能力。

    Nov, 2020

  • 用于视觉运动控制的三维神经场景表示

    本文提出了一种从 2D 视觉观察中学习动态 3D 场景模型的方法，结合神经放射场、时间对比学习和自动编码框架，可以学习到视点不变的 3D 感知场景表示，进而实现包括刚体和流体在内的具有挑战性的操作任务的视觉运动控制和未来预测，并支持摄影机视点外训练分布的目标规定，此外，还对不同系统设计进行了详细的改变研究和学习的表示的定性分析。

    Jul, 2021

  • 强化学习中动态物体的运动感知

    本文研究了动态环境下机器学习控制问题，提出了显式地学习动作表示可以提高学习控制器的质量，在某些情况下不需要额外的监督，通过使用图像差异来替代时序帧堆叠能够取得更好的效果。

    Jan, 2019

  • 物体中心视觉预测的物理动态学习

    本研究提出了一种无监督的物体中心预测模型，通过学习物体之间的视觉动态来进行未来预测，实验结果表明该模型在生成视觉质量和物理可靠性方面优于现有技术。

    Mar, 2024

  • 使用引导式策略搜索学习接触丰富型操作技能

    本文介绍了一种用于学习具有高度通用策略表示的动态操作行为的新方法，该方法可以扩展最近开发的策略搜索方法，并使用迭代重新拟合的时间变化线性模型来学习所需运动技能的一组轨迹，然后将这些轨迹统一到一个单一的控制策略中。

    Jan, 2015

  • 在线动态适应和神经网络先验的一次性操作技能学习

    本研究提出了一种基于模型的强化学习算法，将以前任务的先验知识与在线动态模型适应相结合，实现了高效学习，并且成功地应用于各种复杂机器人操纵任务。

    Sep, 2015

  • 基于模型的视觉演示逆强化学习

    本文介绍了一种基于梯度的反向强化学习框架，利用预训练的视觉动态模型从视觉人类演示中学习成本函数，并通过视觉模型预测控制来复制演示行为，以解决机器人操作中的未知动力学等问题。我们在两个基本的对象操作任务上评估了我们的框架。

    Oct, 2020