May, 2023

基于视觉 - 触觉反馈的物体整体变形和接触区域估计

PDF
TL;DR本研究提出了一种利用视触反馈隐式表示共同模拟物体变形和接触区域的神经变形接触场表示法（NDCF），并通过训练模拟数据以及无需微调便能将其应用于真实世界。实验结果表明，相对于点云表示法，NDCF 在模拟数据和真实场景下都表现更好。
object deformationforce transmissionneural deforming contact fieldimplicit representationsphysical priors
发现论文，激发创造
  • 物理编码图神经网络用于接触下形变预测

    机器人学中，通过物理编码的图神经网络，建模刚性网格与可变形网格间的动力学关系，以精确理解接触过程中的物体变形，推动机器人模拟与抓取研究的进展。

    Feb, 2024

  • 稳定放置的外部接触区域触觉估计

    本文介绍了设计用于机器人的反馈技能，使其能够学习在复杂对象上进行堆叠。通过对接触形成期间的触觉读数进行估计，可以推断对象放置的稳定性。

    Sep, 2023

  • 3D-PhysNet: 学习非刚性对象变形的直观物理

    本文提出了基于 3D-PhysNet 框架的物理建模方法，可以对三维物体在外力作用下的变形进行快速预测，并具有材料属性的泛化性，并且通过深度变分自编码器结合敌对训练的方式进行了材料属性的编码，以及通过级联结构对部分视图下的物体变形进行预测。

    Apr, 2018

  • 神经描述符域：SE（3）- 等变物体表征用于操作

    提出了神经描述器场（NDF），一种通过类别级别描述符编码物体和目标（例如机器人夹子或挂架）之间的点和相对姿态的物体表示。通过自我监督学习 3D 自编码任务来方便地训练 NDFs，并将其用于从少量示范中学习物体操作任务，具有跨越所有可能的 3D 物体翻转和旋转的性能。

    Dec, 2021

  • 局部神经描述符场：用于操作的局部条件对象表示

    本文介绍了一种基于局部神经描述符场（L-NDF）的方法，用于将有限数量的物体操作技能推广到未知形状类别的新物体中。通过利用对象之间共享的局部几何形状，将操作演示从旧物体有效地转移到了新物体。在模拟和实际场景中验证了我们的方法在操纵新物体方面的有效性。

    Feb, 2023

  • NDF: 动态人体建模的神经可变场

    本文提出了神经可变形场（NDF）来用于多视角视频中人体动态数字化。首先，采用拟合的参数化身体模型包围学习到的神经可变形场，并利用神经网络来映射动作到 NDF 的动态。实验表明，NDF 能够合成具有新视角和新姿势的数字表演者，具有详细和合理的动态外观，并且明显优于最近的人体合成方法。

    Jul, 2022

  • 神经场与神经场的感知：手中操作的视觉触觉感知

    通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

    Dec, 2023

  • 多模态生成模型学习直觉物理学

    本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

    Jan, 2021

  • RoboPack: 学习基于触觉信息的密集装箱动力学模型

    利用视触知觉感知和深度学习的方法来进行机器人操作，其中结合了视触反馈，通过学习神经网络模型进行物体状态估计和未来状态预测。通过使用真实世界的数据进行训练，该模型可以在在线适应中进行触觉信息驱动的预测，具有较强的有效性。

    Jul, 2024

  • 视觉触觉推理：通过观察可变形物体之间的交互来估计接触力

    在这项研究中，我们介绍了一种公式，使得协作机器人能够执行视觉触觉推理 —— 推断物理交互过程中施加力的位置和大小，我们提出了两种不同的模型表示法，在物理模拟中进行训练，使得机器人能够通过视觉和机器人运动观察来实现触觉推理。通过定量评估，我们展示了这些模型在模拟中能够概括不同任务的相互作用、人体尺寸和物体形状。同时，我们也使用我们在模拟中训练的模型，与现实世界中的移动机械手进行实际的物理辅助任务，估算施加的接触力。

    Aug, 2022