稳定放置的外部接触区域触觉估计
机器人在开放环境中操作时,会遇到未知的物理特性的新对象,需要通过交互来感知这些特性,并利用生成的世界模型来估计物体的物理参数,并开发一种信息收集模型预测控制器,以自主学习触觉探索策略。我们的研究在虚拟环境中评估了这种方法,发现我们的方法能够以直观的方式高效地收集关于所需特性的信息。最后,我们在真实机器人系统上验证了我们的方法,成功地从零开始学习和执行信息收集策略以估计物体的高度。
Nov, 2023
通过学习低维度的视觉 - 触觉嵌入,本研究利用触觉传感器和视觉数据实现了机器人的触觉信号预测,成功应用于物体识别和抓握稳定性预测任务,并在后两个任务上展现了优越性能。
Mar, 2024
通过使用物理引擎对接触状态进行模拟,并直接从单目图像中重建接触特征,提出了一种手 - 物体接触的精确重建框架。此框架可以被适应于更个性化的手部和更多样化的物体形状,并通过额外的物理特性交互数据集验证准确性和稳定性。
May, 2022
本文章提出了一种使用基于视觉的触觉传感器进行交互式感知的方法,其中训练了一个深度神经网络来预测任意形状的零件的概率对应关系,并设计了一个粒子滤波器来优化感知任务并提高机器人操作的效率。
Mar, 2023
利用视触知觉感知和深度学习的方法来进行机器人操作,其中结合了视触反馈,通过学习神经网络模型进行物体状态估计和未来状态预测。通过使用真实世界的数据进行训练,该模型可以在在线适应中进行触觉信息驱动的预测,具有较强的有效性。
Jul, 2024
本研究提出了一种利用视触反馈隐式表示共同模拟物体变形和接触区域的神经变形接触场表示法(NDCF),并通过训练模拟数据以及无需微调便能将其应用于真实世界。实验结果表明,相对于点云表示法,NDCF 在模拟数据和真实场景下都表现更好。
May, 2023
在这项研究中,我们介绍了一种公式,使得协作机器人能够执行视觉触觉推理 —— 推断物理交互过程中施加力的位置和大小,我们提出了两种不同的模型表示法,在物理模拟中进行训练,使得机器人能够通过视觉和机器人运动观察来实现触觉推理。通过定量评估,我们展示了这些模型在模拟中能够概括不同任务的相互作用、人体尺寸和物体形状。同时,我们也使用我们在模拟中训练的模型,与现实世界中的移动机械手进行实际的物理辅助任务,估算施加的接触力。
Aug, 2022
本文中,我们提出了一种深度触觉模型预测的方法,结合高分辨率触觉传感器,通过无监督自主交互生成模型以从原始触觉传感器输入进行学习,并将学习到的模型用于将物体重新定位到用户指定的配置,从而实现非握持操作的触觉控制。
Mar, 2019