视觉触觉推理：通过观察可变形物体之间的交互来估计接触力

Aug, 2022

视觉触觉推理：通过观察可变形物体之间的交互来估计接触力

Visual Haptic Reasoning: Estimating Contact Forces by Observing Deformable Object Interactions

Yufei Wang, David Held, Zackory Erickson

TL;DR在这项研究中，我们介绍了一种公式，使得协作机器人能够执行视觉触觉推理 —— 推断物理交互过程中施加力的位置和大小，我们提出了两种不同的模型表示法，在物理模拟中进行训练，使得机器人能够通过视觉和机器人运动观察来实现触觉推理。通过定量评估，我们展示了这些模型在模拟中能够概括不同任务的相互作用、人体尺寸和物体形状。同时，我们也使用我们在模拟中训练的模型，与现实世界中的移动机械手进行实际的物理辅助任务，估算施加的接触力。

Abstract

robotic manipulation of highly deformable cloth presents a promising opportunity to assist people with several daily tasks, such as washing dishes; folding laundry; or dressing, bathing, and hygiene assistance fo

robotic manipulation cloth visual haptic reasoning physical interaction simulation

发现论文，激发创造

使用触觉学习布料导航

使用触觉信息，通过控制器来实现机械臂样的操纵工具在模拟中导航变形的衣物是一项挑战。我们提出了一种聚合力信息的控制器，通过沿着操纵工具的多个触觉传感器进行引导。基于触觉力，每个单独的球更新其目标位置，并且通过解决具有约束的逆运动学问题解决这个一组所需位置之间出现的冲突。最后，我们使用强化学习为单个触觉传感器训练控制器，在模拟中成功导航了机械臂样的操纵工具穿过各种服装，包括一个孤立的袖子、夹克、衬衫和短裤。

Mar, 2017

深度触觉模型预测控制的机器人辅助穿衣

介绍了一种深度循环预测模型，可预测机器人给予人体的服装施加的力量，该模型使用从模拟环境中收集的数据进行自我监督训练，为机器人的穿衣辅助提供了更好的解决方案。

Sep, 2017

机器人辅助穿衣任务的协作学习

本文探讨了触觉反馈控制和深度强化学习在机器人辅助穿衣方面的应用，使用物理仿真同时训练人类和机器人控制政策，建立包括人体不足等障碍模型，并成功地控制机器人进行模拟穿衣。

Sep, 2019

基于视觉和触觉数据的触觉理解深度学习

本文提出了一种方法，通过视觉和物理交互数据分类表面，以使机器人更好地了解物体的触觉特性；通过统一学习物理交互和视觉观察特征的方法，使用深度神经网络模型实现更准确的触觉分类。

Nov, 2015

神经场与神经场的感知：手中操作的视觉触觉感知

通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。