学习使用视觉和触觉抓取和重新抓取

May, 2018

学习使用视觉和触觉抓取和重新抓取

More Than a Feeling: Learning to Grasp and Regrasp using Vision and Touch

Roberto Calandra, Andrew Owens, Dinesh Jayaraman, Justin Lin, Wenzhen Yuan...

TL;DR本论文提出了一个基于深度学习的端到端操作条件模型，通过学习来自 GelSight 传感器的神经张量图像的触觉和视觉数据，从而使机器人学会了如何使用触觉信息来调整其抓取力度，以达到高效的抓取。

Abstract

For humans, the process of grasping an object relies heavily on rich tactile feedback. Most recent robotic grasping work, however, has been based only on visual input, and thus cannot easily benefit from feedback after initiating contact. In this paper, we investigate how a robot can l

robotic grasping tactile information end-to-end model deep learning gelsight sensors

发现论文，激发创造

通过模拟触觉转换调整握持

本论文提出了一种新的重新抓取控制策略，该策略利用触觉传感器计划局部抓握调整，通过深度学习网络构建基于触觉的抓握质量度量来确定重新抓取动作，并且该方法在测试集上将抓握成功率平均提高了 70%。

Mar, 2018

成功感：触觉有助于预测抓握结果吗？

研究探讨了在多模态感知框架下，通过使用触觉传感器和视觉传感器共同预测机器人抓取结果，发现结合触觉传感器可显著提高机器人抓取性能。

Oct, 2017

看得见，触得到：通过视觉激励学习触觉灵巧度

通过利用视觉奖励来优化敏感性策略的触觉适应 (TAVI) 框架，通过在线强化学习，在多指机器人上取得了可观的成功率，提高了性能。

Sep, 2023

结合视觉和触觉感知进行视频预测

本论文探究将触觉感应应用于物理机器人相互作用的视频预测模型，结果表明增加触觉反馈有助于提高场景预测准确性和增强机器人在物理相互作用过程中的感知和理解能力。

Apr, 2023

神经场与神经场的感知：手中操作的视觉触觉感知

通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

Dec, 2023

触觉操纵：基于深度预测模型的触控控制

本文中，我们提出了一种深度触觉模型预测的方法，结合高分辨率触觉传感器，通过无监督自主交互生成模型以从原始触觉传感器输入进行学习，并将学习到的模型用于将物体重新定位到用户指定的配置，从而实现非握持操作的触觉控制。

Mar, 2019

DexTouch：学习使用触觉灵巧性寻找和操纵物体

通过使用触觉传感器而无需依赖视觉信息，我们介绍了一个多指机器人系统，用于搜索和操纵随机位置的目标物体，并在模拟环境中训练和转移政策，证明了使用触觉传感器进行物体搜索和操纵任务的可行性，以实现赋予机器人类似人类触觉能力的目标。

Jan, 2024

从模拟到机器人的触觉基连续力控制策略转移

使用触觉传感器，并通过模型无关的深度强化学习方法实现力量控制，能够在仿真环境中进行训练，然后转移到实际机器人上，实现模拟到实际的迁移。

Nov, 2023

理解视觉和触觉：学习接触丰富任务的多模态表征

本文提出一种使用自我监督的方法学习机器人多模态的传感输入表示，来提高学习策略的样本效率，以期应对传统方法在在处理未结构化环境下的接触丰富型操作上的局限性。在模拟环境和物理机器人实验中验证了该方法的有效性。

Jul, 2019

视觉与触觉的整合：自监督学习的多模态接触任务表示

本文使用自我监督的方式学习了一种紧凑的多模态表示方法，将触觉和视觉反馈结合起来，以改善高维输入控制策略的样本效率，该方法在模拟和实际机器人实验中均表现出鲁棒性和广泛泛化能力。

Oct, 2018