Sep, 2023

视觉和触觉的手持物体总体旋转

PDF
TL;DR我们介绍了 RotateIt，这是一个通过利用多模式感知输入实现多轴指尖物体旋转的系统。系统在模拟环境中训练，可以访问物体的真实形状和物理属性，然后通过模拟的视觉触觉和本体觉感知输入进行操作。通过触视觉变压器将多模态输入融合，实现了部署过程中对物体形状和物理属性进行在线推断，显示出较之前方法的显著性能改进以及视觉和触觉感知的重要性。
rotateitfingertip-based object rotationmultimodal sensory inputssimulated visuotactile and proprioceptive sensory inputsperformance improvements
发现论文，激发创造
  • AnyRotate: 无论重力如何，通过模拟与实际触摸实现手中物体的旋转

    利用丰富的触觉反馈信息，通过模拟训练和零样本策略转移的方法，实现了在手物体多轴重力无关的旋转，并且证明了信息丰富的触觉感知对于手持操作的重要性。

    May, 2024

  • 非视觉状态下的旋转：通过触感增强手部灵巧性

    该研究论文介绍了一种使用密集二进制力传感器获取触觉信息的设计，使得多指机器人手能够进行离线物体旋转，无需依赖于视觉信息，通过强化学习的方法进行培训，能够扩展到实际场景中，并对触觉信息对于手部操纵的帮助进行了广泛的实验。

    Mar, 2023

  • 通过快速电机适应实现手中物体的旋转

    本文介绍了使用自适应控制器和动态调整策略训练的机器人手指智能旋转物体的方法，该方法只需要使用手指就可以对各种大小、形状和重量的物体进行旋转，具有很好的稳定性和自适应性，为机器人手部操作的研究提供了一个新思路。

    Oct, 2022

  • 手持物品重建的视觉触觉感知

    本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO，并将其扩展到手 - 物体重建的 VTacOH，并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估，展示了其在刚性和不可变形物体重建上具有优异的表现。

    Mar, 2023

  • 神经场与神经场的感知：手中操作的视觉触觉感知

    通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

    Dec, 2023

  • 机器人共感：视触感知下的手部操纵

    使用视觉和触觉感知输入实现灵巧的手中操作是一项具有挑战性的任务，本文提出了一种基于点云的触觉表示方法 Robot Synesthesia，该方法通过同时无缝地整合视觉和触觉输入，提供更丰富的空间信息，有助于更好地推理机器人动作，通过在模拟环境中训练并应用于真实机器人，可适用于各种手中物体旋转任务，并通过综合消融实验验证了视觉和触觉的整合如何改善强化学习和实验到真实场景的性能。

    Dec, 2023

  • 视觉敏捷性：来自深度图像的手内灵巧操纵

    该论文介绍了一个基于强化学习的通用物体重新定位控制器，使用廉价深度相机内置单个传感器可以动态地实时重新定位复杂物体，具有在真实世界中重现的能力，且硬件成本低廉，可以使未来的技术民主化。

    Nov, 2022

  • 视觉和触觉的三维形状重建

    本文研究 3D 形状重建中视觉和触觉信息的多模式融合问题，并提出了一种基于图表的方法，该方法有助于提高重建质量，并且通过一个机器人手与 3D 物体的交互生成了一个仿真数据集。结果表明，利用视觉与触觉信号可以显著改善基准单一模态的重建表现，本方法优于替代模态融合方法并受益于所提出的基于图表的结构。

    Jul, 2020

  • 通用手持物体重定向系统

    本文提出了一个简单的、无模型的框架，可以学习如何重新定向物体，展示了超过 2000 种几何不同的物体在不同情况下的重新排列能力，并证明了此策略能够在真实世界中可行的证据。

    Nov, 2021

  • 用于空中操纵的视觉惯性远程操作

    本文提出了一种新型的遥操作系统，其结合了触觉设备和虚拟现实，为遥操作者提供 3D 视觉反馈，通过利用机载视觉和惯性传感器、对象跟踪算法和对象数据库实现。通过室内和室外实验，我们证明了提出的系统在实现高级空中操作任务方面的优势，包括抓取、放置、施力和插销孔插入。

    Mar, 2020