Dec, 2023

机器人共感：视触感知下的手部操纵

PDF
TL;DR使用视觉和触觉感知输入实现灵巧的手中操作是一项具有挑战性的任务，本文提出了一种基于点云的触觉表示方法 Robot Synesthesia，该方法通过同时无缝地整合视觉和触觉输入，提供更丰富的空间信息，有助于更好地推理机器人动作，通过在模拟环境中训练并应用于真实机器人，可适用于各种手中物体旋转任务，并通过综合消融实验验证了视觉和触觉的整合如何改善强化学习和实验到真实场景的性能。
发现论文，激发创造
  • 神经场与神经场的感知：手中操作的视觉触觉感知

    通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

    Dec, 2023

  • DexTouch：学习使用触觉灵巧性寻找和操纵物体

    通过使用触觉传感器而无需依赖视觉信息，我们介绍了一个多指机器人系统，用于搜索和操纵随机位置的目标物体，并在模拟环境中训练和转移政策，证明了使用触觉传感器进行物体搜索和操纵任务的可行性，以实现赋予机器人类似人类触觉能力的目标。

    Jan, 2024

  • 非视觉状态下的旋转：通过触感增强手部灵巧性

    该研究论文介绍了一种使用密集二进制力传感器获取触觉信息的设计，使得多指机器人手能够进行离线物体旋转，无需依赖于视觉信息，通过强化学习的方法进行培训，能够扩展到实际场景中，并对触觉信息对于手部操纵的帮助进行了广泛的实验。

    Mar, 2023

  • 结合视觉和触觉感知进行视频预测

    本论文探究将触觉感应应用于物理机器人相互作用的视频预测模型，结果表明增加触觉反馈有助于提高场景预测准确性和增强机器人在物理相互作用过程中的感知和理解能力。

    Apr, 2023

  • Touching to See” and “Seeing to Feel”: 用于视觉触觉知觉的机器人跨模态感官数据生成

    本文提出了一种新的框架，利用条件生成对抗网络生成视觉或触觉图像，以实现视觉和触觉知觉的跨模态感知，并在 ViTac 数据集上进行了广泛实验，结果表明该方法能够生成逼真的数据并且有潜力扩大分类任务的数据集，生成不易获取的感官输出，并推进视觉 - 触觉知觉的整合。

    Feb, 2019

  • 看得见，触得到：通过视觉激励学习触觉灵巧度

    通过利用视觉奖励来优化敏感性策略的触觉适应 (TAVI) 框架，通过在线强化学习，在多指机器人上取得了可观的成功率，提高了性能。

    Sep, 2023

  • 机器人事件驱动的视觉和触觉感知与学习

    本文介绍了一个基于事件触觉感测器和多模式脉冲神经网络的事件驱动的视觉触觉感知系统，评估了其在两个机器人任务上的表现，并提供了可用于其他研究的数据集。

    Sep, 2020

  • 视觉与触觉的整合：自监督学习的多模态接触任务表示

    本文使用自我监督的方式学习了一种紧凑的多模态表示方法，将触觉和视觉反馈结合起来，以改善高维输入控制策略的样本效率，该方法在模拟和实际机器人实验中均表现出鲁棒性和广泛泛化能力。

    Oct, 2018

  • 通过跨模态预测连接触觉和视觉

    本文通过在机器人装备视觉和触觉传感器，收集大规模视觉和触觉图像序列数据，使用条件对抗式模型，实现视觉和触觉的交叉连接，来合成视觉数据和触觉信号，并想象人与物体的互动。

    Jun, 2019

  • 基于 LSTM 的触感和动觉信息对象识别的贝叶斯和神经推理

    本研究提出了一种基于多模态对象识别的分析和数据驱动的方法，利用具有高分辨率触觉传感器的三指驱动夹爪进行压缩和释放探索过程（EPs），采集手指关节上的角度传感器获取触觉图像和动觉信息，然后，利用 LSTM 神经网络进行分类，最后通过贝叶斯和神经推理方法融合，对 36 种物体进行测试，结果表明贝叶斯分类器提高了物体识别能力并优于神经网络分类器。

    Jun, 2023