Dec, 2023

神经场与神经场的感知：手中操作的视觉触觉感知

PDF
TL;DR通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。
robotsin-hand manipulationmultimodal sensingobject pose and shapevisual occlusion
发现论文，激发创造
  • 机器人共感：视触感知下的手部操纵

    使用视觉和触觉感知输入实现灵巧的手中操作是一项具有挑战性的任务，本文提出了一种基于点云的触觉表示方法 Robot Synesthesia，该方法通过同时无缝地整合视觉和触觉输入，提供更丰富的空间信息，有助于更好地推理机器人动作，通过在模拟环境中训练并应用于真实机器人，可适用于各种手中物体旋转任务，并通过综合消融实验验证了视觉和触觉的整合如何改善强化学习和实验到真实场景的性能。

    Dec, 2023

  • 基于 LSTM 的触感和动觉信息对象识别的贝叶斯和神经推理

    本研究提出了一种基于多模态对象识别的分析和数据驱动的方法，利用具有高分辨率触觉传感器的三指驱动夹爪进行压缩和释放探索过程（EPs），采集手指关节上的角度传感器获取触觉图像和动觉信息，然后，利用 LSTM 神经网络进行分类，最后通过贝叶斯和神经推理方法融合，对 36 种物体进行测试，结果表明贝叶斯分类器提高了物体识别能力并优于神经网络分类器。

    Jun, 2023

  • 手持物品重建的视觉触觉感知

    本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO，并将其扩展到手 - 物体重建的 VTacOH，并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估，展示了其在刚性和不可变形物体重建上具有优异的表现。

    Mar, 2023

  • 具有神经对象形状完善功能的拟人抓握

    通过从部分观测中重建和完成其全面几何结构，并利用七自由度的拟人化机器人手进行操作，我们的方法显著提高了只有部分重建的基线的抓取成功率近 30％，并以三个不同的对象类别多次实现了超过 150 次成功抓取，这表明我们的方法在真实世界的不同方向和位置基于完成的对象形状进行预测和执行抓取姿势的一贯能力，为增强需要实际重建对象的精确抓取和操作技能的机器人应用开辟了新的可能性。

    Nov, 2023

  • 学习使用视觉和触觉抓取和重新抓取

    本论文提出了一个基于深度学习的端到端操作条件模型，通过学习来自 GelSight 传感器的神经张量图像的触觉和视觉数据，从而使机器人学会了如何使用触觉信息来调整其抓取力度，以达到高效的抓取。

    May, 2018

  • 机器人的视觉触觉物体感知：概述

    本文概述了机器人的视觉 - 触觉对象感知的现状和挑战，并讨论了多模式机器学习的主要挑战和最新进展。

    Mar, 2022

  • 非视觉状态下的旋转：通过触感增强手部灵巧性

    该研究论文介绍了一种使用密集二进制力传感器获取触觉信息的设计，使得多指机器人手能够进行离线物体旋转，无需依赖于视觉信息，通过强化学习的方法进行培训，能够扩展到实际场景中，并对触觉信息对于手部操纵的帮助进行了广泛的实验。

    Mar, 2023

  • DexTouch：学习使用触觉灵巧性寻找和操纵物体

    通过使用触觉传感器而无需依赖视觉信息，我们介绍了一个多指机器人系统，用于搜索和操纵随机位置的目标物体，并在模拟环境中训练和转移政策，证明了使用触觉传感器进行物体搜索和操纵任务的可行性，以实现赋予机器人类似人类触觉能力的目标。

    Jan, 2024

  • 基于分层图神经网络的手持物体本体感 6D 位姿估计

    本研究提出了一种基于多模态数据融合和图神经网络的机器人手部操作姿态估计方法，利用物体特征结构和内部的感性信息来提高估计精度，并在 YCB 数据集和实际机器人操作中进行了验证。

    Jun, 2023

  • 接触筛选：零件匹配的交互式触觉感知

    本文章提出了一种使用基于视觉的触觉传感器进行交互式感知的方法，其中训练了一个深度神经网络来预测任意形状的零件的概率对应关系，并设计了一个粒子滤波器来优化感知任务并提高机器人操作的效率。

    Mar, 2023