CVPRMar, 2023

手持物品重建的视觉触觉感知

PDF
TL;DR本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO，并将其扩展到手 - 物体重建的 VTacOH，并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估，展示了其在刚性和不可变形物体重建上具有优异的表现。
tactile sensingvisual-tactile learningobject reconstructionsimulation environmenthand-object interaction
发现论文，激发创造
  • 神经场与神经场的感知：手中操作的视觉触觉感知

    通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

    Dec, 2023

  • 视觉和触觉的三维形状重建

    本文研究 3D 形状重建中视觉和触觉信息的多模式融合问题，并提出了一种基于图表的方法，该方法有助于提高重建质量，并且通过一个机器人手与 3D 物体的交互生成了一个仿真数据集。结果表明，利用视觉与触觉信号可以显著改善基准单一模态的重建表现，本方法优于替代模态融合方法并受益于所提出的基于图表的结构。

    Jul, 2020

  • 透明物体复杂背景下的视觉 - 触觉融合抓取

    本论文提出了一个适用于复杂背景和光线条件下透明对象抓取的视触融合框架，包括抓取位置检测、触觉校准和基于视触融合的分类。该框架综合了视觉和触觉的优势，极大地提高了透明对象的抓取效率。

    Nov, 2022

  • 机器人共感：视触感知下的手部操纵

    使用视觉和触觉感知输入实现灵巧的手中操作是一项具有挑战性的任务，本文提出了一种基于点云的触觉表示方法 Robot Synesthesia，该方法通过同时无缝地整合视觉和触觉输入，提供更丰富的空间信息，有助于更好地推理机器人动作，通过在模拟环境中训练并应用于真实机器人，可适用于各种手中物体旋转任务，并通过综合消融实验验证了视觉和触觉的整合如何改善强化学习和实验到真实场景的性能。

    Dec, 2023

  • TactoFind：一种仅基于触觉的物体检索系统

    本文研究了在视觉感知缺失，对象形状未知且对象可以自由运动的场景下的物体检索问题，提出了一种使用触觉反馈进行定位、识别和抓取新对象的系统。

    Mar, 2023

  • FingerSLAM：基于视觉触感反馈的闭环未知物体定位与重建

    本文提出了 FingerSLAM，一种结合手指触觉传感和腕部摄像头视觉感知的封闭环路因子图姿态估计器，用于关于手中未知物体的 6DoF 定位和 3D 重建，通过该方法可以获得更加准确的估计，并示范了在实际情况下的定量和定性评估。

    Mar, 2023

  • 看得见，触得到：通过视觉激励学习触觉灵巧度

    通过利用视觉奖励来优化敏感性策略的触觉适应 (TAVI) 框架，通过在线强化学习，在多指机器人上取得了可观的成功率，提高了性能。

    Sep, 2023

  • 多模态生成模型学习直觉物理学

    本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

    Jan, 2021

  • 将其推至示范极限：多模态视触力仿真学习与力匹配

    研究了视触觉感知与模仿学习相结合在接触丰富的操作任务中的作用，利用光学触觉传感器和创新算法收集触觉力量数据，并通过可视 / 触觉模式切换简化传感器的应用，实验结果强调触觉感知在模仿学习中的重要性。

    Nov, 2023

  • ViHOPE：视触觉手持物体 6D 姿态估计与形状补全

    提出了一种新颖的 ViHOPE 框架，用于利用视触知感知估计手持物体的六维位姿，通过显式完成物体的形状，提高了六维物体位姿估计的准确性。

    Sep, 2023