Mar, 2023

FingerSLAM：基于视觉触感反馈的闭环未知物体定位与重建

PDF
TL;DR本文提出了 FingerSLAM，一种结合手指触觉传感和腕部摄像头视觉感知的封闭环路因子图姿态估计器，用于关于手中未知物体的 6DoF 定位和 3D 重建，通过该方法可以获得更加准确的估计，并示范了在实际情况下的定量和定性评估。
发现论文，激发创造
  • 手持物品重建的视觉触觉感知

    本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO，并将其扩展到手 - 物体重建的 VTacOH，并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估，展示了其在刚性和不可变形物体重建上具有优异的表现。

    Mar, 2023

  • 基于 LSTM 的触感和动觉信息对象识别的贝叶斯和神经推理

    本研究提出了一种基于多模态对象识别的分析和数据驱动的方法，利用具有高分辨率触觉传感器的三指驱动夹爪进行压缩和释放探索过程（EPs），采集手指关节上的角度传感器获取触觉图像和动觉信息，然后，利用 LSTM 神经网络进行分类，最后通过贝叶斯和神经推理方法融合，对 36 种物体进行测试，结果表明贝叶斯分类器提高了物体识别能力并优于神经网络分类器。

    Jun, 2023

  • TactoFind：一种仅基于触觉的物体检索系统

    本文研究了在视觉感知缺失，对象形状未知且对象可以自由运动的场景下的物体检索问题，提出了一种使用触觉反馈进行定位、识别和抓取新对象的系统。

    Mar, 2023

  • 多目标动态三维形状重建、6 自由度位姿估计和密集抓取预测实时同时完成

    本文介绍了一种新的方法，通过感知系统提供场景中所有物体的几何和语义信息，同时提供这些物体的可行抓取，以加速机器人操作的复杂度。通过详细的定量分析，我们展示了我们的方法通过在 30 帧 / 秒速度下提供竞争性能，以比较专门用于物体形状、姿态和抓取预测的最新技术方法。

    May, 2023

  • 神经场与神经场的感知：手中操作的视觉触觉感知

    通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

    Dec, 2023

  • Fusion++: 三维物体级别 SLAM

    本研究提出了一种在线物体级别 SLAM 系统，该系统通过使用 Mask-RCNN 实例分割将复杂的室内场景中的物体进行重建，没有进行内部变形，并将每个物体的信息存储在可优化的 6DoF 姿态图中，以实现高度内存效率和较高的在线性能。

    Aug, 2018

  • 利用几何接触渲染从第一次接触中感知物体姿态

    本文提出了一种基于模拟的感知模型，可以从单个触觉观察中定位物体的姿态，同时可以推断姿态分布和与其他感知系统或多个接触的约束。

    Dec, 2020

  • 可视惯性单目 SLAM 及地图复用

    本文介绍了一种新的紧密耦合的视觉惯性同时定位和建图系统，采用惯性测量单元进行初始测量，实现了零漂移定位，带有地图重用功能，并应用于单目相机的最一般问题。在微型飞行器公共数据集的 11 个序列中测试了该系统，证明了其比目前最先进的视觉惯性测量方法更为准确。

    Oct, 2016

  • 基于视觉的机器人手爪抓取技术综述：从物体定位、姿态估计到夹爪预测

    本文针对基于视觉的机器人抓取进行了综合调查，总结了视觉基于机器人抓取的三个关键任务：物体定位、物体位姿估计和抓取估计，并详细介绍了这些任务中的传统方法和最新的基于 RGB-D 图像输入的深度学习方法，并总结了相关数据集和最先进方法之间的比较，同时也指出了视觉基于机器人抓取面临的挑战和未来方向。

    May, 2019

  • 透明物体复杂背景下的视觉 - 触觉融合抓取

    本论文提出了一个适用于复杂背景和光线条件下透明对象抓取的视触融合框架，包括抓取位置检测、触觉校准和基于视触融合的分类。该框架综合了视觉和触觉的优势，极大地提高了透明对象的抓取效率。

    Nov, 2022