Nov, 2020

透过皮肤看世界：利用新型视触感传感器识别物体

PDF
TL;DR本文介绍一种新的基于视觉的传感器，并结合高分辨率触觉发射，以统一的硬件和计算体系结构进行处理；该传感器在多模式物体识别和计量方面表现出良好效果，并且在触觉和视觉领域上具有重要的物理含义，数据验证了其能力可以从深度学习视觉和触觉结合的角度对家庭物品进行分类，识别细节纹理并推断其物理属性。
vision-based sensormulti-modal sensingobject recognitiontactile sendingdeep learning architecture
发现论文，激发创造
  • 将其推至示范极限：多模态视触力仿真学习与力匹配

    研究了视触觉感知与模仿学习相结合在接触丰富的操作任务中的作用，利用光学触觉传感器和创新算法收集触觉力量数据，并通过可视 / 触觉模式切换简化传感器的应用，实验结果强调触觉感知在模仿学习中的重要性。

    Nov, 2023

  • 多模态生成模型学习直觉物理学

    本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

    Jan, 2021

  • 手持物品重建的视觉触觉感知

    本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO，并将其扩展到手 - 物体重建的 VTacOH，并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估，展示了其在刚性和不可变形物体重建上具有优异的表现。

    Mar, 2023

  • 基于物理渲染的基于视觉的触觉传感器模拟

    本文介绍了使用基于物理渲染技术的全面一般的光学触觉模拟系统，实现了高质量的图像相似度度量，其开源代码和实验数据均可在此 https URL 获得。

    Dec, 2020

  • 伪触感：高效感知机器人操作中物体表面的触觉

    通过学习低维度的视觉 - 触觉嵌入，本研究利用触觉传感器和视觉数据实现了机器人的触觉信号预测，成功应用于物体识别和抓握稳定性预测任务，并在后两个任务上展现了优越性能。

    Mar, 2024

  • 盲人触觉设备上的物体识别系统

    本文旨在开发一种设备，将视觉信息转换为听觉反馈，以协助视障者更好地了解他们的环境，该设备的选择基于准确性和成本方面的考虑，包括时间和功耗等因数，经测试，其在场景理解，包括静态或动态的对象，以及屏幕内容如电视、电脑和手机等方面具有显著的效果。

    Jul, 2023

  • TransTouch：透明物体的深度感知学习与稀疏触摸

    通过使用触觉反馈的探测系统自动收集稀疏深度标签并对立体网络进行微调，结合触觉深度监督和基于置信度的正则化以优化深度感知，特别是对于透明物体而言，在真实世界中显著提高了深度感知的准确性。

    Sep, 2023

  • TactoFind：一种仅基于触觉的物体检索系统

    本文研究了在视觉感知缺失，对象形状未知且对象可以自由运动的场景下的物体检索问题，提出了一种使用触觉反馈进行定位、识别和抓取新对象的系统。

    Mar, 2023

  • Touching to See” and “Seeing to Feel”: 用于视觉触觉知觉的机器人跨模态感官数据生成

    本文提出了一种新的框架，利用条件生成对抗网络生成视觉或触觉图像，以实现视觉和触觉知觉的跨模态感知，并在 ViTac 数据集上进行了广泛实验，结果表明该方法能够生成逼真的数据并且有潜力扩大分类任务的数据集，生成不易获取的感官输出，并推进视觉 - 触觉知觉的整合。

    Feb, 2019

  • 使用高分辨率触觉传感器的基于 CNN 的物体识别方法

    本文介绍了一种基于高分辨率压力传感器和卷积神经网络的两种方法，对接触对象进行分类。这些方法包括利用预训练的卷积神经网络或使用自定义 CNN 进行分类，并测试了 11 个配置的性能表现，提供了与当前触觉对象识别技术的比较讨论。

    May, 2023