Nov, 2023

基于视觉触觉传感器的物体表面分类的 Sim2Real 双层自适应

PDF
TL;DR通过 Diffusion 模型来解决视觉触觉传感器中的 Sim2Real 差距，使用小规模真实世界图像数据集通过 DIGIT 传感器采集自未标记的日常物品，并通过模拟器生成图片，并使用 Diffusion 模型将这些模拟图片转化到真实领域，并通过对抗过程对两个领域的特征进行对齐训练分类器。评估结果显示相较于仅使用模拟图片训练的分类器的 34.7% 的准确率，我们的方法取得了 81.9% 的总体准确率，有效性得到了验证，我们还使用分类器在触觉数据的 6D 物体位姿估计任务上进行了验证。
sim2real gapvision-based tactile sensorsdiffusion modelclassifiertactile images
发现论文，激发创造
  • 手持物品重建的视觉触觉感知

    本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO，并将其扩展到手 - 物体重建的 VTacOH，并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估，展示了其在刚性和不可变形物体重建上具有优异的表现。

    Mar, 2023

  • 透过皮肤看世界：利用新型视触感传感器识别物体

    本文介绍一种新的基于视觉的传感器，并结合高分辨率触觉发射，以统一的硬件和计算体系结构进行处理；该传感器在多模式物体识别和计量方面表现出良好效果，并且在触觉和视觉领域上具有重要的物理含义，数据验证了其能力可以从深度学习视觉和触觉结合的角度对家庭物品进行分类，识别细节纹理并推断其物理属性。

    Nov, 2020

  • 使用高分辨率触觉传感器的基于 CNN 的物体识别方法

    本文介绍了一种基于高分辨率压力传感器和卷积神经网络的两种方法，对接触对象进行分类。这些方法包括利用预训练的卷积神经网络或使用自定义 CNN 进行分类，并测试了 11 个配置的性能表现，提供了与当前触觉对象识别技术的比较讨论。

    May, 2023

  • 伪触感：高效感知机器人操作中物体表面的触觉

    通过学习低维度的视觉 - 触觉嵌入，本研究利用触觉传感器和视觉数据实现了机器人的触觉信号预测，成功应用于物体识别和抓握稳定性预测任务，并在后两个任务上展现了优越性能。

    Mar, 2024

  • 基于视觉和触觉数据的触觉理解深度学习

    本文提出了一种方法，通过视觉和物理交互数据分类表面，以使机器人更好地了解物体的触觉特性；通过统一学习物理交互和视觉观察特征的方法，使用深度神经网络模型实现更准确的触觉分类。

    Nov, 2015

  • Syn2Real: 一种新的用于合成到真实视觉领域适应的基准测试

    本文介绍了一个新的大型基准测试 Syn2Real，其中包括了一个从 3D 物体模型渲染出的合成域以及两个包含相同物体类别的真实图像域，分别定义了三个相关任务：封闭集物体分类、开放集物体分类和物体检测。评估多种最先进的方法揭示了现有方法在不同任务上存在的许多适应性问题。

    Jun, 2018

  • 基于物理渲染的基于视觉的触觉传感器模拟

    本文介绍了使用基于物理渲染技术的全面一般的光学触觉模拟系统，实现了高质量的图像相似度度量，其开源代码和实验数据均可在此 https URL 获得。

    Dec, 2020

  • Touching to See” and “Seeing to Feel”: 用于视觉触觉知觉的机器人跨模态感官数据生成

    本文提出了一种新的框架，利用条件生成对抗网络生成视觉或触觉图像，以实现视觉和触觉知觉的跨模态感知，并在 ViTac 数据集上进行了广泛实验，结果表明该方法能够生成逼真的数据并且有潜力扩大分类任务的数据集，生成不易获取的感官输出，并推进视觉 - 触觉知觉的整合。

    Feb, 2019

  • ViTac: 视觉和触觉感知之间的特征共享，用于布料纹理识别

    本文提出了一种新的融合方法，称为 Deep Maximum Covariance Analysis (DMCA)，用于学习一个共享视觉和触觉信息的联合潜在空间，通过图像和触觉感知实现纹理识别，结果表明使用该方法可以实现超过 90% 的良好识别性能。

    Feb, 2018

  • 多模态生成模型学习直觉物理学

    本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

    Jan, 2021