Sep, 2021

Taxim: 基于实例的仿真模型用于 GelSight 触觉传感器

PDF
TL;DR本文提出了一种基于仿生视觉的触觉传感器 GelSight 的仿真模型 Taxim，通过实现多项式查询表和线弹性变形原理来模拟其光学响应和表面标记的运动。实验结果表明，Taxim 的像素误差最小，可在 CPU 计算下在线运行。
simulationtactile sensorsgelsightoptical structuresmarker motion field
发现论文，激发创造
  • 基于物理渲染的基于视觉的触觉传感器模拟

    本文介绍了使用基于物理渲染技术的全面一般的光学触觉模拟系统，实现了高质量的图像相似度度量，其开源代码和实验数据均可在此 https URL 获得。

    Dec, 2020

  • 用于测量几何和滑动的改进型 GelSight 触觉传感器

    本文介绍了一种 GelSight 传感器的新设计，包括使用 Lambertian 薄膜和新的照明系统，可有效提高其几何精度和稳定性，并成功应用于机器人感知和控制中，包括表面法向量计算、高度重建和滑移检测等任务。

    Aug, 2017

  • GelSlim：高分辨率、紧凑、坚固和校准的触觉传感手指

    设计了一种高分辨率的触觉传感手指，通过重新设计光学路径结合几何设计变量权衡手指厚度、相机的景深和触觉感应区域的大小，采用更均匀的输出和更坚固的材料，结合自校准过程，从而实现在抓取任务中自持续和抗折磨性能，并通过 4 种度量指标评估其耐久性。

    Mar, 2018

  • GelSight Svelte：一种人手形状的单相机触觉机器人指头，具有较大的感知覆盖范围和自体感知

    GelSight Svelte 是一种基于相机的触觉传感器，能够实现在较大范围内的触觉和本体感知，通过使用曲面镜进行形状和感知范围的实现，通过训练卷积神经网络从捕获的图像中估计弯曲和扭转力矩，并通过进行物体抓取任务来展示其能力和潜在应用。

    Sep, 2023

  • TACTO: 基于高分辨率视觉触觉传感器的快速、灵活和开源模拟器

    本文提出一种名为 TACTO 的模拟器，可模拟不同类型的视觉型触觉传感器，并在控制、感知和 Sim2Real 等任务中展示了其有效性，该模拟器在机器人应用中普及触觉传感技术和多模态学习方面具有重要意义。

    Dec, 2020

  • 弹性触觉模拟：实现触觉 - 视觉感知

    本文提出了一种基于粒子团块的弹性交互（EIP）模型，可用于仿真触觉。同时，我们还提出了一种感知网络，通过视觉图像与触觉数据之间的信息融合，实现对仿真触觉的感知，从而在三维几何重建任务中展现出卓越的性能。

    Aug, 2021

  • 利用深度学习和 GelSight 触摸传感器进行基于形状无关的硬度估计

    本篇论文介绍了一种基于 GelSight 触觉传感器和神经网络的硬度测量方法，通过对接触几何形态的高分辨率触觉图像的分析，实验表明该方法可以在机器手动或自主接触并不均匀且未知的条件下，精确测量多种物体硬度（Shore 00 硬度范围在 8 至 87 之间）并获取精准的测量结果。

    Apr, 2017

  • 优化 BioTac 模拟的真实触觉知觉

    通过温度、力量和接触点位置对 BioTac 进行模拟，训练了不包括温度读数的三个替代模型（XGBoost 回归器、神经网络和 Transformer 编码器），并研究了输入向量的窗口大小，实验结果表明 XGBoost 回归器和 Transformer 在这一任务中优于传统的前馈神经网络。

    Apr, 2024

  • 基于视觉触觉传感器的物体表面分类的 Sim2Real 双层自适应

    通过 Diffusion 模型来解决视觉触觉传感器中的 Sim2Real 差距，使用小规模真实世界图像数据集通过 DIGIT 传感器采集自未标记的日常物品，并通过模拟器生成图片，并使用 Diffusion 模型将这些模拟图片转化到真实领域，并通过对抗过程对两个领域的特征进行对齐训练分类器。评估结果显示相较于仅使用模拟图片训练的分类器的 34.7% 的准确率，我们的方法取得了 81.9% 的总体准确率，有效性得到了验证，我们还使用分类器在触觉数据的 6D 物体位姿估计任务上进行了验证。

    Nov, 2023

  • 基于可见性的触觉传感器导航模型

    该论文介绍了基于可见性模型的移动机器人感应器的数学模型，可以用于导航、定位和制图等任务，特别是提供了关于触摸传感器的独特优势的特征，为移动机器人传感器融合系统的革新性触发器设计提供基础。

    Mar, 2022