May, 2023

可控视觉触觉合成

PDF
TL;DR本研究使用深度生成模型创建一个多感官体验，用户可以在触觉表面上滑动手指，触摸和查看合成物体，并提出了一种新的视触觉服装数据集和条件生成模型以合成视觉和触觉输出，并介绍了一个流水线，在基于电除尘的触觉设备上呈现高质量的视觉和触觉输出，实现沉浸式体验。
deep generative modelsmulti-sensory experiencetactile dataconditional generative modelhaptic device
发现论文，激发创造
  • 从触觉生成视觉场景

    通过最新的潜在扩散技术，我们提出了一种从触觉信号合成图像的模型，并在多个视觉触觉合成任务中取得了显著的优势，包括所谓的触觉驱动风格化问题以及从触觉生成图像而无需其他信息源的首创性研究。

    Sep, 2023

  • Touching to See” and “Seeing to Feel”: 用于视觉触觉知觉的机器人跨模态感官数据生成

    本文提出了一种新的框架，利用条件生成对抗网络生成视觉或触觉图像，以实现视觉和触觉知觉的跨模态感知，并在 ViTac 数据集上进行了广泛实验，结果表明该方法能够生成逼真的数据并且有潜力扩大分类任务的数据集，生成不易获取的感官输出，并推进视觉 - 触觉知觉的整合。

    Feb, 2019

  • 多模态生成模型学习直觉物理学

    本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

    Jan, 2021

  • 通过跨模态预测连接触觉和视觉

    本文通过在机器人装备视觉和触觉传感器，收集大规模视觉和触觉图像序列数据，使用条件对抗式模型，实现视觉和触觉的交叉连接，来合成视觉数据和触觉信号，并想象人与物体的互动。

    Jun, 2019

  • 触觉操纵：基于深度预测模型的触控控制

    本文中，我们提出了一种深度触觉模型预测的方法，结合高分辨率触觉传感器，通过无监督自主交互生成模型以从原始触觉传感器输入进行学习，并将学习到的模型用于将物体重新定位到用户指定的配置，从而实现非握持操作的触觉控制。

    Mar, 2019

  • 基于物理渲染的基于视觉的触觉传感器模拟

    本文介绍了使用基于物理渲染技术的全面一般的光学触觉模拟系统，实现了高质量的图像相似度度量，其开源代码和实验数据均可在此 https URL 获得。

    Dec, 2020

  • Snap-it, Tap-it, Splat-it: 用于重建具有挑战性表面的触觉感知的三维高斯散点

    通过将触觉数据与多视角视觉数据相结合，使用触觉引导的 3DGS 方法进行表面重建和新视角合成，以实现更准确的几何重建。

    Mar, 2024

  • 机器人共感：视触感知下的手部操纵

    使用视觉和触觉感知输入实现灵巧的手中操作是一项具有挑战性的任务，本文提出了一种基于点云的触觉表示方法 Robot Synesthesia，该方法通过同时无缝地整合视觉和触觉输入，提供更丰富的空间信息，有助于更好地推理机器人动作，通过在模拟环境中训练并应用于真实机器人，可适用于各种手中物体旋转任务，并通过综合消融实验验证了视觉和触觉的整合如何改善强化学习和实验到真实场景的性能。

    Dec, 2023

  • 基于视觉和触觉数据的触觉理解深度学习

    本文提出了一种方法，通过视觉和物理交互数据分类表面，以使机器人更好地了解物体的触觉特性；通过统一学习物理交互和视觉观察特征的方法，使用深度神经网络模型实现更准确的触觉分类。

    Nov, 2015

  • 视觉和触觉的三维形状重建

    本文研究 3D 形状重建中视觉和触觉信息的多模式融合问题，并提出了一种基于图表的方法，该方法有助于提高重建质量，并且通过一个机器人手与 3D 物体的交互生成了一个仿真数据集。结果表明，利用视觉与触觉信号可以显著改善基准单一模态的重建表现，本方法优于替代模态融合方法并受益于所提出的基于图表的结构。

    Jul, 2020