Nov, 2015

基于视觉和触觉数据的触觉理解深度学习

PDF
TL;DR本文提出了一种方法，通过视觉和物理交互数据分类表面，以使机器人更好地了解物体的触觉特性；通过统一学习物理交互和视觉观察特征的方法，使用深度神经网络模型实现更准确的触觉分类。
tactile understandinghaptic propertiesvisual and physical interactiondeep neural networksrobotics
发现论文，激发创造
  • 结合视觉和触觉感知进行视频预测

    本论文探究将触觉感应应用于物理机器人相互作用的视频预测模型，结果表明增加触觉反馈有助于提高场景预测准确性和增强机器人在物理相互作用过程中的感知和理解能力。

    Apr, 2023

  • 使用触觉和视觉信息的深度学习表面材料分类

    本文提出了一种基于全卷积神经网络（FCN）的表面材料分类的深度学习方法，该方法利用了手持工具在物体表面运动时捕捉到的加速度（haptic signal）信号和对应的表面纹理图像作为输入，相比之前基于手工设计的领域特定特征的分类方法，我们的方法利用先进的深度学习技术自动提取区分特征，实验表明这种方法具有鲁棒性和高效性，且得到了 TUM 表面材料数据库中最先进的分类准确度。

    Dec, 2015

  • 机器人的视觉触觉物体感知：概述

    本文概述了机器人的视觉 - 触觉对象感知的现状和挑战，并讨论了多模式机器学习的主要挑战和最新进展。

    Mar, 2022

  • Touching to See” and “Seeing to Feel”: 用于视觉触觉知觉的机器人跨模态感官数据生成

    本文提出了一种新的框架，利用条件生成对抗网络生成视觉或触觉图像，以实现视觉和触觉知觉的跨模态感知，并在 ViTac 数据集上进行了广泛实验，结果表明该方法能够生成逼真的数据并且有潜力扩大分类任务的数据集，生成不易获取的感官输出，并推进视觉 - 触觉知觉的整合。

    Feb, 2019

  • 通过信念空间控制学习主动触觉感知

    机器人在开放环境中操作时，会遇到未知的物理特性的新对象，需要通过交互来感知这些特性，并利用生成的世界模型来估计物体的物理参数，并开发一种信息收集模型预测控制器，以自主学习触觉探索策略。我们的研究在虚拟环境中评估了这种方法，发现我们的方法能够以直观的方式高效地收集关于所需特性的信息。最后，我们在真实机器人系统上验证了我们的方法，成功地从零开始学习和执行信息收集策略以估计物体的高度。

    Nov, 2023

  • 多模态生成模型学习直觉物理学

    本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

    Jan, 2021

  • 触觉操纵：基于深度预测模型的触控控制

    本文中，我们提出了一种深度触觉模型预测的方法，结合高分辨率触觉传感器，通过无监督自主交互生成模型以从原始触觉传感器输入进行学习，并将学习到的模型用于将物体重新定位到用户指定的配置，从而实现非握持操作的触觉控制。

    Mar, 2019

  • RoboPack: 学习基于触觉信息的密集装箱动力学模型

    利用视触知觉感知和深度学习的方法来进行机器人操作，其中结合了视触反馈，通过学习神经网络模型进行物体状态估计和未来状态预测。通过使用真实世界的数据进行训练，该模型可以在在线适应中进行触觉信息驱动的预测，具有较强的有效性。

    Jul, 2024

  • 接触筛选：零件匹配的交互式触觉感知

    本文章提出了一种使用基于视觉的触觉传感器进行交互式感知的方法，其中训练了一个深度神经网络来预测任意形状的零件的概率对应关系，并设计了一个粒子滤波器来优化感知任务并提高机器人操作的效率。

    Mar, 2023

  • 可控视觉触觉合成

    本研究使用深度生成模型创建一个多感官体验，用户可以在触觉表面上滑动手指，触摸和查看合成物体，并提出了一种新的视触觉服装数据集和条件生成模型以合成视觉和触觉输出，并介绍了一个流水线，在基于电除尘的触觉设备上呈现高质量的视觉和触觉输出，实现沉浸式体验。

    May, 2023