Dec, 2015

使用触觉和视觉信息的深度学习表面材料分类

PDF
TL;DR本文提出了一种基于全卷积神经网络（FCN）的表面材料分类的深度学习方法，该方法利用了手持工具在物体表面运动时捕捉到的加速度（haptic signal）信号和对应的表面纹理图像作为输入，相比之前基于手工设计的领域特定特征的分类方法，我们的方法利用先进的深度学习技术自动提取区分特征，实验表明这种方法具有鲁棒性和高效性，且得到了 TUM 表面材料数据库中最先进的分类准确度。
haptic signalsurface material classificationdeep learningacceleration signaltexture
发现论文，激发创造
  • 基于视觉和触觉数据的触觉理解深度学习

    本文提出了一种方法，通过视觉和物理交互数据分类表面，以使机器人更好地了解物体的触觉特性；通过统一学习物理交互和视觉观察特征的方法，使用深度神经网络模型实现更准确的触觉分类。

    Nov, 2015

  • 基于 LSTM 的触感和动觉信息对象识别的贝叶斯和神经推理

    本研究提出了一种基于多模态对象识别的分析和数据驱动的方法，利用具有高分辨率触觉传感器的三指驱动夹爪进行压缩和释放探索过程（EPs），采集手指关节上的角度传感器获取触觉图像和动觉信息，然后，利用 LSTM 神经网络进行分类，最后通过贝叶斯和神经推理方法融合，对 36 种物体进行测试，结果表明贝叶斯分类器提高了物体识别能力并优于神经网络分类器。

    Jun, 2023

  • 多模态几何学习用于抓取和操作

    本文提出使用 3D 卷积神经网络结构，融合深度学习和触觉信息来生成可用于机器人操作的丰富准确的三维模型，并通过实验证明，在几何推理方面具有优越性。

    Mar, 2018

  • 使用高分辨率触觉传感器的基于 CNN 的物体识别方法

    本文介绍了一种基于高分辨率压力传感器和卷积神经网络的两种方法，对接触对象进行分类。这些方法包括利用预训练的卷积神经网络或使用自定义 CNN 进行分类，并测试了 11 个配置的性能表现，提供了与当前触觉对象识别技术的比较讨论。

    May, 2023

  • 多模态生成模型学习直觉物理学

    本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

    Jan, 2021

  • ViTac: 视觉和触觉感知之间的特征共享，用于布料纹理识别

    本文提出了一种新的融合方法，称为 Deep Maximum Covariance Analysis (DMCA)，用于学习一个共享视觉和触觉信息的联合潜在空间，通过图像和触觉感知实现纹理识别，结果表明使用该方法可以实现超过 90% 的良好识别性能。

    Feb, 2018

  • 透明物体复杂背景下的视觉 - 触觉融合抓取

    本论文提出了一个适用于复杂背景和光线条件下透明对象抓取的视触融合框架，包括抓取位置检测、触觉校准和基于视触融合的分类。该框架综合了视觉和触觉的优势，极大地提高了透明对象的抓取效率。

    Nov, 2022

  • 触觉操纵：基于深度预测模型的触控控制

    本文中，我们提出了一种深度触觉模型预测的方法，结合高分辨率触觉传感器，通过无监督自主交互生成模型以从原始触觉传感器输入进行学习，并将学习到的模型用于将物体重新定位到用户指定的配置，从而实现非握持操作的触觉控制。

    Mar, 2019

  • 连接外观和触感：关联物理材料的视觉和触觉属性

    该研究使用 118 个不同织物的颜色、深度图像数据和高分辨率触摸数据，借助 CNN 模型联合训练视觉和触摸数据，从而记录织物的物理性质，预测织物外观和触感特征，展示了这一训练方法的有效性。

    Apr, 2017

  • 增强人机交互的触觉手势识别技术进展

    本研究旨在提出一个强大的触觉手势识别系统，通过对各种手势识别方法进行综合评估，包括传统的特征工程方法和能够实时解释各种手势的当代深度学习技术，以适应手的大小、运动速度、施加压力水平和交互点的变化，我们对各种方法的深入分析为人机交互领域的基于触觉的手势识别做出了重要贡献。

    May, 2024