AAAIJan, 2024

联合建模触觉信号的时空特征用于行为分类

PDF
TL;DR利用连续触觉信号进行动作分类的一项主要应用是医疗保健和机器人技术，然而，现有的触觉分类方法未能同时捕捉触觉信号的空间和时间特征，从而导致性能不佳。本文设计了一种名为 Spatio-Temporal Aware tactility Transformer (STAT) 的模型，利用连续触觉信号进行动作分类，通过在模型中引入空间和时间嵌入以及新的时间预训练任务，旨在增强变压器对触觉信号的空间和时间特征建模能力。实验结果表明，在公共动作分类数据集上，我们的模型在所有评估指标上优于现有的方法。
发现论文，激发创造
  • 动作条件下的触觉预测：滑动预测案例研究

    本研究提出了两种新型的数据驱动的行动条件触觉预测模型，用于预测真实世界中机器人交互任务期间的触觉信号，并使用我们的新颖触觉数据集对这些模型进行了比较，结果显示我们的模型在定性、定量和滑动预测得分方面都具有优越性。

    May, 2022

  • 基于 LSTM 的触感和动觉信息对象识别的贝叶斯和神经推理

    本研究提出了一种基于多模态对象识别的分析和数据驱动的方法，利用具有高分辨率触觉传感器的三指驱动夹爪进行压缩和释放探索过程（EPs），采集手指关节上的角度传感器获取触觉图像和动觉信息，然后，利用 LSTM 神经网络进行分类，最后通过贝叶斯和神经推理方法融合，对 36 种物体进行测试，结果表明贝叶斯分类器提高了物体识别能力并优于神经网络分类器。

    Jun, 2023

  • 结合视觉和触觉感知进行视频预测

    本论文探究将触觉感应应用于物理机器人相互作用的视频预测模型，结果表明增加触觉反馈有助于提高场景预测准确性和增强机器人在物理相互作用过程中的感知和理解能力。

    Apr, 2023

  • 多模态生成模型学习直觉物理学

    本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

    Jan, 2021

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 基于骨架的动作识别中的时空元组变换

    提出了一种新的时空元组 Transformer（STTFormer）方法，该方法着重解决了现有的基于 Transformer 的方法不能捕获帧之间不同关节之间的相关性的问题，在两个大型数据集上的表现优于现有技术方法。

    Jan, 2022

  • 使用 Leap Motion 传感器的统计和时空手势特征实现手语识别

    本研究旨在探讨单一特征和混合特征对机器学习模型分类能力的影响，通过提取统计描述符和时空属性两类特征来识别含 18 种动态手势的手语，结果表明混合特征的输入比两类单一特征的输入产生更好的分类效果，对于自动手语识别技术的提高对其实现数字化技术的残疾人群体更有益。

    Feb, 2022

  • 一种基于语义和运动感知的时空转换网络实现动作检测

    本文介绍了一种新颖的时空变换网络，其中引入了几个原创组件以在未修剪视频中检测动作。该网络通过多特征选择性语义注意力模型计算空间和运动特征之间的关联，使用运动感知网络编码视频帧中的动作位置，并采用序列基础的时间注意力模型捕捉动作帧中的异质时间依赖关系，该方法在四个时空动作数据集上优于最先进的解决方案：AVA 2.2、AVA 2.1、UCF101-24 和 EPIC-Kitchens。

    May, 2024

  • 触觉操纵：基于深度预测模型的触控控制

    本文中，我们提出了一种深度触觉模型预测的方法，结合高分辨率触觉传感器，通过无监督自主交互生成模型以从原始触觉传感器输入进行学习，并将学习到的模型用于将物体重新定位到用户指定的配置，从而实现非握持操作的触觉控制。

    Mar, 2019

  • 动作识别中的 Transformer: 时序模型综述

    本文主要介绍了基于 transformers 模型的深度学习方法，用于模拟时间上的变化进行动作识别的研究进展和应用挑战。

    Dec, 2022