本论文探究将触觉感应应用于物理机器人相互作用的视频预测模型,结果表明增加触觉反馈有助于提高场景预测准确性和增强机器人在物理相互作用过程中的感知和理解能力。
Apr, 2023
本文中,我们提出了一种深度触觉模型预测的方法,结合高分辨率触觉传感器,通过无监督自主交互生成模型以从原始触觉传感器输入进行学习,并将学习到的模型用于将物体重新定位到用户指定的配置,从而实现非握持操作的触觉控制。
Mar, 2019
通过利用视觉奖励来优化敏感性策略的触觉适应 (TAVI) 框架,通过在线强化学习,在多指机器人上取得了可观的成功率,提高了性能。
Sep, 2023
本研究提出了一种基于多模态对象识别的分析和数据驱动的方法,利用具有高分辨率触觉传感器的三指驱动夹爪进行压缩和释放探索过程(EPs),采集手指关节上的角度传感器获取触觉图像和动觉信息,然后,利用 LSTM 神经网络进行分类,最后通过贝叶斯和神经推理方法融合,对 36 种物体进行测试,结果表明贝叶斯分类器提高了物体识别能力并优于神经网络分类器。
Jun, 2023
通过结合视觉和触觉传感来估计物体的位置和形状,本研究展示了多模态感知在手持操纵中的作用,证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知,旨在推动机器人灵巧性的发展。
Dec, 2023
机器人在开放环境中操作时,会遇到未知的物理特性的新对象,需要通过交互来感知这些特性,并利用生成的世界模型来估计物体的物理参数,并开发一种信息收集模型预测控制器,以自主学习触觉探索策略。我们的研究在虚拟环境中评估了这种方法,发现我们的方法能够以直观的方式高效地收集关于所需特性的信息。最后,我们在真实机器人系统上验证了我们的方法,成功地从零开始学习和执行信息收集策略以估计物体的高度。
Nov, 2023
通过使用触觉传感器而无需依赖视觉信息,我们介绍了一个多指机器人系统,用于搜索和操纵随机位置的目标物体,并在模拟环境中训练和转移政策,证明了使用触觉传感器进行物体搜索和操纵任务的可行性,以实现赋予机器人类似人类触觉能力的目标。
Jan, 2024
本文提出了一种感知框架,通过融合视觉和触觉反馈来预测动态场景中物体的运动,该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性,利用多模态 VAE 将两种模态结合起来,可以推断未来物理交互的结果。
Jan, 2021
本文提出了一种新的框架,利用条件生成对抗网络生成视觉或触觉图像,以实现视觉和触觉知觉的跨模态感知,并在 ViTac 数据集上进行了广泛实验,结果表明该方法能够生成逼真的数据并且有潜力扩大分类任务的数据集,生成不易获取的感官输出,并推进视觉 - 触觉知觉的整合。
Feb, 2019
本文介绍了一个基于事件触觉感测器和多模式脉冲神经网络的事件驱动的视觉触觉感知系统,评估了其在两个机器人任务上的表现,并提供了可用于其他研究的数据集。
Sep, 2020