- 可传递的触觉变压器:多种传感器和任务的表示学习
本研究提出了 T3:可传输触觉变压器,这是一个能够在多个传感器和多个任务之间进行扩展的触觉表示学习框架。T3 通过构建共享的主干变压器与传感器特定的编码器和任务特定的解码器来捕捉不同传感器任务对之间的共享潜在信息。使用 FoTa 数据集进行 - 听触:面向丰富接触操控的音频 - 视觉预训练
通过使用接触式麦克风作为替代触觉传感器,本文介绍了第一种利用大规模多模态先前训练进行机器人操作的方法,通过从大规模音频 - 视觉先前训练中获取表示来提高机器人操作的性能。
- AnyRotate: 无论重力如何,通过模拟与实际触摸实现手中物体的旋转
利用丰富的触觉反馈信息,通过模拟训练和零样本策略转移的方法,实现了在手物体多轴重力无关的旋转,并且证明了信息丰富的触觉感知对于手持操作的重要性。
- Telextiles: 织物触感的端到端远程传输
远程传输纺织品的触觉感的 Telextiles 接口通过对比自监督学习创建一个反映纺织品近距离的潜在空间,从而解决了远程使用中无法评估纺织品触觉感的难题。
- 优化 BioTac 模拟的真实触觉知觉
通过温度、力量和接触点位置对 BioTac 进行模拟,训练了不包括温度读数的三个替代模型(XGBoost 回归器、神经网络和 Transformer 编码器),并研究了输入向量的窗口大小,实验结果表明 XGBoost 回归器和 Transf - TouchSDF:基于视觉触觉传感的三维形状重建的 DeepSDF 方法
通过利用基于视觉的触觉传感器提供的丰富信息和 DeepSDF 的内在神经表示表达能力,我们提出了 TouchSDF,一种用于触觉 3D 形状重建的深度学习方法。这种方法包括两个组件:(1)将触觉图像映射到表示触摸位置表面的局部网格的卷积神经 - 基于估计器耦合的强化学习用于稳定纯触觉手内操纵
通过训练过程中将控制策略与状态估计器耦合,本文解决了将强化学习控制器和状态估计器简单组合的问题,实现了对具有挑战性的纯触觉、目标条件、手部重新定位任务的高性能,同时保持比端到端策略学习更好的可解释性优势。
- 人形机器人的感知
本综述总结了人形机器人感知领域的最新发展和趋势,识别了内部状态估计、外部环境估计和人机交互三个主要应用领域,并讨论了各个领域中不同传感器模态的应用和最近的重要研究成果。
- 看得见,触得到:通过视觉激励学习触觉灵巧度
通过利用视觉奖励来优化敏感性策略的触觉适应 (TAVI) 框架,通过在线强化学习,在多指机器人上取得了可观的成功率,提高了性能。
- 机器触觉的关注:鲁棒的模拟到实际触觉控制中的触觉显著性预测
在未知干扰环境中,通过提出触觉显著性预测方法,可以提高机器人对触觉的鲁棒控制,并精确预测真实触觉图像中的目标特征。
- CVPR手持物品重建的视觉触觉感知
本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO,并将其扩展到手 - 物体重建的 VTacOH,并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估,展示了其在刚性和不可变形物体重建上具有优异的表现。
- FingerSLAM:基于视觉触感反馈的闭环未知物体定位与重建
本文提出了 FingerSLAM,一种结合手指触觉传感和腕部摄像头视觉感知的封闭环路因子图姿态估计器,用于关于手中未知物体的 6DoF 定位和 3D 重建,通过该方法可以获得更加准确的估计,并示范了在实际情况下的定量和定性评估。
- 接触筛选:零件匹配的交互式触觉感知
本文章提出了一种使用基于视觉的触觉传感器进行交互式感知的方法,其中训练了一个深度神经网络来预测任意形状的零件的概率对应关系,并设计了一个粒子滤波器来优化感知任务并提高机器人操作的效率。
- 使用位置间歇神经元增强事件驱动的触觉学习
本文提出了一种名为 “位置尖峰神经元” 的新型神经元模型,用于提取基于事件的触觉数据的特征,并探究了其在事件驱动触觉学习中的能力。作者将该模型应用于两个混合模型中,以捕捉事件驱动触觉数据中的复杂时空依赖性,并证明其在节能方面优于人工神经网络 - 盲文字体识别:神经形态硬件时空模式识别基准测试
基于 iCub 机器人指尖电容触觉传感器记录了布莱叶盲文字母数据集,以比较前馈和循环脉冲神经网络在 Intel Loihi 神经形态芯片上进行的快速和有效推理,并通过使用代理梯度的 BPTT 进行离线训练和比较,结果表明循环脉冲神经网络在基 - TANDEM: 使用触觉传感器学习联合探索和决策制定
该研究提出一种名为 TANDEM 的框架,通过协同训练的探索和判断模块,实现机器人通过触觉信息进行目标识别任务,具有更高的准确性和更强的鲁棒性。
- ReSkin: 多用途,可替换,持久的触觉外皮
ReSkin 是一种利用机器学习和磁感应技术的触觉软传感器,可提供一种低成本、多样化和紧凑的长期使用解决方案。
- MM弹性触觉模拟:实现触觉 - 视觉感知
本文提出了一种基于粒子团块的弹性交互(EIP)模型,可用于仿真触觉。同时,我们还提出了一种感知网络,通过视觉图像与触觉数据之间的信息融合,实现对仿真触觉的感知,从而在三维几何重建任务中展现出卓越的性能。
- 基于物理渲染的基于视觉的触觉传感器模拟
本文介绍了使用基于物理渲染技术的全面一般的光学触觉模拟系统,实现了高质量的图像相似度度量,其开源代码和实验数据均可在此 https URL 获得。
- 单眼视觉、触觉和形状先验的三维形状感知
通过融合视觉和触觉观测以及来自大规模形状数据库的先验知识,我们提出了一种高效的模式,从单视角彩色图像和少量触索中构建常见物体的三维形状,以帮助机器人更好地执行实际操作。