Telextiles: 织物触感的端到端远程传输
使用半弹性纺织品表面的新方法,通过在纺织品边界上的传感器而不是感测区域上的传感器进行触摸感测,结合多种机器学习模型进行实验证明其可行性,特别是使用视觉标记预测单一触摸点的性能表现优秀,平均均方误差仅为 1.36 毫米,所开发的纺织品原型能准确分类 3 个深度的触摸,表明该方法在可穿戴技术和智能纺织品方面具有潜在应用价值,并值得进一步研究探讨。
May, 2023
利用纺织传感器跟踪运动和生物信号,解决可穿戴电子设备中刚性与纺织元件连接不可靠且与纺织大规模生产方式不兼容的问题,介绍了原型服装、紧凑读出电路和算法以测量纤维多个区域的局部应变,并使用可调敏感性的螺旋辅助纤维传感器对应变信号进行选择性响应,演示了在服装中的分布式传感和从单个连续纤维监测手臂关节角度,其对肩、肘和腕关节角度的重建误差率约为 5 度。
Feb, 2024
本研究旨在探索利用基于视觉的触觉传感器进行机器人感知和织物纹理分类的主动感知策略。通过信息理论探索策略的实现,以最小化概率模型的预测熵和方差,我们对触觉织物识别中的主动抽样问题进行了形式化。通过消融研究和人类实验,我们调查了对于快速可靠的纹理识别来说哪些组件至关重要。除了主动抽样策略外,我们还评估了神经网络架构、不确定性的表示、数据增强以及数据集的可变性。通过在先前发表的主动服装感知数据集和实际机器人系统上评估我们的方法,我们得出结论:主动探索策略的选择对识别准确性仅有较小影响,而数据增强和丢弃率则发挥更大的作用。通过对比研究,尽管人类识别准确度为 66.9%,但我们的最佳方法在不到 5 次触摸的情况下达到了 90.0%,突出表明基于视觉的触觉传感器对于纺织品纹理识别非常有效。
Mar, 2024
本研究使用深度生成模型创建一个多感官体验,用户可以在触觉表面上滑动手指,触摸和查看合成物体,并提出了一种新的视触觉服装数据集和条件生成模型以合成视觉和触觉输出,并介绍了一个流水线,在基于电除尘的触觉设备上呈现高质量的视觉和触觉输出,实现沉浸式体验。
May, 2023
本文提出了一种新的融合方法,称为 Deep Maximum Covariance Analysis (DMCA),用于学习一个共享视觉和触觉信息的联合潜在空间,通过图像和触觉感知实现纹理识别,结果表明使用该方法可以实现超过 90% 的良好识别性能。
Feb, 2018
本文提出了一种基于粒子团块的弹性交互(EIP)模型,可用于仿真触觉。同时,我们还提出了一种感知网络,通过视觉图像与触觉数据之间的信息融合,实现对仿真触觉的感知,从而在三维几何重建任务中展现出卓越的性能。
Aug, 2021
该研究使用 118 个不同织物的颜色、深度图像数据和高分辨率触摸数据,借助 CNN 模型联合训练视觉和触摸数据,从而记录织物的物理性质,预测织物外观和触感特征,展示了这一训练方法的有效性。
Apr, 2017
利用连续触觉信号进行动作分类的一项主要应用是医疗保健和机器人技术,然而,现有的触觉分类方法未能同时捕捉触觉信号的空间和时间特征,从而导致性能不佳。本文设计了一种名为 Spatio-Temporal Aware tactility Transformer (STAT) 的模型,利用连续触觉信号进行动作分类,通过在模型中引入空间和时间嵌入以及新的时间预训练任务,旨在增强变压器对触觉信号的空间和时间特征建模能力。实验结果表明,在公共动作分类数据集上,我们的模型在所有评估指标上优于现有的方法。
Jan, 2024
本文提出了一种新的框架,利用条件生成对抗网络生成视觉或触觉图像,以实现视觉和触觉知觉的跨模态感知,并在 ViTac 数据集上进行了广泛实验,结果表明该方法能够生成逼真的数据并且有潜力扩大分类任务的数据集,生成不易获取的感官输出,并推进视觉 - 触觉知觉的整合。
Feb, 2019
本文中,我们提出了一种深度触觉模型预测的方法,结合高分辨率触觉传感器,通过无监督自主交互生成模型以从原始触觉传感器输入进行学习,并将学习到的模型用于将物体重新定位到用户指定的配置,从而实现非握持操作的触觉控制。
Mar, 2019