CVPRMay, 2024

触觉增强辐射场

TL;DR我们提出了一种场景表示,称为触觉增强辐射场(TaRF),将视觉和触觉结合到共享的 3D 空间中,通过估计场景中给定 3D 位置的视觉和触觉信号。我们通过使用多视角几何方法将触觉信号注册到捕获的视觉场景上,并训练了一个条件扩散模型,通过从神经辐射场渲染的 RGB-D 图像生成其相应的触觉信号。通过收集包含较多触觉样本的 TaRF 数据集,并为每个捕获的触觉信号提供空间对齐的视觉信号,我们评估了我们的方法的准确性和捕获的视觉 - 触觉数据在几个下游任务上的实用性。