TouchSDF：基于视觉触觉传感的三维形状重建的 DeepSDF 方法

Nov, 2023

TouchSDF：基于视觉触觉传感的三维形状重建的 DeepSDF 方法

TouchSDF: A DeepSDF Approach for 3D Shape Reconstruction using Vision-Based Tactile Sensing

Mauro Comi, Yijiong Lin, Alex Church, Alessio Tonioni, Laurence Aitchison...

TL;DR通过利用基于视觉的触觉传感器提供的丰富信息和 DeepSDF 的内在神经表示表达能力，我们提出了 TouchSDF，一种用于触觉 3D 形状重建的深度学习方法。这种方法包括两个组件：（1）将触觉图像映射到表示触摸位置表面的局部网格的卷积神经网络，以及（2）预测有符号距离函数的隐式神经函数，以提取所需的 3D 形状。这种组合使得 TouchSDF 能够在模拟和真实世界环境中，从触觉输入中重建出平滑连续的 3D 形状，为机器人学中的稳健 3D 感知和改进多模态感知技术开辟了研究途径。

Abstract

Humans rely on their visual and tactile senses to develop a comprehensive 3D understanding of their physical environment. Recently, there has been a growing interest in exploring and manipulating objects using data-driven approaches that utilise high-resolution vision-based tactile sensors. However, 3D shape reconstruction using →

tactile sensing 3d shape reconstruction vision-based tactile sensor implicit neural representation multimodal perception

发现论文，激发创造

Snap-it, Tap-it, Splat-it: 用于重建具有挑战性表面的触觉感知的三维高斯散点

通过将触觉数据与多视角视觉数据相结合，使用触觉引导的 3DGS 方法进行表面重建和新视角合成，以实现更准确的几何重建。

Mar, 2024

Touch-GS：视觉 - 触觉监督的 3D 高斯点云渲染

使用光学触觉传感器监督 3D 高斯扩散（3DGS）场景，利用高斯过程隐式曲面将触摸数据和视觉深度估计网络相结合，提出一种新的损失函数（方差加权深度监督损失）训练 3DGS 场景模型，实验证明该方法在几景合成上能够比单独使用视觉或触觉更好地从不透明、反射及透明物体中获取定量和定性的结果。

Mar, 2024

DeepSDF：学习连续的符号距离函数以用于形状表征

介绍了 DeepSDF 方法，它是用于高品质形状表示、插值和完成的一种学习连续有符号距离函数（SDF）的表示，将 3D 几何表示为体积场，并可表示整个形状类。DeepSDF 方法相比以往方法降低了一个数量级的模型大小，同时获得了学习 3D 形状表示和完成方面的最先进性能。

Jan, 2019

视觉和触觉的三维形状重建

本文研究 3D 形状重建中视觉和触觉信息的多模式融合问题，并提出了一种基于图表的方法，该方法有助于提高重建质量，并且通过一个机器人手与 3D 物体的交互生成了一个仿真数据集。结果表明，利用视觉与触觉信号可以显著改善基准单一模态的重建表现，本方法优于替代模态融合方法并受益于所提出的基于图表的结构。

Jul, 2020

触觉操纵：基于深度预测模型的触控控制

本文中，我们提出了一种深度触觉模型预测的方法，结合高分辨率触觉传感器，通过无监督自主交互生成模型以从原始触觉传感器输入进行学习，并将学习到的模型用于将物体重新定位到用户指定的配置，从而实现非握持操作的触觉控制。

Mar, 2019

深度局部形状：学习本地 SDF 先验用于详细三维重建

利用 Deep Local Shapes 技术实现高质量 3D 形状的编码与重建，将场景分解成局部形状以降低模型的复杂度和提高推导效率。

Mar, 2020

MV-DeepSDF: 自主驾驶中基于多次扫描点云的 3D 车辆重建的隐式建模

从嘈杂和稀疏的部分点云中重建 3D 汽车对于自动驾驶非常重要。我们提出了一种名为 MV-DeepSDF 的新框架，通过估计多次扫描点云中的最优符号距离函数（SDF）形状表示来重建野外汽车。通过在潜在特征空间中分析多次扫描的一致性和互补性，并将隐式空间形状估计问题转化为元素到集合特征提取问题，我们首次探讨了多次扫描的重建。通过设计一种新的架构来提取单个元素级表示并将它们聚合生成集合级的预测潜在代码，得到隐式空间中最优 3D 形状的表达，并可以随后解码为连续的 SDF 汽车。通过对两个实际自动驾驶数据集（Waymo 和 KITTI）进行彻底实验，我们展示了我们的方法在质量和量化方面优于现有的替代方法。

Aug, 2023

SurroundSDF：基于有向距离域的隐式三维场景理解

提出 SurroundSDF 方法来通过环境图像隐式地预测连续的感知距离场 (SDF) 和语义场，通过使用基于查询的方法和 Eikonal 公式约束 SDF 以准确描述障碍物表面，并引入一种新的弱监督模式 (Sandwich Eikonal formulation) 来提高表面感知的准确性，实验证明该方法在 nuScenes 数据集上在占用预测和 3D 场景重建任务中取得了最优的结果。

Mar, 2024

TransTouch：透明物体的深度感知学习与稀疏触摸

通过使用触觉反馈的探测系统自动收集稀疏深度标签并对立体网络进行微调，结合触觉深度监督和基于置信度的正则化以优化深度感知，特别是对于透明物体而言，在真实世界中显著提高了深度感知的准确性。

Sep, 2023

gSDF: 基于几何的有符号距离函数在 3D 手部物体重建中的应用

本文利用手的结构作为 SDF 的引导，并预测姿势变换的运动链，对高关节手姿势对齐 SDF 进行了改进，最终在 ObMan 和 DexYCB 基准测试中取得了比现有技术更显著的改进。

Apr, 2023