使用光学触觉传感器监督 3D 高斯扩散（3DGS）场景，利用高斯过程隐式曲面将触摸数据和视觉深度估计网络相结合，提出一种新的损失函数（方差加权深度监督损失）训练 3DGS 场景模型，实验证明该方法在几景合成上能够比单独使用视觉或触觉更好地从不透明、反射及透明物体中获取定量和定性的结果。

Mar, 2024

通过利用基于视觉的触觉传感器提供的丰富信息和 DeepSDF 的内在神经表示表达能力，我们提出了 TouchSDF，一种用于触觉 3D 形状重建的深度学习方法。这种方法包括两个组件：（1）将触觉图像映射到表示触摸位置表面的局部网格的卷积神经网络，以及（2）预测有符号距离函数的隐式神经函数，以提取所需的 3D 形状。这种组合使得 TouchSDF 能够在模拟和真实世界环境中，从触觉输入中重建出平滑连续的 3D 形状，为机器人学中的稳健 3D 感知和改进多模态感知技术开辟了研究途径。

Nov, 2023

本文研究 3D 形状重建中视觉和触觉信息的多模式融合问题，并提出了一种基于图表的方法，该方法有助于提高重建质量，并且通过一个机器人手与 3D 物体的交互生成了一个仿真数据集。结果表明，利用视觉与触觉信号可以显著改善基准单一模态的重建表现，本方法优于替代模态融合方法并受益于所提出的基于图表的结构。

Jul, 2020

本研究使用深度生成模型创建一个多感官体验，用户可以在触觉表面上滑动手指，触摸和查看合成物体，并提出了一种新的视触觉服装数据集和条件生成模型以合成视觉和触觉输出，并介绍了一个流水线，在基于电除尘的触觉设备上呈现高质量的视觉和触觉输出，实现沉浸式体验。

May, 2023

图像基于的三维重建是一项具有挑战性的任务，涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术，包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述，包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会，对算法进行全面的研究至关重要。因此，本研究全面概述了高斯激波最新进展。

May, 2024

从高斯图形点渲染模型进行表面重构的方法能够产生更准确、更详细的重建结果，并且相较于其他方法，其计算时间更短。

Apr, 2024

通过使用触觉反馈的探测系统自动收集稀疏深度标签并对立体网络进行微调，结合触觉深度监督和基于置信度的正则化以优化深度感知，特别是对于透明物体而言，在真实世界中显著提高了深度感知的准确性。

Sep, 2023

神经隐式表面重建方法通过引导来自三维高斯化簇粘附的点云，结合来自神经隐式模型的表面预测精炼来提高细节的重建效果。

Dec, 2023

本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

Nov, 2023

利用 Microsoft HoloLens 2 的功能，通过实时访问所需的输入数据（图像、相机姿态和深度感知）来绕过结构运动等预处理步骤，提出了 HoloGS，一种利用 HoloLens 传感器数据的新型工作流程，以实现即时的 3D 高斯飞溅。经过全面调查和评估，结果表明 HoloLens 数据适合作为 3D 高斯飞溅的输入。

May, 2024