介绍了 OmniTact，一种多方向高分辨率触觉传感器，可用于机器人操作，基于多个微型相机和基于凝胶的皮肤来检测物体形变。使用计算机视觉和深度神经网络处理传感器相机的图像完成了触觉控制和状态估计任务，并表明OmniTact 可以可靠地插入电气连接器和高精度推测接触曲率角度。

Mar, 2020

本文提出了一种基于模拟的感知模型，可以从单个触觉观察中定位物体的姿态，同时可以推断姿态分布和与其他感知系统或多个接触的约束。

Dec, 2020

本研究提出了一种利用视触反馈隐式表示共同模拟物体变形和接触区域的神经变形接触场表示法（NDCF），并通过训练模拟数据以及无需微调便能将其应用于真实世界。实验结果表明，相对于点云表示法，NDCF在模拟数据和真实场景下都表现更好。

May, 2023

在未知干扰环境中，通过提出触觉显著性预测方法，可以提高机器人对触觉的鲁棒控制，并精确预测真实触觉图像中的目标特征。

Jul, 2023

通过利用基于视觉的触觉传感器提供的丰富信息和DeepSDF的内在神经表示表达能力，我们提出了TouchSDF，一种用于触觉3D形状重建的深度学习方法。这种方法包括两个组件：（1）将触觉图像映射到表示触摸位置表面的局部网格的卷积神经网络，以及（2）预测有符号距离函数的隐式神经函数，以提取所需的3D形状。这种组合使得TouchSDF能够在模拟和真实世界环境中，从触觉输入中重建出平滑连续的3D形状，为机器人学中的稳健3D感知和改进多模态感知技术开辟了研究途径。

Nov, 2023

使用光学触觉传感器监督3D高斯扩散（3DGS）场景，利用高斯过程隐式曲面将触摸数据和视觉深度估计网络相结合，提出一种新的损失函数（方差加权深度监督损失）训练3DGS场景模型，实验证明该方法在几景合成上能够比单独使用视觉或触觉更好地从不透明、反射及透明物体中获取定量和定性的结果。

Mar, 2024

通过学习低维度的视觉-触觉嵌入，本研究利用触觉传感器和视觉数据实现了机器人的触觉信号预测，成功应用于物体识别和抓握稳定性预测任务，并在后两个任务上展现了优越性能。

Mar, 2024

通过将触觉数据与多视角视觉数据相结合，使用触觉引导的3DGS方法进行表面重建和新视角合成，以实现更准确的几何重建。

Mar, 2024

我们的目标是使机器人具备与人类类似的潜在触觉信号感知能力，通过使用一种名为Imagine2touch的方法，可以根据表示待触摸区域的视觉补丁来预测预期的触摸信号。我们使用了一种廉价而紧凑的触摸传感器ReSkin来收集所需的数据集，通过对五种基本几何形状和一种工具进行随机触摸。我们在其中两种形状上对Imagine2touch进行训练，并在odd工具上进行验证。我们通过将Imagine2touch应用于物体识别的下游任务来展示其有效性。在这个任务中，我们通过两个实验评估了Imagine2touch的性能，总共包括5个训练分布对象。在每个对象受到十次触摸后，Imagine2touch的物体识别准确率达到了58%，超过了一个本体感知基线。

May, 2024

最近，强化学习（RL）和触觉传感在灵巧操作方面取得了重大进展。然而，由于触觉模拟与现实世界之间的差距，这些方法通常使用简化的触觉信号。我们引入了一种用于触觉皮肤的传感器模型，实现了三态剪切和二进制法向力的零样本模拟-实况迁移。利用该模型，我们开发了一个利用滑动接触进行灵巧手持翻译的RL策略。我们进行了大量的实际实验，评估了触觉传感如何促进策略适应各种未见过的物体属性和机器人手姿势。我们证明，我们的三轴触感策略始终优于仅使用剪切力、仅使用法向力或仅使用本体感知的基准策略。

Jul, 2024