利用深度强化学习，在少量人类演示的情况下，无需模拟和建模就能达到高效且稳健地解决插入问题的效果，且在插入位置具有差异的情况下依然有效。

Oct, 2018

本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

Jan, 2021

利用基于视觉的软式机器人手指通过学习六维受力和力矩（FT）的监督式变分自编码器（SVAE），该研究调查了从陆地到水下的抓握知识的可转移性。结果表明，训练的 SVAE 模型学习了一系列的潜在表示，可以从陆地到水中进行传递，提供了针对商用 FT 传感器环境变化的优越适应性。通过触觉智能实现的软、精细和反应灵敏的抓握提高了夹持器在水下的交互可靠性和稳健性，极大地降低了成本，为基于学习的智能抓握支持环境和海洋研究的基础科学发现铺平了道路。

Aug, 2023

本论文提出了一种新的重新抓取控制策略，该策略利用触觉传感器计划局部抓握调整，通过深度学习网络构建基于触觉的抓握质量度量来确定重新抓取动作，并且该方法在测试集上将抓握成功率平均提高了 70%。

Mar, 2018

利用变分自编码器和夹取评估模型采样一组夹取，并在模拟和真实机器人实验中评价和修正采样到的夹取，以实现抓取生成。通过纯模拟训练，可在不进行任何额外步骤的情况下运行于实际机器人操作中，具有较高的成功率。

May, 2019

机器人在开放环境中操作时，会遇到未知的物理特性的新对象，需要通过交互来感知这些特性，并利用生成的世界模型来估计物体的物理参数，并开发一种信息收集模型预测控制器，以自主学习触觉探索策略。我们的研究在虚拟环境中评估了这种方法，发现我们的方法能够以直观的方式高效地收集关于所需特性的信息。最后，我们在真实机器人系统上验证了我们的方法，成功地从零开始学习和执行信息收集策略以估计物体的高度。

Nov, 2023

本文提出了一种基于模拟的感知模型，可以从单个触觉观察中定位物体的姿态，同时可以推断姿态分布和与其他感知系统或多个接触的约束。

Dec, 2020

本论文提出了一个适用于复杂背景和光线条件下透明对象抓取的视触融合框架，包括抓取位置检测、触觉校准和基于视触融合的分类。该框架综合了视觉和触觉的优势，极大地提高了透明对象的抓取效率。

Nov, 2022

通过分析三维点云中的对象几何形状（简单和复杂），提出了一种基于 PointGrasp 的实时系统，用于识别日常生活中的家居场景，并支持和增强日常活动中的定制化端到端抓取任务，实现可达对象的定位和识别。该系统在简单和复杂几何形状的情况下，平均 RMSE 为 0.8±0.39 cm 和 0.11±0.06 cm，展示了在视觉驱动的机器人辅助康复手动任务中的潜力。

Mar, 2024

建筑中用于混凝土孔的铆钉插入是一个钉孔任务，为了减轻自动化这一任务所面临的挑战，我们引入了一个针对光照和孔面条件具有鲁棒性的视觉和感知数据驱动的机器人控制模型。该模型通过空间注意点网络和深度增强学习策略的联合训练，以端到端的方式来控制机器人。该模型通过离线训练，在减少训练时间和最小化将模型转移到实际世界时的现实差距方面具有高效率。通过在 12 个未知孔上进行工业机器人的评估实验，从 16 个不同的初始位置开始，并在三种不同的照明条件下（其中两种有误导性阴影），我们证明了空间注意点网络即使在具有挑战性的光照条件下也能够生成相关的图像关注点。我们还展示了所提出的模型使任务执行的成功率更高，并且任务完成时间更短，高于各种基准。由于所提出的模型在严峻的光照、初始位置和孔条件下的高效性，以及离线训练框架的高样本效率和短训练时间，这种方法可以很容易地应用于建筑领域。

Dec, 2023