本文提出一种使用自我监督的方法学习机器人多模态的传感输入表示，来提高学习策略的样本效率，以期应对传统方法在在处理未结构化环境下的接触丰富型操作上的局限性。在模拟环境和物理机器人实验中验证了该方法的有效性。

Jul, 2019

利用视觉和触觉信息在强化学习环境中联合学习策略和视觉触觉表示的蒙掩多模态学习（M3L）方法提高样本效率，并超越单个感官的泛化能力。

Nov, 2023

通过利用对比学习的方法，本文介绍了 MViTac，一种将视觉和触觉感知以自我监督的方式整合的新方法，通过使用这两种传感器输入，MViTac 利用内部和跨模态损失进行表示学习，从而实现了更好的材料属性分类和更精确的抓取预测。实验证明了 MViTac 方法的有效性及其对现有最先进的自监督和有监督技术的优势。

Jan, 2024

提出了一种名为 M2CURL 的多模态对比无监督强化学习方法，该方法可以有效整合不同的观察模态，通过学习高效的表征进而提高强化学习算法的稳健性和样本效率。该方法在触觉模拟环境中得到了验证，相较于标准的强化学习算法，其学习效率显著提高，表现为更快的收敛速度和更高的累积奖励。

Jan, 2024

以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

Jul, 2017

通过让人形机器人玩井字棋的学习方法，成功探索了多模态深度强化学习、机器人视觉感知和交互等方向，并利用语音、视觉和手势等方式让机器人在该游戏中实现了高效而自然的交互。

Nov, 2016

使用视觉和触觉感知输入实现灵巧的手中操作是一项具有挑战性的任务，本文提出了一种基于点云的触觉表示方法 Robot Synesthesia，该方法通过同时无缝地整合视觉和触觉输入，提供更丰富的空间信息，有助于更好地推理机器人动作，通过在模拟环境中训练并应用于真实机器人，可适用于各种手中物体旋转任务，并通过综合消融实验验证了视觉和触觉的整合如何改善强化学习和实验到真实场景的性能。

Dec, 2023

使用深度强化学习隐式地在仿真环境中学习潜在的状态表示，并通过无标签的真实机器人数据将其调整到真实环境中，以实现从像素中执行操作任务。通过序列自监督目标优化对比正向动力学损失，提出了一种更加有效的方法，成功地训练基于视觉的强化学习智能体来堆叠方块。

Oct, 2019

机器人和人工智能领域中，触觉处理的整合越来越关键，特别是在学习如对齿轮和插入等复杂任务时。然而，现有的关于插入任务的触觉方法的研究主要依赖机器人远程操作数据和强化学习，并没有充分利用人类在触觉反馈指导下的控制策略所提供的丰富见解。为了利用人类的感知，与学习源自人类的方法相比，方法学上主要利用视觉反馈，常常忽视人类在完成复杂操纵时固有地使用的宝贵触觉反馈。为填补这一差距，我们引入了一种名为 “MimicTouch” 的新框架，该框架模仿人类的触觉引导控制策略。在这个框架中，我们首先从人类示范者那里收集多模态触觉数据集，将人类的触觉引导控制策略融入到任务完成中。其后的步骤涉及使用多模态传感器数据和重新定位的人类动作通过模仿学习指导机器人。为了进一步缩小人类与机器人之间的差距，我们在物理机器人上采用在线剩余强化学习。通过全面的实验证明，在从人类到机器人的过程中，MimicTouch 的潜在策略通过模仿学习的方式转移是安全和可行的。这项正在进行的工作将为更广泛的触觉引导机器人应用铺平道路。

Oct, 2023

本文提出了一种从多模态观察中抽取稠密奖励的更高效和更强韧的方法，在联合装配和开门两个实验设置中测试表明，这种方法在学习稠密奖励方面是有效和高效的，并且学习到的奖励导致更快的收敛。

May, 2022