May, 2024

听触：面向丰富接触操控的音频 - 视觉预训练

PDF
TL;DR通过使用接触式麦克风作为替代触觉传感器，本文介绍了第一种利用大规模多模态先前训练进行机器人操作的方法，通过从大规模音频 - 视觉先前训练中获取表示来提高机器人操作的性能。
pretrainingrobot learningvisual representationstactile sensingaudio-visual pretraining
发现论文，激发创造
  • ManiWAV: 从野外的视听数据学习机器人操作

    通过收集具有音频和视觉反馈的野外人类示范数据，以及相应的策略接口，本文介绍了 ManiWAV: 一种用于直接从示范中学习机器人操作策略的 “手中的耳朵” 数据采集设备，并通过四个接触丰富的操作任务展示了系统的能力。

    Jun, 2024

  • 视觉触觉预训练用于电缆插拔

    将触觉信息融入模仿学习平台，改进复杂任务的性能，研究表明通过预训练，非触觉代理的表现可以显著提高，达到与视觉 - 触觉代理相当的水平。

    Mar, 2024

  • 视觉与触觉的整合：自监督学习的多模态接触任务表示

    本文使用自我监督的方式学习了一种紧凑的多模态表示方法，将触觉和视觉反馈结合起来，以改善高维输入控制策略的样本效率，该方法在模拟和实际机器人实验中均表现出鲁棒性和广泛泛化能力。

    Oct, 2018

  • 多模态视觉触觉表示学习通过自监督对比预训练

    通过利用对比学习的方法，本文介绍了 MViTac，一种将视觉和触觉感知以自我监督的方式整合的新方法，通过使用这两种传感器输入，MViTac 利用内部和跨模态损失进行表示学习，从而实现了更好的材料属性分类和更精确的抓取预测。实验证明了 MViTac 方法的有效性及其对现有最先进的自监督和有监督技术的优势。

    Jan, 2024

  • 理解视觉和触觉：学习接触丰富任务的多模态表征

    本文提出一种使用自我监督的方法学习机器人多模态的传感输入表示，来提高学习策略的样本效率，以期应对传统方法在在处理未结构化环境下的接触丰富型操作上的局限性。在模拟环境和物理机器人实验中验证了该方法的有效性。

    Jul, 2019

  • 通过跨模态预测连接触觉和视觉

    本文通过在机器人装备视觉和触觉传感器，收集大规模视觉和触觉图像序列数据，使用条件对抗式模型，实现视觉和触觉的交叉连接，来合成视觉数据和触觉信号，并想象人与物体的互动。

    Jun, 2019

  • 探索机器人操纵的视觉预训练：数据集、模型与方法

    基于大规模真实世界数据的视觉预训练在最近几年取得了很大的进展，展示了在像素观察中进行机器人学习的巨大潜力。本文从三个基本角度（预训练数据集、模型架构和训练方法）深入研究了视觉预训练策略对机器人操作任务的影响，并提供了几个重要的实验发现，有益于机器人学习。此外，我们提出了一种用于机器人操作的视觉预训练方案，称为 Vi-PRoM，它结合了自监督学习和监督学习。具体而言，前者利用对比学习从大规模无标签数据中获取潜在模式，而后者旨在学习视觉语义和时间动态。在各种仿真环境和真实机器人中进行了大量实验证明了所提出方案的优越性。更多细节和视频可在 https://explore-pretrain-robot.github.io 找到。

    Aug, 2023

  • 结合视觉和触觉感知进行视频预测

    本论文探究将触觉感应应用于物理机器人相互作用的视频预测模型，结果表明增加触觉反馈有助于提高场景预测准确性和增强机器人在物理相互作用过程中的感知和理解能力。

    Apr, 2023

  • 关于视觉 - 动作预训练数据集的客观观察

    通过对机器人的预训练数据集进行集中分析，我们发现常规视觉数据集对于视觉 - 运动表示学习是竞争力强的选择，此外，预训练数据集的图像分布比其规模更为重要，同时简单的正规化策略可以显著改善真实世界策略学习。

    Oct, 2023

  • 将触觉与一切相连：学习统一的多模态触觉表征

    通过与预训练的图像嵌入相关联，UniTouch 统一了视觉为基础的触觉传感器与其他多种模态之间的关系，并引入了可学习的传感器特定标记，使模型能够同时从一组异构触觉传感器学习，从而在零样本设置下进行各种触觉感知任务。UniTouch 是第一个展示此类能力的模型。

    Jan, 2024